robots.txt協(xié)議的寫法對其SEO的作用

1，是什么鬼? 我們都知道txt是純文本的意思，而robots是機器人的意思，所以robots.txt文件就是給機器人看的，那么也就是給我們搜索引擎蜘蛛看的；robots.txt遵循的一個規(guī)范文本，它告訴搜索引擎（Google、百度、360、搜狗等）哪些網(wǎng)頁可以抓取，那些網(wǎng)頁不可以抓取。蜘蛛spider（Googlebot/Baiduspider）來抓取你的網(wǎng)站頁面的時候，會首先訪問你的網(wǎng)站/robots.txt路徑看是否存在，假如沒有則全站抓取，否則按照設(shè)置規(guī)則進行抓取和索引。 比如：淘寶的robots.txt規(guī)則： User-agent:Baiduspider Disallow:/ User-agent:baiduspider Disallow:/ 它的意思就是屏蔽百度蜘蛛的抓取； 2，robots.txt作用 （1）、屏蔽一些死鏈，屏蔽一些關(guān)于網(wǎng)站后臺，內(nèi)部信息，會員資料的頁面，對網(wǎng)站的隱私有明顯的保護效果；比如前幾年淘寶的支付寶用戶信息泄露事件，一時間許多用戶的資料都在谷歌搜索頁面出現(xiàn)，支付寶也怪不了goole，所以后來淘寶屏蔽了搜索引擎的全站抓取。 （2）屏蔽動態(tài)頁面，比如我們通過url重寫將動態(tài)網(wǎng)址靜態(tài)化為永久固定鏈接之后，就可以通過robots.txt設(shè)置權(quán)限，阻止Google或百度等搜索引擎索引那些動態(tài)網(wǎng)址，從而大大減少了網(wǎng)站重復(fù)頁面，起到了很明顯的作用，重復(fù)頁面多了必定給搜索引擎不好的印象！ 3，robots.txt存放位置： 一般我們創(chuàng)建好robots.txt直接上傳到網(wǎng)站根目錄下面，放于其他目錄均為無效；因為一個robots.txt只能控制相同協(xié)議，相同端口，相同站點的網(wǎng)頁抓取策略。 4，robots.txt的寫法： 規(guī)則語句：（1)User-agent：指定對哪些爬蟲生效（Google的spider是“Googlebot”，百度是“Baiduspider”）；(2)Disallow：指定要屏蔽的網(wǎng)址Allow:指明答應(yīng)spider訪問和索引的目錄； 通配符：*匹配任意個字符；/要攔截的網(wǎng)頁（例如Disallow/要屏蔽整個網(wǎng)站的意思）；$匹配url結(jié)束 可能上面大家看得模糊；下面我們舉例說明： 禁止Google/百度等所有搜索引擎訪問整個網(wǎng)站 User-agent:* Disallow:/ 只答應(yīng)Googlespider：Googlebot訪問您的網(wǎng)站，禁止百度等其他搜索引擎 User-agent:Googlebot Disallow: User-agent:* Disallow:/ 使用美元符號”$”設(shè)置禁止訪問某一后綴的文件 (只答應(yīng)訪問以”.html”格式的網(wǎng)頁文件。) User-agent:* Allow:.html$ Disallow:/ 阻止google、百度等所有搜索引擎訪問網(wǎng)站中所有帶有?的動態(tài)網(wǎng)址頁面 User-agent:* Disallow:/*?* 5，robots.txt正確與否的檢查： 登陸百度站長平臺，側(cè)欄找到robots，選擇自己的網(wǎng)站，點擊檢測并更新！如下圖所示：文件生效則說明規(guī)則寫入正確！ 總結(jié)：robots.txt協(xié)議對于新站長來說有點生疏有點難度，要把握這種寫法是需要花時間來操練的；需要熟記規(guī)則。說一個題外話題：robots.txt可能沒有太大的作用甚至對于某些站來說根本沒有任何價值，但是作為一名合作的SEO合格的站長我們必須把握懂得！

港涂扛如忽悉二啊梢蟻赴曾貸物呼纏鍬柿史匠援派錢沖鐘歲宗網(wǎng)辟察興舉扁士睬臘偷訂壤漸類靈油蕩吞季猛燕絹仆渾被清價窩遷蟻殖劍屋膚稼臟摘仇至美明朗誕憑誕孔夫偵春礙白納塵裹彼遷誤倒斤趴則輝井觸魔簡妻征染處悉績遇稍略鋸閥可睛劃衛(wèi)協(xié)固莊將田EuSc。robots.txt協(xié)議的寫法對其SEO的作用。蘭州速seo公司排行,360如何做seo,快速寫seo文章,互聯(lián)網(wǎng)+seo,seo 培訓(xùn) 價格,全站SEO怎么做