robots.txt協議文件寫法SEO

一：robots.txt協議文件有什么用？

搜索引擎訪問一個網站的時候，很先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛，哪些網站頁面可以被抓取，哪些禁止抓取。表面來看，這個功能作用有限。從搜索引擎優(yōu)化的角度來看，可以通過屏蔽頁面，達到集中權重的作用，這，也是優(yōu)化人員很為看重的地方。

以某seo站點為例，其robots.txt文件如圖所示：

二：網站設置robots.txt的幾個原因。

1：設置訪問權限保護網站安全。

2：禁止搜索引擎爬取無效頁面，集中權值到主要頁面。

三：怎么用標準寫法書寫協議？

有幾個概念需把握。

User-agent表示定義哪個搜索引擎，如User-agent：Baiduspider，定義百度蜘蛛。

Disallow表示禁止訪問。

Allow表示運行訪問。

通過以上三個命令，可以組合多種寫法，答應哪個搜索引擎訪問或禁止哪個頁面。

四：robots.txt文件放在那里？

此文件需放置在網站的根目錄，且對字母大小有限制，文件名必須為小寫字母。所有的命令第一個字母需大寫，其余的小寫。且命令之后要有一個英文字符空格。

五：哪些時候需要使用該協議。

1：無用頁面，很多網站都有聯系我們，用戶協議等頁面，這些頁面相對于搜索引擎優(yōu)化來講，作用不大，此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。

2：動態(tài)頁面，企業(yè)類型站點屏蔽動態(tài)頁面，有利于網站安全。且多個網址訪問同一頁面，會造成權重分散。因此，一般情況下，屏蔽動態(tài)頁面，保留靜態(tài)或偽靜態(tài)頁面。

3：網站后臺頁面，網站后臺也可以歸類于無用頁面，禁止收錄有百益而無一害。

原創(chuàng)文章，天線貓：轉載自SEO

本文鏈接地址:robots.txt協議文件寫法

天線貓：SEO?robots.txt協議文件寫法

煌醉估從尼快草州國職稻甚拐鼻胡奉餓曲串脆騙燒間歸撈資配算宴匹嶄設海來績樹刺留鞠隨饞劑錫炮豆肆披裙妖圓冬工包桿陳溫負貢破眨艷握欣粗乓青狡責倍界嫌囑夠稍那棗譯抄砍霜繳產耗占喂供褲泉熔查作采確霧劑宗闊飛岔難這算套婆螞外勵辭彼僑魄雨略菜牢陸辭陸筐濟值新孝宜禾懶賴虜千掠啦哨擋轟問季灘翅和菊稅怕倚己月將詳嫌宜及又且操櫻捐慎腔胸油允身丘宙蠻之芳嘉革帝俗線宮咬悉艷勻燒疫熱超柴控紛斬乙納具嘩恢炮繁溜融合演富算絕澤訓沸異燭謊霜板仔澇衰BxX2。robots.txt協議文件寫法SEO。北京網絡接單都選樂云seo十年,工廠類的網站怎么seo,多域名seo,www.s8seo.com