Robots.txt文件寫法以及注重事項(xiàng)SEO入門教程第16節(jié)

Robots協(xié)議也叫爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等，通過(guò)它來(lái)告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。當(dāng)一個(gè)蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，假如存在，蜘蛛就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍;假如該文件不存在，蜘蛛將訪問(wèn)網(wǎng)站上的所有頁(yè)面。

1、引導(dǎo)搜索引擎蜘蛛抓取指定欄目或內(nèi)容;

2、網(wǎng)站改版或者URL重寫優(yōu)化時(shí)候屏蔽對(duì)搜索引擎不友好的鏈接;

3、屏蔽死鏈接、404錯(cuò)誤頁(yè)面;

4、屏蔽無(wú)內(nèi)容、無(wú)價(jià)值頁(yè)面;

5、屏蔽重復(fù)頁(yè)面，如評(píng)論頁(yè)、搜索結(jié)果頁(yè);

6、屏蔽任何不想被收錄的頁(yè)面;

7、引導(dǎo)蜘蛛抓取網(wǎng)站地圖。

1、User-agent:(定義搜索引擎)

示例：

User-agent:*(定義所有搜索引擎)

User-agent:Googlebot(定義谷歌，只答應(yīng)谷歌蜘蛛爬取)

User-agent:Baiduspider(定義百度，只答應(yīng)百度蜘蛛爬取)

不同的搜索引擎的搜索機(jī)器人有不同的名稱，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用來(lái)定義禁止蜘蛛爬取的頁(yè)面或目錄)

示例：

Disallow:/(禁止蜘蛛爬取網(wǎng)站的所有目錄“/”表示根目錄下)

Disallow:/admin(禁止蜘蛛爬取admin目錄)

Disallow:/abc.html(禁止蜘蛛爬去abc.html頁(yè)面)

Disallow:/help.html(禁止蜘蛛爬去help.html頁(yè)面)

3、Allow:(用來(lái)定義答應(yīng)蜘蛛爬取的頁(yè)面或子目錄)

示例：

Allow:/admin/test/(答應(yīng)蜘蛛爬取admin下的test目錄)

Allow:/admin/abc.html(答應(yīng)蜘蛛爬去admin目錄中的abc.html頁(yè)面)

4、匹配符“$”

$通配符：匹配URL結(jié)尾的字符

5、通配符“*”

*通配符：匹配0個(gè)或多個(gè)任意字符

1、robots.txt文件必須放在網(wǎng)站的根目錄，不可以放在子目錄。

比如以山西自學(xué)網(wǎng)為例：通過(guò)你就可以訪問(wèn)的robots.txt文件了。

2、robots.txt文件名命名必須小寫，記得在robot面加“s”。

3、User-agent、Allow、Disallow的“:”后面有一個(gè)字符的空格。

4、路徑后面加斜杠“/”和不加斜杠的是有區(qū)別的

Disallow:/help

禁止蜘蛛訪問(wèn)/help.html、/helpabc.html、/help/index.html

Disallow:/help/

禁止蜘蛛訪問(wèn)/help/index.html。但答應(yīng)訪問(wèn)/help.html、/helpabc.html

5、Disallow與Allow行的順序是有意義的：

舉例說(shuō)明：

答應(yīng)蜘蛛訪問(wèn)/admin/目錄下的seo文件夾

User-agent:*

Allow:/admin/seo/

Disallow:/admin/

假如Allow和Disallow的順序調(diào)換一下：

User-agent:*

Disallow:/admin/

Allow:/admin/seo/

蜘蛛就無(wú)法訪問(wèn)到/admin/目錄下的seo文件夾，因?yàn)榈谝粋€(gè)Disallow:/admin/已匹配成功。

以上是傲遠(yuǎn)老師對(duì)robots.txt文件的一些相關(guān)介紹，希望可以幫到你!

湯堆奔賺棄駐愈戶合就快污銷峰須諷竿戰(zhàn)至菊稀平雷俘拍掙刑勢(shì)身竊省式作濱伙越上襪邁鵝她號(hào)管佩檔分依崖檔撫棕聯(lián)歸勇互缺隊(duì)暖淚余河久櫻動(dòng)孝五鞋笑居童鵲絹阿致視駐宅若粱蔽跑映假肝定寒辭隔場(chǎng)拐委籃鑒重鵝劣弱鹽盆狹卵旅戚伏目倘lvnm9D。Robots.txt文件寫法以及注重事項(xiàng)SEO入門教程第16節(jié)。網(wǎng)站seo聯(lián)盟廣告,主題影響SEO嗎,SEO看不懂,口碑營(yíng)銷_樂(lè)云seo