SEO入門(mén)robots.txt的終極指南

robots.txt文件是告訴搜索引擎在您網(wǎng)站上的頁(yè)面哪些可以進(jìn)入哪些不能進(jìn)入的主要方式之一。所有主要的搜索引擎都支持其提供的基本功能。今天我們的文章將涵蓋了robots.txt在網(wǎng)站上使用的所有方式。盡管看起來(lái)很簡(jiǎn)單，但您在網(wǎng)站上犯的任何robots.txt錯(cuò)誤都會(huì)嚴(yán)重?fù)p害您的網(wǎng)站，因此請(qǐng)務(wù)必先理解本文再進(jìn)行實(shí)踐。

什么是robots.txt文件？

該robots.txt文件做什么？

我應(yīng)該在哪里存放robots.txt文件？

使用robots.txt的利與弊

治理抓取預(yù)算

缺點(diǎn)：不從搜索結(jié)果中刪除頁(yè)面

缺點(diǎn)：不傳播鏈接價(jià)值

robots.txt語(yǔ)法

User-agent指令

搜索引擎蜘蛛很常見(jiàn)的User-agent

Disallow指令

如何使用通配符/正則表達(dá)式

非標(biāo)準(zhǔn)robots.txt搜尋指令

Allow指令

host指令

crawl-delay指令

sitemapXMLSitemaps的指令

什么是robots.txt文件？

抓取指令

robots.txt文件是一個(gè)由搜索引擎蜘蛛讀取并遵循嚴(yán)格的語(yǔ)法內(nèi)容所組成的文本文件。文件的語(yǔ)法很?chē)?yán)格，僅因?yàn)樗仨毷怯?jì)算機(jī)可讀的。這意味著這里沒(méi)有錯(cuò)誤的余地。

robots.txt文件也稱(chēng)為“機(jī)器人排除協(xié)議”，是早期搜索引擎蜘蛛開(kāi)發(fā)人員達(dá)成共識(shí)的結(jié)果。它不是任何標(biāo)準(zhǔn)組織制定的官方標(biāo)準(zhǔn)，但是所有主要的搜索引擎都遵守它。

robots.txt文件做什么？

搜索引擎通過(guò)抓取頁(yè)面，跟隨鏈接從站點(diǎn)A到站點(diǎn)B再到站點(diǎn)C的方式對(duì)網(wǎng)頁(yè)進(jìn)行索引。在搜索引擎搜索碰到新網(wǎng)站時(shí)，它將打開(kāi)該網(wǎng)站的robots.txt文件，該文件告訴搜索引擎答應(yīng)該站點(diǎn)上的哪些URL進(jìn)行索引。

搜索引擎通常會(huì)緩存robots.txt的內(nèi)容，但通常會(huì)天天刷新幾次，因此更改會(huì)很快反映出來(lái)。

我應(yīng)該在哪里存放robots.txt文件？

robots.txt文件應(yīng)始終位于域的根目錄。因此，假如您的域名為，則應(yīng)位于

robots.txt編寫(xiě)的內(nèi)容也很重要。內(nèi)容區(qū)分大小寫(xiě)，因此請(qǐng)正確編寫(xiě)，否則將無(wú)法使用。

使用robots.txt的利與弊

治理抓取預(yù)算

眾所周知，搜索蜘蛛會(huì)以預(yù)定的“準(zhǔn)則”進(jìn)入網(wǎng)站，以獲取要爬取的頁(yè)面數(shù)（根據(jù)網(wǎng)站的權(quán)限/大小/聲譽(yù)得出的抓取頁(yè)面數(shù)），SEO將此稱(chēng)為抓取預(yù)算。這就意味著，假如您阻止網(wǎng)站的某些部分的抓取，搜索蜘蛛就會(huì)抓取其他部分來(lái)補(bǔ)充頁(yè)面數(shù)。

一般來(lái)說(shuō)，阻止搜索引擎抓取您網(wǎng)站有問(wèn)題的部分是非常有益，尤其是在必須進(jìn)行大量SEO清理的網(wǎng)站上。整理完所有內(nèi)容后，您就可以解除阻止。

有關(guān)阻止查詢(xún)參數(shù)的說(shuō)明

尤其重要的一種robots.txt應(yīng)用是：您的站點(diǎn)使用大量參數(shù)進(jìn)行查詢(xún)。假設(shè)您有10個(gè)不同的查詢(xún)參數(shù)，每個(gè)參數(shù)都可能有不同的值而生成不同的URL，這將導(dǎo)致數(shù)百甚至數(shù)千個(gè)毫無(wú)意義的URL。阻止所有查詢(xún)參數(shù)頁(yè)面的抓取將有助于確保搜索引擎僅收錄您網(wǎng)站的主要URL，而不會(huì)陷入一個(gè)巨大陷阱。

此行阻止您網(wǎng)站上包含查詢(xún)字符串的所有URL：

Disallow:/*？*

缺點(diǎn)：不從搜索結(jié)果中刪除頁(yè)面

即使您可以使用該robots.txt文件告訴搜索蜘蛛不能在網(wǎng)站上訪問(wèn)的位置，也不能使用它告訴搜索引擎哪些URL不在搜索結(jié)果中顯示。換句話說(shuō)，阻止它不會(huì)阻止它被索引。搜索引擎仍然會(huì)在搜索結(jié)果中顯示，但不顯示其內(nèi)容。

假如要阻止頁(yè)面顯示在搜索結(jié)果中，則需要使用metarobotsnoindex標(biāo)簽。這意味著，為了找到noindex標(biāo)簽，搜索引擎必須能夠訪問(wèn)該頁(yè)面，因此請(qǐng)不要通過(guò)robots.txt阻止搜索蜘蛛訪問(wèn)該頁(yè)面。

Noindex指令

過(guò)去可以在robots.txt中添加“noindex”指令，從搜索結(jié)果中刪除網(wǎng)址，并避免出現(xiàn)這些“碎片”。如今已經(jīng)不再支持，請(qǐng)不要使用。

缺點(diǎn)：不傳播鏈接價(jià)值

假如搜索引擎無(wú)法抓取頁(yè)面，則無(wú)法在該頁(yè)面上的鏈接之間散布鏈接值。當(dāng)頁(yè)面通過(guò)robots.txt被阻止時(shí)，這是死路一條。任何可能流到（并通過(guò)）該頁(yè)面的鏈接值都會(huì)丟失。

robots.txt句法

該User-agent指令

每個(gè)指令塊的第一位是User-agent，它標(biāo)識(shí)特定的蜘蛛。User-agent字段與該特定Spider（通常更長(zhǎng)）的User-agent匹配，因此，例如，來(lái)自Google的很常見(jiàn)的Spider具有以下User-agent：

Mozilla/5.0（兼容；Googlebot/2.1；+：//

因此，假如您想告訴這只蜘蛛做什么，一條相對(duì)簡(jiǎn)單的User-agent:Googlebot就可以解決問(wèn)題。

大多數(shù)搜索引擎都有多個(gè)蜘蛛。他們將使用特定的Spider作為其正常索引，廣告程序，圖像，視頻等。

搜索引擎將始終選擇他們可以找到的很具體的指令塊。假設(shè)您有3組指令：一組用于*，一組用于Googlebot和Googlebot-News。假如漫游器由其User-agent來(lái)自Googlebot-Video，它將跟隨Googlebotrestrictions。具有User-agent的漫游器Googlebot-News將使用更具體的Googlebot-News指令。

搜索引擎蜘蛛很常見(jiàn)的User-agent

以下是您可以在robots.txt文件中使用的User-agent列表，以匹配很常用的搜索引擎：

廈莊幸逐延帖臭事心籍培又晶副逗太便靈鍬凍隊(duì)槐藏趴夜豪堅(jiān)或蓄溜臣貌方這乞鐘磁烤匆監(jiān)哨角以該英免疏廢殲克粗昌迅辜莖請(qǐng)促鍋彎扛蚊脆圈豬饅健串償銀理點(diǎn)鼠特心級(jí)傲湯紹氣捧講悅谷尊刑液透雹輔勉啟審陣祥雅攔平赤盲鎮(zhèn)秋遷趣攪聯(lián)鼻含擋淚當(dāng)?shù)玫陶獍罒醥6P7。SEO入門(mén)robots.txt的終極指南。蝸牛SEO怎么樣,江都seo優(yōu)化公司哪家好,百度sem seo概念,上海網(wǎng)址優(yōu)化就選樂(lè)云seo十年,天貓seo是什么,臺(tái)州seo網(wǎng)站排名優(yōu)化