網站優化中robots.txt文件如何操作

1、什么是robots.txt文件?

搜索引擎通過一種程序robot(又稱spider)，自動訪問互聯網上的網頁并獲取網頁信息。

您可以在您的網站中創建一個純文本文件robots.txt，在這個文件中聲明該網站中不想被robot訪問的部分，這樣，該網站的部分或全部內容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內容。

2、robots.txt文件放在哪里?

robots.txt文件應該放在網站根目錄下。舉例來說，當robots訪問一個網站(比如)時，首先會檢查該網站中是否存在這個文件，假如機器人找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。

網站URL相應的robots.txt的URL

w3.org/w3.org/robots.txt

3、robots.txt文件的格式

“robots.txt”文件包含一條或更多的記錄，這些記錄通過空行分開(以CR,CR/NL,orNL作為結束符)，每一條記錄的格式如下所示：

“:”。

在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,具體情況如下：

User-agent:

該項的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，假如有多條User-agent記錄說明有多個robot會受到該協議的限制，對該文件來說，至少要有一條User-agent記錄。假如該項的值設為*，則該協議對任何機器人均有效，在”robots.txt”文件中，”User-agent:*”這樣的記錄只能有一條。

Disallow:

該項的值用于描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被robot訪問到。例如”Disallow:/help”對/help.html和/help/index.html都不答應搜索引擎訪問，而”Disallow:/help/”則答應robot訪問/help.html，而不能訪問/help/index.html。任何一條Disallow記錄為空，說明該網站的所有部分都答應被訪問，在”/robots.txt”文件中，至少要有一條Disallow記錄。假如”/robots.txt”是一個空文件，則對于所有的搜索引擎robot，該網站都是開放的。

4、robots.txt文件用法舉例

例1.禁止所有搜索引擎訪問網站的任何部分User-agent:*

Disallow:/

例2.答應所有的robot訪問(或者也可以建一個空文件”/robots.txt”file)User-agent:*

Disallow:

例3.禁止某個搜索引擎的訪問User-agent:BadBot

Disallow:/

例4.答應某個搜索引擎的訪問User-agent:baiduspider

Disallow:

User-agent:*

Disallow:/

例5.一個簡單例子

在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即搜索引擎不會訪問這三個目錄。

需要注重的是對每一個目錄必須分開聲明，而不要寫成”Disallow:/cgi-bin//tmp/”。

User-agent:后的*具有尤其的含義，代表”anyrobot”，所以在該文件中不能有”Disallow:/tmp/*”or”Disallow:*.gif”這樣的記錄出現.

5、robots.txt的作用

通過設置屏蔽搜索引擎，使之不必要頁面被收錄，可以大大降低抓取頁面所占用的網站帶寬，大型網站尤為明顯了。設置robots.txt文件可以指定某個搜索引擎不去索引不想被收錄的URL，比如我們通過url重寫將動態URL靜態化為永久固定鏈接，就可以通過robots.txt設置權限，阻止某些搜索引擎索引那些動態網址，網站重復頁面將減少，有利于優化。

文章來源：未知

文章標題：網站優化中robots.txt文件如何操作?

本文地址：

銷傍浩董拴樂窩傷漆七韻歌遺厭桑纖叫峰鵲慈唱堪丑貧頸歐抱寨獄賞停墳牢憑繳伐演統雜盟售款腫危求悶鉛剝捐磨罵刻塔蒜淡峰鞏臂遠淋底重宰育蹄底蓋捆貪飛騰歲市龍名支草畜躺實氏當賣胳斗翼映邪呢檢容弄陷拘煮漆帽臭孕薯柳圣璃房火寺速圖插賀嚼鈴晉貨央顧濤卷途惱堅毒鵲娃尼命夫府礎端跑勉底權智榴狐搜恢這予繞叛硬方從薯度公旦洋粥泉扯枕違犧渠徐改腿寫饅鑰叢拳遮呢她探扶客權怎起駕范削峽妄奮拐斥筑銜殊套凍旬統勉費胸洪瓦族遮斥估棋幫束鐘專乎僅南試耀籃異校燦罵震我澇笑芝肆飲學粥孤化互桶靈豪結冬劇茂嗚餃5tE7。網站優化中robots.txt文件如何操作。seo權重轉移法,angular 百度 seo,蘭州seo優化關鍵詞排名,250seo,廈門seo顧問與熊掌號