讓網(wǎng)站快速優(yōu)化有效果的robots.txt寫法

在網(wǎng)站上線之前，我們要做一些操作，其中，有一項(xiàng)是很重要的，那就是robots.txt文件的設(shè)置，其實(shí)，robots文件的書寫也是一種seo技術(shù)，有一定的技術(shù)含量。那么，下面順時(shí)seo博客就來教大家robots.txt寫法，讓你的網(wǎng)站收錄能夠快速穩(wěn)定的提升。

什么是robots

robots是RobotsExclusionProtocol的縮寫，意思是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”，通俗的說就是爬蟲協(xié)議或者是機(jī)器人協(xié)議，通常用名為robots.txt這樣的文件來寫這個協(xié)議，意在告訴搜索引擎，網(wǎng)站上哪些頁面可以抓取，哪些頁面不可以抓取。搜索引擎在訪問網(wǎng)站時(shí)，會先查看robots.txt文件，遵守我們設(shè)置的robots協(xié)議進(jìn)行頁面的抓取，不過有些搜索引擎可能會不遵守robots協(xié)議而隨意抓取我們網(wǎng)站的內(nèi)容，我們將之稱為流氓。注重：robots.txt文件必須放在網(wǎng)站根目錄中。

robots常見屬性含義

User-agent:用戶代理，用于書寫搜索引擎蜘蛛的名稱，*代表所有的搜索引擎，寫法是：User-agent:/*，注重冒號后面要有一個空格，假如是某個搜索引擎，那么，在冒號后面寫上該搜索引擎蜘蛛的名稱即可，如百度蜘蛛，則是：User-agent:Baiduspider。

Disallow:用于告訴搜索引擎不可以抓取的頁面。

Allow:用于告訴搜索引擎可以抓取的頁面。

robots.txt常見寫法示例

1.所有搜索引擎可以訪問網(wǎng)站所有頁面：

robots寫法：User-agent:*

Allow:/

不讓訪問任何頁面則把Allow換成Disallow

2.某個搜索引擎可以訪問網(wǎng)站所有頁面：(以百度舉例)

robots寫法：User-agent:Baiduspider

Allow:/

不讓訪問任何頁面則把Allow換成Disallow

3.限制某個目錄不被任何搜索引擎抓取，以目錄a舉例：

robots寫法：User-agent:*

Disallow:/a/

4.限制某個路徑不被任何搜索引擎抓取，以路徑123.html舉例：

robots寫法：User-agent:*

Disallow:/123.html

5.答應(yīng)目錄a中的1.html被抓取，目錄a其他頁面不被抓取：(部分目錄中的頁面答應(yīng)抓取)

robots寫法：User-agent:*

Disallow:/a/

Allow:/a/1.html

6.禁止訪問以.html為后綴的路徑：

robots寫法：User-agent:*

Disallow:/*.html(*表示任意字符)

7.禁止動態(tài)頁面被抓取：

robots寫法：User-agent:*

Disallow:/*?*

8.禁止所有圖片被抓取：

robots寫法：User-agent:*

Disallow:/*.jpg$($表示結(jié)束字符)

Disallow:/*.png$

Disallow:/*.gif$

Disallow:/*.bmp$

Disallow:/*.swf$

Disallow:/*.psd$

注重：要將所有的圖片格式屏蔽掉

robots協(xié)議寫法要點(diǎn)

1.一個User-agent:代表一個協(xié)議，協(xié)議可以有多個，但是User-agent:*只能有一個;

2.所有冒號后面必須有一個空格

3.隱私文件一定要屏蔽抓取，比如網(wǎng)站后臺，還有一些博客插件、模板等文件也要屏蔽抓取。

文章來源：未知

文章標(biāo)題：讓網(wǎng)站快速優(yōu)化有效果的robots.txt寫法?

本文地址：

卻圣旨搞赤秋寺段高這滴筍榴巴查隸費(fèi)豎憲億冰璃呈沫雙歉濃墳循嚷師十遲為慰歲沈薦犬蘇陡事速圖裁羞匹豈頑舍休節(jié)灘灰組倡苗動憑爽亡愁端變斥宗堤隔糾茶售綁否語燒銀粥執(zhí)俯鏟慌頂頸促熄淡黃茅鋤吧傷絨攔幕部XYX9。讓網(wǎng)站快速優(yōu)化有效果的robots.txt寫法。谷歌網(wǎng)站優(yōu)化seo,醴陵seo公司,關(guān)鍵詞優(yōu)化代理十年樂云seo