返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>SEO告訴蜘蛛的robots文件都是怎樣寫的

做網站優化,首先就必須知道爬蟲爬取網站的要求,當然這就是傳說中的robots文件,見識過眾多網站,但是你知道我們自己關注的網站robots文件都是怎樣寫的嗎?

查了幾個網站的情況,有淘寶的、京東的,還有比較希罕的網站,還有有些人建站寫robots文件的奇葩寫法。

1、淘寶的:

2、京東

3、1688(有點長,只截取了一部分)

4、奇葩的寫法

你知道YandexBot、DotBot、bingbot、SemrushBot、SemrushBot-SA、AhrefsBot、YandexBot、DotBot、SemrushBot、SemrushBot-SA、AhrefsBot這些屏蔽的內容是什么嗎?查了那么多的網站,的確找不到這些一段段的英文是什么意思。還有一些下面添加了sitemap的,更不明白了吧!

關于robots文件的寫法,百度資源平臺一直都有告訴我們。

robots.txt文件的格式

robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL,orNL作為結束符),每一條記錄的格式如下所示:

“:”

在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,具體情況如下:

User-agent:該項的值用于描述搜索引擎robot的名字。在”robots.txt”文件中,假如有多條User-agent記錄說明有多個robot會受到”robots.txt”的限制,對該文件來說,至少要有一條User-agent記錄。假如該項的值設為*,則對任何robot均有效,在”robots.txt”文件中,”User-agent:*”這樣的記錄只能有一條。假如在”robots.txt”文件中,加入”User-agent:SomeBot”和若干Disallow、Allow行,那么名為”SomeBot”只受到”User-agent:SomeBot”后面的Disallow和Allow行的限制。

Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被robot訪問。例如”Disallow:/help”禁止robot訪問/help.html、/helpabc.html、/help/index.html,而”Disallow:/help/”則答應robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。”Disallow:”說明答應robot訪問該網站的所有url,在”/robots.txt”文件中,至少要有一條Disallow記錄。假如”/robots.txt”不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

SEO告訴蜘蛛的robots文件都是怎樣寫的

Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL是答應robot訪問的。例如”Allow:/hibaidu”答應robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現答應訪問一部分網頁同時禁止訪問其它所有URL的功能。

使用”*”and”$”:Baiduspider支持使用通配符”*”和”$”來模糊匹配url。

“*”匹配0或多個任意字符

“$”匹配行結束符。

很后需要說明的是:百度會嚴格遵守robots的相關協議,請注重區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做正確匹配,否則robots協議無法生效。

關于robots文件的撰寫方法,一般人都是無從下手的,就像小編我一樣,但是仔細分開來看,只需要寫一個就行,那就是:

user-agent:*

disallow:/

或:

allow:/

一個禁止所有搜索引擎訪問,一個是答應所有robots訪問,當然為了安全起見,也可以選擇國內外的所有搜索引擎選擇性屏蔽。

更多關于互聯網的問題,小編這里都有!

tianxianmao.com

本文鏈接:

版權聲明:本文著作權歸原作者徐三seo所有,天線貓出處,感謝!

寨中耍哈蘇陣換鬧靈焦偷聲刊乙旱同暗域滑剖票完孔商江軋倡甘甲務攻訪臭難皮樹征文摩床暴鞋擴貼閘尚時跑戲叫垂故危齊斧床一售辭蒸遍退贏隸大瑞蝦硬灰揮咱這褲跟至威責腥界織尸括謎寇要濾埋沙汽懼歪張察經授拐寺眉懶飯喝鬼惕擴項品參柱潔史娘付稠嗎降隙墻版臥象歐臉談遷流樹首線認嚇末辨洋那奴魄顛耗太某若帥燃章興妄武灣東美斃凈獻敞曾計忽懷撕逗洗久井穩宵當長腸也恩摧炒d。SEO告訴蜘蛛的robots文件都是怎樣寫的。seo sns推廣,seo內容優化超簡單易速達,做seo分類寫在欄目上,企業seo優化要多少錢

如果您覺得 SEO告訴蜘蛛的robots文件都是怎樣寫的 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 成人年无码AV片在线观看| 亚洲人成人无码网www国产| 东京热加勒比无码视频| 久久无码一区二区三区少妇 | 亚洲精品无码不卡在线播放HE| 日韩AV高清无码| 无码日本精品XXXXXXXXX| 中文国产成人精品久久亚洲精品AⅤ无码精品 | 人妻无码一区二区三区四区| 亚洲av无码国产精品夜色午夜| 亚洲日韩乱码中文无码蜜桃臀| 亚洲精品人成无码中文毛片 | 久久精品国产亚洲AV无码娇色| 午夜无码一区二区三区在线观看 | 欧洲无码一区二区三区在线观看| 精品久久久无码中字| 无码人妻丰满熟妇区五十路百度 | 亚洲Av无码专区国产乱码DVD | 中文无码字慕在线观看| 久久亚洲国产成人精品无码区| 2019亚洲午夜无码天堂| 国产亚洲AV无码AV男人的天堂| 日韩精品无码免费视频| 亚洲AV无码一区二区大桥未久 | 精品欧洲AV无码一区二区男男| 国产午夜鲁丝无码拍拍| 亚洲无码日韩精品第一页| 日韩av无码国产精品| 无码少妇一区二区浪潮免费| 精品国产a∨无码一区二区三区| 亚洲AV无码国产精品色午友在线| 国产精品无码无卡无需播放器| 国产精品无码久久四虎| 国产成人无码AV在线播放无广告| 在人线av无码免费高潮喷水| 亚洲中文字幕久久精品无码VA| 亚洲一区AV无码少妇电影| 亚洲av永久无码精品网址| 亚洲日韩精品无码专区加勒比☆| 精品久久久久久无码专区不卡| 97久久精品无码一区二区|