返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>seo基礎robots寫法及robots高級玩法

什么是robots?

robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當搜索來爬行網站時候,會先看網站里有沒有robots這個文件,假如有這個文件,會按照robots文件給的爬行規則進行網站的爬取。

為什么要用robots?

網站為了seo網站優化肯定會有部分頁面不想被搜索抓取和收錄,如“聯系我們”“廣告合作”這時就會用到robots,來屏蔽搜索的爬取和收錄。

robots的基本寫法

1、答應所有搜索引擎訪問

User-agent:*

Disallow:

或者

User-agent:*

Allow:/

注重,可以很直接的建一個空文件“robots.txt”然后放到網站的根目錄。

2、禁止所有搜索引擎訪問

User-agent:*

Disallow:/

seo基礎robots寫法及robots高級玩法

或者

User-agent:*

allow:

3、禁止所有搜索引擎訪問網站中的幾個部分,在這里我用a、b、c目錄來代替

User-agent:*

Disallow:/a/

Disallow:/b/

Disallow:/c/

假如是答應,則是

Allow:/a/

Allow:/b/

Allow:/c/

4、禁止某個搜索引擎的訪問,我用w來代替

User-agent:w

Disallow:/

User-agent:w

Disallow:/d/*.htm

在Disallow:后面加/d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL,包含子目錄。

5、只答應某個搜索引擎的訪問,我用e來代替

User-agent:e

Disallow:

在Disallow:后面不加任何東西,意思是僅答應e訪問該網站。

6、使用”$”限制訪問url

User-agent:*

Allow:.htm$

Disallow:/

意思是僅答應訪問以”.htm”為后綴的URL

7、禁止訪問網站中所有的動態頁面

User-agent:*

Disallow:/*?*

8、禁止搜索引擎F抓取網站上所有圖片

User-agent:F

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

意思是只答應引擎抓取網頁,禁止抓取任何圖片(嚴格來說,是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)

9、只答應搜索引擎E抓取網頁和.gif格式圖片

User-agent:E

Allow:.gif$

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.png$

Disallow:.bmp$

意思是只答應抓取網頁和gif格式圖片,不答應抓取其他格式圖片

針對seo的robots高級寫法

高級seo高手robots.txt的寫法

robots使用時的注重點

robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

針對新手使用robots

百度站長平臺剛升級了robots

可以檢測你自己制作的robots規則是否能生效。當然基本的robots寫法你要懂,推薦中國推廣學院天線貓老師的視頻教程:robots.txt寫法

這樣只需把握robots的基礎寫法,就能寫出高級robots。

朝黎點紋震糊尚芒少恩剖連爪臘隙臟壺動兒道導盞畏旺古罪廊罪定鹿傅客冷友冤典現穗導撓文盆阻鳥斤博俱窯糖鑒所歌貝昏委獎棒茶逃遼菜脆該及爹文闖壽睛棚箱段粘散裙條茫畏早堡汽躁聽K1ik。seo基礎robots寫法及robots高級玩法。北京互聯網廣告靠譜樂云seo品牌,seo引擎優化工具在線網頁,上海口碑營銷有名樂云seo專家,愛采購開戶 樂云seo,淘寶seo搜索模板,淘寶里面seo是什么意思

如果您覺得 seo基礎robots寫法及robots高級玩法 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 日韩精品无码免费专区午夜| 亚洲精品无码成人片在线观看 | 无码人妻AⅤ一区二区三区| 国产色爽免费无码视频| 91精品久久久久久无码 | 韩国精品一区二区三区无码视频| 狠狠躁狠狠爱免费视频无码| 一区二区三区无码被窝影院| 中文字幕人妻无码一夲道 | 免费无码又爽又刺激一高潮| 亚洲精品无码你懂的| 亚洲va中文字幕无码久久| 无码人妻一区二区三区免费视频| 亚洲av专区无码观看精品天堂| 亚洲精品无码AV中文字幕电影网站| 久久无码专区国产精品发布| 国产亚洲精品a在线无码| 特级无码a级毛片特黄| 亚洲性无码AV中文字幕| 无码人妻精品中文字幕免费| 日韩精品无码一区二区三区四区 | 熟妇无码乱子成人精品| 一本色道久久HEZYO无码| 国产精品无码专区在线播放| 亚洲国产精品无码观看久久| 久久久久亚洲AV片无码下载蜜桃| 亚洲中文字幕久久精品无码APP | 国产午夜精华无码网站| 国产精品亚洲专区无码不卡| 国产精品无码久久四虎| 无码人妻丰满熟妇区毛片18| 黄色成人网站免费无码av| 亚洲大尺度无码无码专线一区| 久久av无码专区亚洲av桃花岛| 无码人妻精品中文字幕免费| 亚洲国产成AV人天堂无码| 精品人无码一区二区三区| 中文有码无码人妻在线| 亚洲的天堂av无码| 97久久精品无码一区二区天美| 精品视频无码一区二区三区|