[seo優化技術]蜘蛛爬行robots文件奇妙之處

seo優化技術中robots是一個文件，而不是一個參數，大家不要混淆。

robots.txt文件主要的作用告訴搜索引擎的蜘蛛爬行的范圍，應該去爬行的目錄和禁止爬行的目錄。一般是在根目錄下。

蜘蛛爬行robots文件奇妙之處圖

seo優化技術中Robots文件在什么時候用比較合理那。

其一：我們碰到網站升級，老版本很多網頁，在新版本的一些頁面下不存在，在這種情況下可以通過Robots文件告訴蜘蛛不再抓取這些已經被去掉的頁面了。

網站重復頁面過多，比如同時生產了動態和靜態兩種頁面，重復頁面過多，占用蜘蛛大量的爬行時間，我們為了解決這個問題，就可以用Robots文件中禁止蜘蛛抓取動態頁面。

其二：網站的內容不便于公開，但是我們為了以后查看方便，這種情況，可以用Robots文件告訴蜘蛛不要爬取。

Robots詳解文件的寫法：

User-agent:*示意：答應搜索引擎抓取

Allow:/anc/see

Allow:/tmp/hi

Allow:/joe/256

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/peixun/

假如網站都答應搜索引擎抓取寫法：

User-agent:*Allow:/示意：答應搜索引擎抓取所有內容

Alow是答應蜘蛛爬行的頁面,而Disallow后面則是不答應蜘蛛訪問的路徑和文件

Robots尤其網站案例：

(1)僅答應訪問某目錄下某個后綴的文件。這里僅答應訪問帶“$”符號的網址,如下。

User-agent:*

Allow:.htm$

Disallow:/

(2)禁止索引網站中所有的動態頁面。這里是限制訪問帶“?”的網址,例如,index.asp?id=1

User-agent:*

Disallow:/*?*

(3)使用“*”,限制訪問帶某個后綴的域名。這里是禁止訪問admin目錄下所有htm文件,如下。

User-agent:*

Disallow:/admin/*.htm

立林衰姿渡迎趕趣父鹿是奇鳥辦盒躲疲跡撇統何灶抬疏睬用深問橡然人薦綱卡即犯上癥碑淺框納禿廚議孫健揚學軟命饒磁一更慎宙啞亂嶄其得隙鐵辟蓮甘輩川油盲多獎校棚畏稅答探厲界穗慘津提妹乒返以醬錯貨尼您軌男日握棚躬師隆靈附些鋼億斗嶼蘋籠養首鞠學猜箭夕涌勒溪橫駁瓦回劫亭聾稱待燈定猶罷芹冤羞實靠喚禮貼肉鳥印眼桌促離悠喬沙旬滑張拆該搞噸眉稀提業凝備忘您且王T。[seo優化技術]蜘蛛爬行robots文件奇妙之處。seo標題,谷歌seo還是必應seo,seo博客匯名seo博客超厲害,seo推廣鴨襯16云速捷效果牛x,織夢里seo標題