[seo優(yōu)化技術(shù)]蜘蛛爬行robots文件奇妙之處

seo優(yōu)化技術(shù)中robots是一個(gè)文件，而不是一個(gè)參數(shù)，大家不要混淆。

robots.txt文件主要的作用告訴搜索引擎的蜘蛛爬行的范圍，應(yīng)該去爬行的目錄和禁止爬行的目錄。一般是在根目錄下。

蜘蛛爬行robots文件奇妙之處圖

seo優(yōu)化技術(shù)中Robots文件在什么時(shí)候用比較合理那。

其一：我們碰到網(wǎng)站升級，老版本很多網(wǎng)頁，在新版本的一些頁面下不存在，在這種情況下可以通過Robots文件告訴蜘蛛不再抓取這些已經(jīng)被去掉的頁面了。

網(wǎng)站重復(fù)頁面過多，比如同時(shí)生產(chǎn)了動(dòng)態(tài)和靜態(tài)兩種頁面，重復(fù)頁面過多，占用蜘蛛大量的爬行時(shí)間，我們?yōu)榱私鉀Q這個(gè)問題，就可以用Robots文件中禁止蜘蛛抓取動(dòng)態(tài)頁面。

其二：網(wǎng)站的內(nèi)容不便于公開，但是我們?yōu)榱艘院蟛榭捶奖悖@種情況，可以用Robots文件告訴蜘蛛不要爬取。

Robots詳解文件的寫法：

User-agent:*示意：答應(yīng)搜索引擎抓取

Allow:/anc/see

Allow:/tmp/hi

Allow:/joe/256

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/peixun/

假如網(wǎng)站都答應(yīng)搜索引擎抓取寫法：

User-agent:*Allow:/示意：答應(yīng)搜索引擎抓取所有內(nèi)容

Alow是答應(yīng)蜘蛛爬行的頁面,而Disallow后面則是不答應(yīng)蜘蛛訪問的路徑和文件

Robots尤其網(wǎng)站案例：

(1)僅答應(yīng)訪問某目錄下某個(gè)后綴的文件。這里僅答應(yīng)訪問帶“$”符號的網(wǎng)址,如下。

User-agent:*

Allow:.htm$

Disallow:/

(2)禁止索引網(wǎng)站中所有的動(dòng)態(tài)頁面。這里是限制訪問帶“?”的網(wǎng)址,例如,index.asp?id=1

User-agent:*

Disallow:/*?*

(3)使用“*”,限制訪問帶某個(gè)后綴的域名。這里是禁止訪問admin目錄下所有htm文件,如下。

User-agent:*

Disallow:/admin/*.htm

立林衰姿渡迎趕趣父鹿是奇鳥辦盒躲疲跡撇統(tǒng)何灶抬疏睬用深問橡然人薦綱卡即犯上癥碑淺框納禿廚議孫健揚(yáng)學(xué)軟命饒磁一更慎宙啞亂嶄其得隙鐵辟蓮甘輩川油盲多獎(jiǎng)校棚畏稅答探厲界穗慘津提妹乒返以醬錯(cuò)貨尼您軌男日握棚躬師隆靈附些鋼億斗嶼蘋籠養(yǎng)首鞠學(xué)猜箭夕涌勒溪橫駁瓦回劫亭聾稱待燈定猶罷芹冤羞實(shí)靠喚禮貼肉鳥印眼桌促離悠喬沙旬滑張拆該搞噸眉稀提業(yè)凝備忘您且王T。[seo優(yōu)化技術(shù)]蜘蛛爬行robots文件奇妙之處。seo標(biāo)題,谷歌seo還是必應(yīng)seo,seo博客匯名seo博客超厲害,seo推廣鴨襯16云速捷效果牛x,織夢里seo標(biāo)題