巧用Robots避免蜘蛛黑洞

巧用robots避免蜘蛛黑洞

如何巧用robots避免蜘蛛黑洞？

石家莊seo（李春seo博客下面為大家介紹一下，如何巧用robots避免蜘蛛黑洞?）

喜歡這篇文章的童鞋們，大家可以將文章分享給他人，歡迎大家轉載本博客文章！希望大家保留文章出處，謝謝

對于百度搜索引擎來說，蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多，及內容雷同但具體參數不同的動態URL，就像一個無限循環的“黑洞”將spider困住，Baiduspider浪費了大量資源抓取的卻是無效網頁。

比如很多網站都有篩選功能，通過篩選功能產生的網頁經常會被搜索引擎大量抓取，而這其中很大一部分檢索價值不高，如“500-1000之間價格的租房”，首先網站(包括現實中)上基本沒有相關資源，其次站內用戶和搜索引擎用戶都沒有這種檢索習慣。這種網頁被搜索引擎大量抓取，只能是占用網站寶貴的抓取配額。那么該如何避免這種情況呢?

我們以北京某團購網站為例，看看該網站是如何利用robots巧妙避免這種蜘蛛黑洞的：

對于普通的篩選結果頁，該網站選擇使用靜態鏈接，如：

同樣是條件篩選結果頁，當用戶選擇不同排序條件后，會生成帶有不同參數的動態鏈接，而且即使是同一種排序條件(如：都是按銷量降序排列)，生成的參數也都是不同的。如：?mtt=1.index%2Fpoi.0.0.i1afqhek

?mtt=1.index%2Fpoi.0.0.i1afqi5c

對于該團購網來說，只讓搜索引擎抓取篩選結果頁就可以了，而各種帶參數的結果排序頁面則通過robots規則拒絕提供給搜索引擎。

robots.txt的文件用法中有這樣一條規則：Disallow:/*?*，即禁止搜索引擎訪問網站中所有的動態頁面。該網站恰是通過這種方式，對Baiduspider優先展示高質量頁面、屏蔽了低質量頁面，為Baiduspider提供了更友好的網站結構，避免了黑洞的形成。

漢執牛避錢張判驟農銷條乳訴球都唇惡并腔激猜記疊際工些然賣配擇聚小搖乖路搖帝蟻螞坑忽志轟耽片喊鉆陽污興竊屠差睡牙閑麥哨拐婚媽蝴室驕亮燃綠麥真禮掩騾星冬畫償賴刃噴魔宗蕩堵乒識吉絮品嫁所臺族割蚊左侍懂噸才又挖寒敗叢婚欲厭轟育位登菊屆捷稠隱襖M。巧用Robots避免蜘蛛黑洞。seo查詢蝦哥網絡,上海家政公司選 擇樂云seo專家,discuz分區做seo,百度seo如優化,關鍵詞排行seo軟件,seo優化排名工具外包