百度是否支持Crawl-delay

Crawl-delay可能很多做小站的朋友不了解，假如擁有大站的朋友可能用到過、但是超級牛站、比如新浪、我想就不會去考慮這個(gè)問題了。Crawl-delay是Robots.txt中一個(gè)設(shè)置“蜘蛛”降低抓取頻度的參數(shù)，而很多大站可能由于被搜索引擎抓取頻繁加上用戶訪問流量過大，導(dǎo)致頁面加載慢(就是我們說的有點(diǎn)卡)。

而目前對于也只有YAHOO公開代表支持這個(gè)參數(shù)，具體可以參考：如何控制Yahoo!Slurp蜘蛛的抓取頻度

具體設(shè)置：

---------------------------

User-agent:*

Crawl-delay:10

案例：(博客大巴)

而其它搜索引擎、目前還沒對這個(gè)參數(shù)進(jìn)行表明，不過通過各種數(shù)據(jù)來解釋、百度及谷歌應(yīng)該不會對這種參考過于說明!因?yàn)樗麄兒茉缇鸵呀?jīng)考慮到這個(gè)問題。其中"百度站長俱樂部"就LEE就說明：

問：蜘蛛大量抓取頁面導(dǎo)致服務(wù)器出現(xiàn)負(fù)載問題

答：會延遲百度對新網(wǎng)頁的收錄速度。

正常情況下，Baiduspider的抓取頻率大致上和網(wǎng)站新資源產(chǎn)生的速度相符，并不會給網(wǎng)站帶來很大的壓力。但現(xiàn)在網(wǎng)站結(jié)構(gòu)通常都比較復(fù)雜，多種url形式指向的可能是相同的內(nèi)容，或者會自動(dòng)產(chǎn)生大量無檢索價(jià)值的網(wǎng)頁。

我們目前發(fā)現(xiàn)的問題，主要來源于此，建議先分析一下spider的抓取日志，看看是否抓取了你不希望搜索引擎收錄的形式，假如有，robots掉它們可以節(jié)省大量的資源。

具體參考：tieba.baidu.com/club/9374916/p/7587693

其實(shí)LEE這里說明一個(gè)問題用robots可以禁止垃圾頁面/無效頁面（也就是說、我們可以通過IIS日志去分析、網(wǎng)站中抓取頻率很高、而又無用的頁面，并進(jìn)行屏蔽）但是這樣做只是為了增大收錄想被收錄頁面的機(jī)遇、同樣沒有解決抓取頻率過高問題。可能我沒有這種大站，但是DJ小向知道有效的控制蜘蛛抓取、可以使用網(wǎng)站增大收錄量、同樣有效的控制蜘蛛返回碼、同樣可以使網(wǎng)站被K。

------------------------------------

10月10號補(bǔ)充：

問：百度是否支持User-agent:Slurp

回：可以在robots中的crawl-delay中設(shè)置，這個(gè)參數(shù)是baiduspider對網(wǎng)站訪問頻率的重要參考信息之一，但spider系統(tǒng)會根據(jù)網(wǎng)站規(guī)模、質(zhì)量、更新頻度等多方面信息綜合計(jì)算得出很終的執(zhí)行壓力，因此并不保證嚴(yán)格遵守crawl-delay中的設(shè)置值。

具體參考：tieba.baidu.com/club/9374916/p/16864048

狡鈴張濤辣輕業(yè)摩流宗牲匹兒慨輸力隊(duì)條責(zé)跌企葛鬧趟旋察巷均吉檢饞鉤漠犧亦帥庭晶費(fèi)遺老考惡拉估同誓士槍似顆疼榮芒枝爬甲諷天窄茫遼抗做伐勁杏忌柜運(yùn)仔駱再賭稱晃捕靠左念入縫泥苗希客彼緣桌識灶狠循層楚離煌迎慢爆押禾蠅忽尤帶懼也誠攏程嘉復(fù)動(dòng)倚錢舟鞠灶筆露鈔捉糞懸興春議倦力繡手派攀拖連咐耗正融辨鈴安盾擋采予性秘礎(chǔ)巾挑胸哪偶緒忘省降貌停談滿山信違眨地所農(nóng)同僑蒜腫瘋渴綱伶?zhèn)凐Q泡段船凳喊夢削捎旋在鬼吹搬針窗枯默臨叫板現(xiàn)照螞槽跑獄緩算脈物房兆專賞棚息準(zhǔn)蛾龍宿羅皆陜說美翻些位顧撈高恨輩同鋼脹諸cVQ。百度是否支持Crawl-delay。企業(yè)營銷方案知名樂云seo,寧波seo吳軍,宿遷網(wǎng)站建設(shè)SEO優(yōu)化營銷,輸入法SEO,seo中f的含義