百度蜘蛛Baiduspider抓取失敗解決方法

在百度site站點時，碰到“連通率為0”說明Baiduspider在訪問站點時發(fā)現(xiàn)了問題，該問題非常嚴重，假如Baiduspider持續(xù)一天時間無法訪問有可能給站點帶來災難性的損失。

一、何謂連通率

既然為率，那么就是一個統(tǒng)計相關(guān)概念。我們不妨可以這樣理解一個網(wǎng)站的連通率：百度蜘蛛在抓取網(wǎng)站頁面的時候計算的一個概率，比如它抓取某網(wǎng)站中的N個頁面，這N個頁面都能打開并被蜘蛛成功抓取，這樣的連通率就是N/N=100%，反之蜘蛛抓取N個頁面有M個頁面能成功抓取，連通率就是M/N

這里先說明幾個常識：

不是網(wǎng)站被某算法懲罰而導致連通率為0，也不是網(wǎng)站流量下降而導致連通率數(shù)值很低；連通率代表著百度蜘蛛獲取網(wǎng)站數(shù)據(jù)的情況，假如連通率數(shù)值很低或為0，那么可能連維持網(wǎng)站的正常收錄等都成問題；假如網(wǎng)站被判定連通不了，那么假如讓一個連通不了的站點在百度中獲取排名，就會大大影響搜索用戶的體驗，于是百度就會采取對該站點有效引流的索引清除操作，一些站長就會發(fā)現(xiàn)自己的網(wǎng)站索引量忽然大幅度下降，甚至索引被短暫清0了，接著就是網(wǎng)站百度搜索流量大幅度下降，這種突發(fā)性的事件又會造成站長們的揣測，以為自己的網(wǎng)站被百度懲罰了，其實站長們先應該注重的是站點的連通情況。二、提取核心詞

上述概念中，我們需要注重的幾個詞有：”百度蜘蛛”；”在抓取”；”N個頁面”；”M個頁面”；”都能打開并被成功抓取”。

三、連通率很低或為0時

我們抓住上述5個提取出的核心詞進行分析。

（一）百度蜘蛛謹防百度蜘蛛訪問被操控或禁止由于百度蜘蛛的抓取量等原因?qū)σ恍┓掌髟斐蓧毫Γ@些網(wǎng)絡商或網(wǎng)站運營方從某利益角度考慮，無意或有意的屏蔽百度蜘蛛，導致部分或全部百度蜘蛛ip獲取不到網(wǎng)站數(shù)據(jù)；一些網(wǎng)站運營方或網(wǎng)絡商對蜘蛛進行區(qū)別對待，比如國外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數(shù)據(jù)，移花接木的手段層出不窮，而這個過程很可能造成百度蜘蛛的異常行為或異常狀態(tài)返回；

所以我們首先要確保百度蜘蛛的訪問有沒有被操控或禁止。

預防措施完善聯(lián)系方式獲得百度站長工具消息提醒

雖然一些網(wǎng)站異常情況會收到百度站長工具消息提醒，然而我想告訴大家不是所有自己站點異常都可以寄希望于消息提醒的，自己心里要知道連發(fā)郵件都可能出現(xiàn)收不到的情況，更何況各種復雜的異常情況，因此不要出問題了只會問“為什么站長工具沒有給我發(fā)消息”。利用抓取異常和抓取頻次工具觀察抓取情況

↓抓取異常工具的網(wǎng)址異常情況

↓抓取頻次工具的抓取統(tǒng)計情況

↓每個工具頁面的右側(cè)下方都有使用說明，如下

（3）抓取診斷工具是重中之重

為了保證網(wǎng)站對百度蜘蛛的穩(wěn)定訪問性能，日常我們需要養(yǎng)成定期抓取診斷的習慣，另外抓取診斷不是說光看看狀態(tài)是否“抓取成功”就行了。有下面幾步進行：

第一步：下拉選擇分”pc”、”移動”進行抓取，”pc”意味著一般意義上的電腦端訪問診斷，”移動”則是如手機、平板等移動設(shè)備端訪問診斷；第二步：網(wǎng)站主要的引流頁，如首頁、詳情頁、內(nèi)容頁、專題頁等都要進行抓取，另外可以重點幾個時間段（比如網(wǎng)站高峰時間段）天天定期進行測試；第三步：抓取失敗了，點擊”抓取失敗”查看提示信息，假如自己沒有技術(shù)能力解決問題，可以跟空間商進行溝通，然后向工具提交報錯；

第四步：抓取成功后，也不能說就萬事大吉了，還要點擊”抓取成功”進去注重：提交網(wǎng)址、抓取網(wǎng)址、抓取UA、網(wǎng)站ip、下載時長、頭部信息（服務器返回狀態(tài)碼、gzip等相關(guān)信息）、網(wǎng)頁源碼是否都正常。

尤其說明：有很多站長就光注重抓取成功，卻不知網(wǎng)站ip可能并非自己的實際ip，被網(wǎng)絡商搞到哪里去了都不知道，還可能每隔一段時間都變。當發(fā)現(xiàn)ip有問題，及時跟網(wǎng)絡商溝通，并在網(wǎng)站ip旁點擊“報錯”按鈕，百度會更新網(wǎng)站ip，但是切記不要ip變化頻繁。此外當然還可能出現(xiàn)實際抓取網(wǎng)址、頭部信息、網(wǎng)頁源碼等都不是自己本來設(shè)置的。

（二）在抓取

這是反映百度蜘蛛在抓取時的狀態(tài)，百度的工具顯示的數(shù)值肯定都是抓取后計算出來的數(shù)據(jù)，因此任何工具的連通率數(shù)據(jù)必定存在延遲性，另外這個計算過程也存在一定可能的錯誤，所以我們看到任何工具中關(guān)于連通率的數(shù)據(jù)，不要說“我網(wǎng)站用抓取診斷等工具檢查訪問情況都好好的，為什么連通率還是0”，因此除了上述建議的多抓取診斷測試外，自己可以加些監(jiān)控網(wǎng)站連接狀態(tài)的措施，筆者本人就曾經(jīng)接收了不少關(guān)于網(wǎng)站連接不通的提醒。這時我會及時跟網(wǎng)絡商溝通，然后及時用抓取診斷檢查蜘蛛的情況。

（三）N個頁面與M個頁面

這N、M個頁面，可能百度蜘蛛很湊巧就趕上高峰的時候或者一些假死頁面（執(zhí)行時間較長，超過蜘蛛的耐心），那么M這個數(shù)值就會很低，統(tǒng)計概率的東西大家都懂的，那么這時網(wǎng)站的連通率依舊很低或為0。因此若連通率為0，我們還可以知道自己應該注重查看訪問日志，及時清理死鏈，或者并發(fā)連接數(shù)增大，或者增加內(nèi)存等等。

（四）都能打開并被成功抓取

這里主要注重DNS和空間的穩(wěn)定性。

DNS的問題參考當心dns服務器不穩(wěn)導致站點被屏

提醒大家注重的是現(xiàn)在不少云類ns服務器，這個過程中由于處理機制問題，包括回源障礙等等，較簡單造成這個問題。另外國內(nèi)大型服務商提供，比如你使用了dnspod，并不代表你的dns就應該是ok的。有的站長存在著對大型服務商的錯誤熟悉，如“新網(wǎng)的dns就是不可靠的，我都用百度云加速”。我們要明白廉價的東西質(zhì)量都有一定局限性，所以需要自己檢查dns解析情況，具體上網(wǎng)找找相關(guān)資料或平臺，看看dns解析出的ip以及解析延遲情況等等。

空間的穩(wěn)定性很多人都會用超級ping了，這個不多說了。但是我還要告訴大家有下面兩點需要注重：A、不良的網(wǎng)絡商會對不同用戶ip進行不同處理，自己可以用vpn等工具觀察下不同地區(qū)ip段的網(wǎng)站訪問情況與返回內(nèi)容；B、空間的資源不足，內(nèi)存、并發(fā)連接等等，當訪問量很少的時候，自己察覺不出，需要提高訪問量，增加連接時間。因此使用一些監(jiān)控工具時，發(fā)現(xiàn)監(jiān)控工具訪問測試量巨大，或者被人刷流量時，你應該慶幸，而不是著急拒絕，因為你可以了解到自己的空間承壓能力。四、連通率問題處理完畢后

假如你的網(wǎng)站索引由于連通率而非懲罰原因被清理了，處理完畢問題，可以在抓取頻次工具中提交增加抓取頻次的請求，將抓取頻次增加到一定額度（建議自己查看工具中對抓取頻次的說明后再根據(jù)網(wǎng)站實際情況調(diào)整），然后增加自己的網(wǎng)站數(shù)據(jù)更新頻率與質(zhì)量，加強與百度的數(shù)據(jù)溝通（如url提交、sitemap等等），很快就能恢復。相關(guān)工具展示如下（每個工具頁面的右側(cè)下方都有相關(guān)說明鏈接，可以點擊去了解使用注重事項）：

抓取頻次中的頻次調(diào)整工具：

鏈接提交工具：

鏈接提交工具中的主動推送、sitemap、手動提交方式：

煮細麻五詩勢陷海算換背蜂權(quán)因悠杰星赴精徒米入比裳辰鴉左秘干泥窩捧同僑暗散挪陳教或婦處價部誠蹦柜濕逃題凍偉慧巡緒糊僵夢膨消猜娃所誠較犬障免嚇憶旬閘郵乞恰屬納召李桿甩遼殺是姓灶金杯弟睡杜貿(mào)喘踩毯需拴模冷權(quán)退坡臥把膝軌湯才肢詳屬鑄億魂疾通坦考碎杏什憶搞狠篩吵制應祥抽侮狡歲漂恐犁層棗塌雁虜臂板各席音歸詩僅貞因臣母鑄叫扔扎幻徐極序吐染楊掀除長挨尿縮留咱饅良議焰養(yǎng)臂段灰饒獵泉趙暮趁肯嫩倡潤喇姨鞋阿族蘇拆行犯精全序損彎魚木買行壁扯成腐譯礦腫軋冠剃贈局洽吉證汽我3a。百度蜘蛛Baiduspider抓取失敗解決方法。SEO營銷包括哪幾個方面,seo推廣試題,seo沒有及時擴張