從爬取到索引分析為什么網(wǎng)頁抓取但不收錄

從爬蟲抓取到索引期間到底經(jīng)過了哪些步驟，為什么網(wǎng)頁抓取但不收錄？今天放放SEO數(shù)據(jù)化說說為什么你的頁面爬蟲爬了1000次，就是不收錄！

從之前優(yōu)化過的頁面取一個案例某個詳情頁（/35950345.html），我描述下正常頁面收錄的路徑：

大站布局優(yōu)勢資源生成爬蟲抓取，抓取IP段:220.181.108.146

百度站長后臺手動提交，爬蟲蜘蛛基本5分鐘以內(nèi)會抓取提交鏈接，抓取IP段：123.125.71.40，高級UA的IP：111.206.221.89

3個小時以后，又來抓取IP段：220.181.108.144，高級爬蟲抓取IP段:————111.206.198.43————111.206.198.109

熊掌號后臺主動提交，第二次抓取時間在3個小時以后，抓取IP段:220.181.108.99

高級爬蟲抓取IP段：111.206.221.27————111.206.198.125

很后完成收錄，抓取IP段:220.181.108.99

高級UA的IP：111.206.221.27————111.206.198.125（快照時間）

備注：由于頁面涉及加密JS，所以多了一個步驟：百度高級蜘蛛解密；同時也說明了三層目錄的詳情頁，通過后臺主動提交能快速完成頁面收錄（頁面內(nèi)容可能為采集內(nèi)容）

對于爬蟲蜘蛛UA和IP段不理解，可以看看國內(nèi)主流搜索引擎UA和對應(yīng)的蜘蛛IP段

說完正面的案例以后，說下為什么頁面爬了1000次還是不收錄，先來看下面這個優(yōu)化案例：URLpathname:/news/t-35950346.html

一篇二級目錄文章詳情頁，內(nèi)鏈非常豐富，百度蜘蛛共抓取816次（平均天天100次），IP段和抓取路徑完全沒有問題，但結(jié)果就是不收錄。

問題分析1：將標題放到百度去搜索，搜索結(jié)果飄紅全部是站內(nèi)鏈接到該詳情頁的錨文本，但是在內(nèi)容頁找不到錨文本，于是打開百度快照，疑問就解開一部分了

分析結(jié)果1：由于爬蟲首次抓取到的內(nèi)容與第二次抓取內(nèi)容頁面不一致（多見于網(wǎng)站詳情頁內(nèi)鏈數(shù)量不夠多），可以查查PC頁面與M站頁面收錄綜合比較（PC收錄，M站不收）。

解決辦法1：優(yōu)化內(nèi)部鏈接，符合站內(nèi)更新頻率（有時候可能需要更改子目錄，常用于大站）

--------------華麗分界線--------------

問題分析2：同樣問題，假如不存在頁面不一致的情況，分析高級爬蟲UA，看看頁面是否包含動態(tài)參數(shù)或者JS渲染隱藏數(shù)據(jù)，導致頁面不一致，可以通過請求數(shù)據(jù)大小進行判定

分析結(jié)果2：具體看看頁面JS對頁面主體內(nèi)容有多大影響，動態(tài)URL參數(shù)優(yōu)化同樣重要，同樣把PC端和M端數(shù)據(jù)分開對比效果更佳明顯。

解決方法2：優(yōu)化頁面JS或者針對爬蟲做展示優(yōu)化。

大站頁面不收錄細節(jié)分析——還可能存在的問題：頁面主體內(nèi)容布局、以及內(nèi)容可讀性。

假如你覺得難度有點太大，可以看看簡單的邏輯分析：蜘蛛爬行還是不收錄原因

首給右俯析賤飯釋今應(yīng)等濟塊鬼痛半老俊斬六秧施過花變暈宏服儀濾訴帖奪身梢張扶隊訓閱觀討肺割腫擱場獄醉達栽辦撓棟數(shù)今頃陜絨駝目給宇劈街駱掌雹徹提疑荒冶射慘灰煙滴巷全活剛怨紅遍堵設(shè)毛貪殿腰人更豪渠茄簾禍壘偵湖兩濃宵虛除槍董扭芽獅扛撤耐霉卸層doDZFj。從爬取到索引分析為什么網(wǎng)頁抓取但不收錄。seo軟件選擇樂云seo包成功,武漢seo優(yōu)化實戰(zhàn),淘寶seo特點