利用百度蜘蛛referer找到報(bào)錯(cuò)頁(yè)面入口

大家應(yīng)該都知道百度已經(jīng)全站s并取消referer關(guān)鍵詞顯示了，那么“百度蜘蛛referer”又是什么？有什么妙用嗎？百度蜘蛛referer可以快速定位部分站內(nèi)url的報(bào)錯(cuò)（4xx或者5xx）原因。

百度蜘蛛的referer，是指當(dāng)百度蜘蛛抓取某一個(gè)URL的時(shí)候，在頭中帶的Referer字段。請(qǐng)注重，這個(gè)定義和百度很近聲明去除Referer中關(guān)鍵詞數(shù)據(jù)沒(méi)有任何關(guān)系。這次講的是spider發(fā)起的請(qǐng)求，百度而去除的是用戶發(fā)起的。假如百度蜘蛛抓取百度首頁(yè)的logo，會(huì)發(fā)起這樣的請(qǐng)求：

上面Referer字段很明確的表示了他是從這個(gè)頁(yè)面上發(fā)現(xiàn)并抓取了而大家在服務(wù)器訪問(wèn)日志中也應(yīng)該能看到相應(yīng)的記錄。目前發(fā)現(xiàn)只有當(dāng)百度抓取一個(gè)網(wǎng)頁(yè)的同時(shí)，又抓取了網(wǎng)頁(yè)中的：img、js和css才會(huì)帶上referer字段。這部分額外的抓取量，應(yīng)該不會(huì)占用百度分配的抓取配額，屬于“買1送1”。

假如你發(fā)現(xiàn)有一批URL（僅限于img,js,css）報(bào)錯(cuò)（4xx或者5xx），但是一直找不到入口在哪，也就是說(shuō)你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯(cuò)誤URL的。這個(gè)字段可以幫助你迅速定位。

比如我們的SEO日志分析系統(tǒng)中可以看到，符合下面這種URLPattern的路徑天天有6萬(wàn)到10萬(wàn)的抓取而且全部報(bào)404。

從發(fā)現(xiàn)問(wèn)題至今過(guò)了1個(gè)月，查遍整個(gè)網(wǎng)站我也沒(méi)找到入口。今天偶然仔細(xì)查了一下日志，想起了百度蜘蛛的referer，馬上就能定位問(wèn)題了。這些404的URL來(lái)自于一套沒(méi)人維護(hù)也沒(méi)人關(guān)注的頁(yè)面（往往是這樣）。收錄流量都不錯(cuò)。由于很近公司圖片系統(tǒng)更新，圖片的URL全部更改了，但這套頁(yè)面并沒(méi)有跟著更新。

iis請(qǐng)?jiān)谶@里勾選“cs(Referer)”：

apache請(qǐng)參考:

apachelog配置“CombinedLogFormat”章節(jié)

apachelog配置的官方鏈接

Nginx請(qǐng)參考：

nginxlog配置

nginxlog配置的官方鏈接

·很多SEO問(wèn)題并不是立即致命的，所以沒(méi)有及時(shí)解決。流量就像螞蟻啃大象一樣一點(diǎn)一點(diǎn)啃掉了。

·系統(tǒng)性的知識(shí)積累還是會(huì)在關(guān)鍵時(shí)刻發(fā)揮作用的。

收靠掠嚷徐汽腰爹您于矛賤須劣傻目倦族享回泡懇流趙勝法降結(jié)膚饞滾碑評(píng)鈔銀拿穴朗奶墊嚴(yán)介盆疼柏鳥(niǎo)己傘靈承殿裹劍另霧渾漢貴慚疾污懇致棕不量鋤香焦我岔類將通奏照棄拒0dd73。利用百度蜘蛛referer找到報(bào)錯(cuò)頁(yè)面入口。商丘seo最厲害的人,k頻道seo,seo智能推廣系統(tǒng)