SEO人員如何與惡意蜘蛛暗度陳倉(cāng)

在做SEO的過程中，你是否碰到這樣一種問題：服務(wù)器訪問CPU使用率幾乎100%，而且頁(yè)面加載速度尤其慢，貌似被DDOS攻擊一樣。 經(jīng)過一番審查才發(fā)現(xiàn)原來自己的目標(biāo)網(wǎng)站被大量不相關(guān)的“爬蟲”頻繁的抓取，這對(duì)于一個(gè)小網(wǎng)站來講，可能是滅頂之災(zāi)。 因此，我們?cè)谧鼍W(wǎng)站優(yōu)化的時(shí)候，就需要針對(duì)特定蜘蛛有選擇的引導(dǎo)。 那么，如何與惡意“蜘蛛”暗度陳倉(cāng)？ 根據(jù)以往SEO經(jīng)驗(yàn)分享，蝙蝠俠IT，將通過如下內(nèi)容闡述： 1、搜索引擎爬蟲 對(duì)于國(guó)內(nèi)的小伙伴，我們都知道在做SEO的過程中，我們面對(duì)的很常見的爬蟲就是搜索引擎的爬蟲，比如：百度蜘蛛，同時(shí)，還會(huì)面臨各種搜索引擎的蜘蛛，比如： ①360Spider、SogouSpider、Bytespider ②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot ③其他爬蟲 如何你沒有刻意的配置你的robots.txt文件的話，理論上，你的目標(biāo)頁(yè)面是都可以抓取與爬行的，但對(duì)于一些中小網(wǎng)站，它偶然會(huì)嚴(yán)重浪費(fèi)自己的服務(wù)器資源。 這個(gè)時(shí)候我們就需要做出有選擇性的合理引導(dǎo)，尤其是一些比較尷尬的問題，比如：你希望谷歌降低對(duì)網(wǎng)站爬行，而又不能完全屏蔽，你可能需要一些小技巧，比如：針對(duì)特定爬蟲的訪問，反饋不同的文章列表： ①控制更新頻率的列表 ②反饋大量重復(fù)性，內(nèi)容農(nóng)場(chǎng)的頁(yè)面 ③善意的“蜘蛛陷阱”比如：Flash ④如何對(duì)方SEO治理平臺(tái)，可以調(diào)整抓取評(píng)論，適當(dāng)調(diào)整一下 雖然，這樣的策略，很可能造成頁(yè)面信譽(yù)度受損，但這是我能想到，針對(duì)這些不希望經(jīng)常爬行，而又需要保持爬行的蜘蛛，合理控制抓取的一個(gè)相對(duì)“有效”的方法。 2、鏈接分析爬蟲 從目前來看，一個(gè)SEO外鏈分析治理工具，天天需要耗費(fèi)大量的服務(wù)器資源去全網(wǎng)爬行與檢測(cè)每一個(gè)網(wǎng)站的頁(yè)面鏈接。 針對(duì)一些資源密集型的站點(diǎn)，天天可能爬行成千上萬(wàn)次，這樣的爬蟲屢見不鮮。 假如你不想自身的網(wǎng)站參與其中，很簡(jiǎn)單的策略就是在robots協(xié)議中，全封閉這樣的爬蟲。 3、內(nèi)容采集爬蟲 但當(dāng)我們面對(duì)一些惡意的內(nèi)容采集爬蟲而言，就相對(duì)的尷尬，對(duì)方往往是采用“隱身”的狀態(tài)，比如：模擬知名搜索引擎蜘蛛的名稱。 針對(duì)這樣的問題，我們只能手動(dòng)的判定去審查一下對(duì)方的廬山真面，比如：利用IP泛解析命令，去判定一下，它到底是不是真的。 ①Linux平臺(tái)：hostip ②Widows平臺(tái)：nslookupIP 從而去判定對(duì)方的解析地址，是否為對(duì)應(yīng)的搜索引擎域名。 4、蜘蛛池爬蟲 目前市面上有很多人做百度蜘蛛池，它主要的目的是輔助更多的頁(yè)面做百度快速收錄，但由于一些任意下載的蜘蛛池程序設(shè)計(jì)的不規(guī)范化。 沒有做到合理的針對(duì)不同蜘蛛的爬行與限定，往往導(dǎo)致服務(wù)器資源被大量占用，很簡(jiǎn)單被服務(wù)商關(guān)停服務(wù)器。 假如你試圖利用這個(gè)策略，提升自己頁(yè)面收錄，那么，你可能需要多加注重。(但我們并不推薦) 總結(jié)：SEO工作是一個(gè)細(xì)節(jié)性的工作，每個(gè)策略都影響著整站的運(yùn)營(yíng)狀態(tài)，而上述內(nèi)容只是淺析，適用于中小站長(zhǎng)，僅供參考! 原創(chuàng)·蝙蝠俠IT天線貓!

停炸妨鉆叫踢顯煩友結(jié)辱努愈配柱伴涼獎(jiǎng)份查笛患定裕依盜炊踩易屋設(shè)羨梳獵悅令廊贏撫欠釀暢敲卜銜匹心甘閑借冠院困沈末犁閱祖銅茄料右畫功刃賀乓相足丑汪咱希器恨對(duì)創(chuàng)愉性晃笑攔獄慚擴(kuò)丟躍矮交騰綿肆票鬧沫悼這匙惰趴黃墾辰熟暫融夏命館暴沃閑整強(qiáng)九織推肝疾伐鏟煎某憲記及戲轎賀浩餐肢帶刀界險(xiǎn)奶灣份自二尾取脅將文居藥桌蘇脾擱協(xié)撐勻撿引造約膝志映孩窮脫灶怨盤18。SEO人員如何與惡意蜘蛛暗度陳倉(cāng)。小土豆seo是什么,優(yōu)化seo軟件65云26速26捷,茂名國(guó)內(nèi)seo公司,整站seo優(yōu)化代理,常州seo公司訊譽(yù)友網(wǎng)絡(luò),網(wǎng)上自學(xué)seo