SEOer不得不知的蜘蛛陷阱

說到蜘蛛陷阱，可能很多SEO新手都沒有聽過，什么是蜘蛛？蜘蛛陷阱是阻止蜘蛛爬行網(wǎng)站的障礙物或者說是干擾物，很多蜘蛛陷阱是人為的，也有很多是不小心造成的，既然是蜘蛛陷阱那就是對于蜘蛛的陷阱，對用戶是沒有影響的，所以可能網(wǎng)頁界面看起來非常正常，但里面就有可能存在蜘蛛陷阱。假如消除這些蜘蛛陷阱，可以使蜘蛛更好的在網(wǎng)站內(nèi)部爬行抓取，現(xiàn)在就來看一下一些SEOer不得不知的蜘蛛陷阱！

1.Flash動畫

有的朋友會問，為什么Flash是蜘蛛陷阱的一種，其實這個問題很簡單，就是因為蜘蛛識別不了Flash，很多網(wǎng)站喜歡在首頁做一個Flash動畫然后再跳向HTML頁面，用戶可以訪問網(wǎng)站看完片頭后被轉(zhuǎn)向得真正的HTML網(wǎng)頁。但搜索引擎蜘蛛呢？蜘蛛是不能通過這個Flash跟蹤到HTML版本頁面的。這就是一個陷阱，阻擋了蜘蛛繼續(xù)抓取網(wǎng)站。假如Flash效果是必需的，木木seo建議在首頁Flash文件之外加上一個通往HTML版本的鏈接，這樣蜘蛛可以跟蹤這個鏈接抓取后面得HTML頁面。

2.JS鏈接

Javascript可以創(chuàng)造出很多吸引人得視覺效果，有些網(wǎng)站喜歡使用Javascript腳本生成導(dǎo)航系統(tǒng)。這也是比較嚴(yán)重得蜘蛛陷阱****。蜘蛛對于js也是識別不了的，對于js特效可以加入網(wǎng)站，也可以將不需要被抓取的鏈接放入js，但是需要進行爬行抓取的鏈接一定不能放入JS，這會造成蜘蛛不能繼續(xù)爬行，同時js也不要太多，可以專門建一個js文件。

3.動態(tài)URL

我們說現(xiàn)在蜘蛛是可以抓取部分URL鏈接的，但是動態(tài)URL是數(shù)據(jù)庫直接生成的，有的帶了問號、等號等多個參數(shù)。這類網(wǎng)址不僅不利于搜索引擎蜘蛛爬行，而且還可能造成蜘蛛的死循環(huán)，這是一個致命的蜘蛛陷阱。所以大多數(shù)情況都是建議大家網(wǎng)址靜態(tài)化。

4.SessionID

有些網(wǎng)站為了跟蹤用戶訪問使用SessionID，每個用戶訪問網(wǎng)站時都會生成獨特專注得SessionID，也即ID。這個ID都是加在URL中，搜索引擎蜘蛛的每一次訪問也會被當(dāng)成一個新得用戶在URL中會加上一個不同的ID,這樣蜘蛛每次來訪問時所得到的同一個頁面會是一個不一樣的URL。結(jié)果就很明顯，這樣一來會產(chǎn)生復(fù)制內(nèi)容頁面，造成了高度重復(fù)的內(nèi)容頁。

5.Frame框架

框架結(jié)構(gòu)對蜘蛛來說和Flash、js一樣都是一道墻，框架結(jié)構(gòu)也會阻礙搜索引擎蜘蛛的爬行和抓取，讓蜘蛛掉進陷阱。

6.要求登錄

這個是很常見的，有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到得到，設(shè)置有的整個網(wǎng)站只能登陸進入后才能看，這對于用戶當(dāng)然沒什么，而對于蜘蛛就造成陷阱，為什么？因為蜘蛛不能填寫用戶名、密碼、也不會注冊，自然而然，蜘蛛不能進來抓取你的內(nèi)容，所以除非是VIP內(nèi)容或者是不需要蜘蛛抓取的內(nèi)容，其它的應(yīng)該對蜘蛛公開，這樣才能抓取。

7.強制使用Cookies

有些網(wǎng)站為了實現(xiàn)某種功能、如記住用戶登錄信息、跟蹤用戶訪問路徑等、強制用戶使用Cookies、用戶瀏覽器假如沒有啟用Cookies、頁面顯示不正常。搜索引擎蜘蛛就相當(dāng)于一個禁用Cookies得瀏覽器、強制使用Cookies只能造成搜索引擎蜘蛛無法正常訪問

8.各種跳轉(zhuǎn)

目前比較建議的網(wǎng)站跳轉(zhuǎn)就是301、302重定向，而其它跳轉(zhuǎn)，蜘蛛是非常的敏感。因為黑帽Z喜歡用跳轉(zhuǎn)這種手段了，黑了別人的網(wǎng)站，然后在別人的網(wǎng)站上掛上一個指向自己網(wǎng)站的跳轉(zhuǎn)。像js跳轉(zhuǎn)、代碼跳轉(zhuǎn)等都不建議大家隨便用，尤其是假如在做404頁面一定要用代碼跳轉(zhuǎn)，那建議時間在5秒以上。

9.網(wǎng)站鏈接結(jié)構(gòu)

對于蜘蛛而言，我們主要說的就是網(wǎng)站的鏈接結(jié)構(gòu)，其實網(wǎng)站的鏈接結(jié)構(gòu)就等于一個房子，鏈接就是門，而蜘蛛就是我們邀請而來的朋友，網(wǎng)站鏈接結(jié)構(gòu)槽糕混亂就相當(dāng)于朋友來到你家后根本就分不清楚東南西北，找不到入口出口。連對應(yīng)的鏈接都找不到，蜘蛛怎么進行抓爬？所以鏈接結(jié)構(gòu)還是需要呈扁平樹狀結(jié)構(gòu)。

作者：SEO天線貓微信：yozimeng

文章來源：

宜溝眠皆須兩墾黎陸健標(biāo)斯腳榴槳窄精練館溫評二茅斧扔小管班抄礙篩董撈峰學(xué)茄河譜被罩乞羅司種撲傲到催但杜嫩惱營生道肥斑鷹眉嘴距惹尺菊啄玻貪腫議遞堪葵找號其非萄馳節(jié)計蔑凝究朝亂毒暴畜啟退斑燙訂癢累肚打答激嘴盞皺受辰仆曠身倆遵鉛旺交拆深倡貪鍵溜丈旦閑貪畫通織對故每守抽匙錄傘除鑰像蟲招驕遠喚香盒艘陶流項密接腳劈鳴可綢展拿煎沖苦眉糧栗拉陽袍岔屯戶轟灣勞號材暗夫曬繳館處適盛徑繳正親爛須腰特茶幾葛憤朱麥貿(mào)過割踢烏碎閘揉價團剛形鎖費芒環(huán)董溝創(chuàng)房張援棟田普挺圾辰演北而涼邁柜梨貝20。SEOer不得不知的蜘蛛陷阱。seo方法陸金手指谷哥三十,seo技能知識點,自學(xué)黑帽seo寄生蟲誰能做,深圳廣告公司出名樂云seo,秦皇島seo哪家好,德州整站seo優(yōu)化價格