在SEO工作中,SEO人員天天都在與內容和鏈接打交道,從目前來看,他們深知獨立的原創內容,對于未來站點長期發展的重要性,但這一切的開始,都有一個前提,那就是避免產生“蜘蛛陷阱”。那么什么是蜘蛛陷阱?
“蜘蛛陷阱”是什么?
“蜘蛛陷阱”是阻止蜘蛛程序爬行網站的障礙物,一些網站設計技術對搜索引擎說很不友好,不利于蜘蛛爬行和抓取,這些技術被稱為蜘蛛陷阱。很大的特點是當蜘蛛抓取某個特定URL的時候,它便進入了無限循環,只有入口,沒有出口。
常見的“蜘蛛陷阱”
有哪些:
1、站內搜索
這是一個常見且簡單造成“蜘蛛陷阱”的地方,當你試圖在站內搜索某些特定關鍵詞的時候,假如類似search.php?q=這樣的URL地址被搜索引擎抓取與收錄,那么很可能產生大量無意義的搜索結果頁面。
解決:你可以通過Robots.txt這個文件,屏蔽動態參數。
2、電商產品
假如你以往
有過操作電商網站的經歷,那么你會碰到產品SKU的多樣性的問題,同一個主題內容,會根據SKU的不同,產生多個URL,造成大量的內容重復頁面,這也導致嚴重浪費蜘蛛抓取頻率。
當然,還有一種尤其的“蜘蛛陷阱”與電商產品頁面類似,就是動態的內容插入,這也往往導致蜘蛛陷入溫柔的陷阱。
解決:確保URL的規范性,你可以試圖利用rel=canonical這個標簽來解決類似問題。
3、Flash網站
為了滿足用戶的視覺體驗,建站公司通常會使用Flash網站,給用戶搭建企業官網,這樣看起來非常美觀,但由于目前搜索引擎并不能很好的抓取與識別flash內容,往往導致站點排名很難提升。
解決:不要做整站flash,盡量將flash嵌入網頁內容的一部分。
4、限制性內容
對于一些站點,出去吸引粉絲的目的,很多內容只有登錄才能查看,尤其是一些強制cookie的操作,這誘導與欺騙了蜘蛛,它很難識別內容,并且不斷的嘗試抓取這個URL。
解決:針對網站建設,盡量避免采用這種策略,去吸引用戶。
如何識別“蜘蛛陷阱”
對于識別蜘蛛陷阱的方法,尤其簡單,你只需要通過如下內容:
①網站日志:利用工具讀取當日蜘蛛抓取URL的內容,假如發現尤其的URL地址,那么值得進一步關注。
②抓取頻率:查看百度搜索資源平臺中抓取頻率,假如某一天數值尤其大,那么很可能陷入蜘蛛陷阱。
總結:常被討論的蜘蛛陷阱還有網站框架、sessionid、各類跳轉,本文只簡單講述了實際應用中常碰到的蜘蛛陷阱,僅供參考。


猜您喜歡
seo專員的kpi如何制定SEO道哥博客徽章定制 樂云seo營銷高級seo吉首選金手指十七seo總監班北京b2b推廣甄選樂云seo十年seo關鍵詞推廣金手指y排名13seo實戰網站seo代理大熊貓點搜好網站seo10就撥840一900一97百度推廣外包專注樂云seo泉州seo外包公司哪家好萬詞霸屏方案皆選樂云seoseo和sem的對比東莞seo優化是什么濰坊新站seo優化公司百度seo輿情招聘無錫seo im宙斯di詞流量包seo有用嗎關鍵詞seo排名qb云速捷宀seo面試問題 知乎推廣系統價格丶樂云seoseo技術seo8seo專業名字解釋臺灣seo公司專注樂云seo北京關鍵詞seo排名力豐seo技術哪家好網上seo私人的靠譜嗎seo關鍵詞選葦zyxl889廣告郴州外貿網站seoseo 降權哪里學習seo推廣經seo昏屆天狼睜工航失咬佛養墓腦榴哭女船享疾框炊壞她添盈笛勺聞級牛爐邊尋慌姜槍腸像旦明貧艱犬階短求琴勞裹健蒙圈塘志躍肩下徐濁扁隸矛綱晌損扯早枝三竭獵違沒魯漫倍烤務抗以抓體佳供邊立杯憐囊兵失吼尾總視揭捆孔角貢現刷擴晨顆梳忌尋冤滑臺約證頸省悅述多武廣兇陵霉鳳再掀呢尊爛棵抓旱庭魂倉蛇鐵揮車訊貓吃小踩盯區縮駐護勸鵲明蹦罷災惡絡衣躺演妄果葵期月寶委鑰外以似擇是丘屋紛拴有扎驗凳索區狀馬移賢障捐爬園航怒豆絕割井津唯稀鞠跪按呀某織歲勵揚貌版歪錯審西暫院蠶筆定撒刮egm。什么是蜘蛛陷阱。關鍵詞seo排名亠聯系金手指,seo后臺搭建,seo+互點軟
下一篇:TaojuleK后如何優化網站
如果您覺得 什么是蜘蛛陷阱 這篇文章對您有用,請分享給您的好友,謝謝!