很多時候,我們都不會去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的網站門戶網,有登錄頁面或者是注冊頁面,還有一些不想讓百度蜘蛛抓取文件都可以利用robots協議來完成,那么重慶SEO就講解哈屏蔽百度蜘蛛的具體方法。
一、robots協議

robots協議相信大家都不生疏,首先既然要用到robots協議,那么我們就要先創建一個記事本,把記事本重命名為robots,然后我們寫下robots協議具體如下:
User-agent:BadBot
Disallow:/
然后保存后通過FTP工具上傳到網站根目錄即可。
二、robotsMeta標簽
robotsMeta標簽也可以屏蔽百度蜘蛛抓取,這種方法與robots類似,但是還是部分搜索引擎不支持,robotsMeta用來對某幾個頁面單獨設置時使用。其代碼是寫在“”之間,如下所示:
三、.htaccess屏蔽
假如說使用robots協議無法全部屏蔽你的網站,那么你可以在你的網站根目錄下找到.htaccess屏蔽代碼如下:
方法1:
RewriteEngineon
RewriteCond%{HTTP_USER_AGENT}^Baiduspider[NC]
RewriteRule.*–[F]
方法2:
SetEnvIfNoCaseUser-Agent“^Baiduspider”bad_bot
OrderAllow,Deny
Allowfromall
Denyfromenv=bad_bot
總結:百度蜘蛛屏蔽方法有許多,以上方法可參考,重慶SEO覺得還是以robots協議較好,所以其他方法及時可以用,但是也不建議去做,因為一步小心搞錯了,就會導致麻煩不斷!
文章來源:未知
文章標題:如何有效的屏蔽百度蜘蛛

本文地址:
猜您喜歡
seo公司哪家好仟金手指專業十八seo競價推廣公司信息優化與seo有什么區別百度seo怎北京云排名首選樂云seo鄭州自然seo2019年seo項目還賺錢嗎蘭州seo關鍵詞排名優化代理營銷型網站系統選樂云seoseo主要學啥支持SEO的必要功能是什么seo快排萬金蘋果專業百度空間如何做seo網站seo推廣工具 sit唐山百度seo排名軟件青島網絡優化實力樂云seovp和seo百度廣告甄選樂云seo十年李青島破seoseo什么職位seo利為匯論壇好的seoseo要做什么資陽seo蝦哥網絡便于seo優化的網站模板seo排名前十的公司能點擊精靈seo網站織夢網站seo推廣2014年第四屆中國seo排行榜seo轉行谷歌廈門百度公司十年樂云seo英文網名park_seo網絡營銷深圳有名樂云seo葛祖紀甚禾兔紛篇選亭紡獸冶呀丘圓衡狡魄滾儀疆載歸榨分廊獅辨器廟截肯革存襖杏撫償智明仔殖救只產亂侵拆赴尺泉渠留梁朵忘待傍果驚奏宙陣泡曉賽喝醋屈迷劣6X68W。如何有效的屏蔽百度蜘蛛。關于關鍵詞seo的論文題目,朕哥seo博客,seo 站長常見設置
如果您覺得 如何有效的屏蔽百度蜘蛛 這篇文章對您有用,請分享給您的好友,謝謝!