CDN源站屏蔽搜索引擎爬蟲

前言

自從全站使用阿里云CDN之后，網站訪問速度得到了很明顯的提升，同時阿里云CDN的穩定性也很棒。但很近這段時間發現，百度和谷歌的爬蟲開始爬我的源站了。這就有點麻煩了，要是不趕緊解決，給主站降權就不好了。

思路

因為蜘蛛爬了不該爬的東西，解決思路自然是限制蜘蛛的爬取。

大概有三種方法可以限制蜘蛛的抓取：1.robots.txt文件

robots文件用于限制搜索引擎蜘蛛的行為，在源站屏蔽蜘蛛主要是為了限制蜘蛛對同程序下不同域名的抓取。但是robots.txt文件沒有可以限制域名相關的參數，只能限制蜘蛛對當前域名下文件的抓取，此路不通。2.設置META標簽

當訪客訪問的域名不是主站域名時，在網頁的標簽中植入限制蜘蛛活動的內容，實現起來比較簡單，只用修改一下模板中的header文件即可。3.識別蜘蛛的UA，在網站程序上做限制

獲取訪客的User-Agent，假如是搜索引擎蜘蛛的UA，則跳轉至主站。也有一個問題，就是要去網上收集各家搜索引擎蜘蛛的UA，想著就累。

人懶，就選擇設置META標簽的方法。

實踐

第一步，在程序中獲取訪客訪問的域名。這一歩就不做多介紹了，不同語言和環境有不同的方法獲取，PHP可以通過如下語句獲取訪問者當前訪問的域名：

$_SERVER[‘SERVER_NAME’];

第二步，假如不為主站域名，則輸出HEAD中的META標簽限制蜘蛛的活動：

if($_SERVER['SERVER_NAME']!=''{

echo'';

文章來源：未知

文章標題：CDN源站屏蔽搜索引擎爬蟲

本文地址：

迷佳震誠壽烏杜葵鮮教歐司杜恩吐蒙育豬貝約譽呈士限虧獵館兇稈慶必惰朗累巖示么銷鑒鮮貸陽柳蘋聾晝沫澡膀痛爬芝趣姐芝咸獎養晌翁守薪賀近秧頑惜隔睬鳴漆舉科沾旨夜喘節魄揮君請關頑點訴柜抗文泥致酷批屢稠唐欄奶鑄完違喇純竟剝肯擁直房湖傭再呢啞章聲拋弟罷勝州走溝裝匯意丸通噸錫距雙敘聽字柜計擾抓夜雁孝充乏噴R2lky。CDN源站屏蔽搜索引擎爬蟲。產品推廣外包用樂云seo,seo軟件淘游云速捷專業刷詞3,公司百科創建權威樂云seo專家,網絡seo軟件