互聯網相對來說是一項比較新興的事物,其運作從根本上來說是基于一條條的指令和協議而非法律,互聯網的網絡環境又會直接面向大眾來進行服務,所以,網絡環境和秩序需要每個人的自覺遵守。
360在3B案中以百度濫用Robots協議作為抗辯,但換個角度看真正簡單被濫用的倒是Spider程序?;ヂ撆c分享是網絡的基本性格,而信息的多元化也決定了很多情況下網絡傳播必須受到控制。不受Robots協議限制的Spider程序必然使互聯網陷入嚴重混亂,網站后臺隱私無法保護,網頁更新的舊信息必須完全刪除而不能僅僅屏蔽,音樂、視頻等內容的收費盈利模式遭到毀滅打擊。互聯網經過長期博弈逐步擺脫無序狀態,難道只因搜索爬蟲失控又將回到比拼技術暴力的暗黑叢林?這種情景絕非法治下的互聯網可以接受的。
Robots協議自成立以來在全球受到嚴格遵守,利用Robots協議屏蔽搜索的案例舉不勝舉。Facebook和Twitter長期屏蔽谷歌,后者除了發牢騷不敢采取任何規避手段;默多克的新聞集團一度全面屏蔽谷歌,谷歌一直忍到……忍到默多克自己忍不住投降;搜索屏蔽360的除了百度各網站還有騰訊的QQ空間,更有意思的是QQ空間屏蔽360爬蟲卻在2021年后對百度和Google開放,360甚至都沒有為此指責騰訊歧視;騰訊盡管向百度開放QQ空間卻將騰訊微博的內容屏蔽至今,新浪微博也一度加入屏蔽百度的隊列;電商領域可能是互相屏蔽的高地,淘寶從2008年起一直屏蔽百度搜索,京東、蘇寧、當當網等也屏蔽了阿里旗下一淘搜索的爬蟲。
各國法院承認Robots協議效力的判決同樣不勝枚舉。美國聯邦法院早在2000年就在eBay訴BE(Bedder’s Edge)案
中就通過禁令支持了eBay屏蔽BE爬蟲的主張。內華達法院2006年審理的Field v. Google 案
也明確認可Robots協議是有效保護網站權利的通行標準。北京一中院同樣于2006年在審理聞名的浙江泛亞訴百度著作權侵權案

判決書中認定原告有權利用設置Robots.txt文件拒絕百度收錄。上述通過Robots協議屏蔽搜索爬蟲的互聯網實例和認可Robots協議法律效力的中外法院判決,都證實Robots協議的效力并不是在3B案中才成為爭點,也證實Robots協議在產業實踐和司法實踐中都一直得到認可和尊重。
文章地址:http://www.meyanliao.com/article/online/5457.html