經(jīng)典案例百度和360搜索Robots協(xié)議之爭

一、經(jīng)典“Robots協(xié)議”案例發(fā)起盜火線：

攪局者360面臨的巨額訴訟官司即將開庭。百度起訴奇虎360違反“Robots協(xié)議”（又稱機(jī)器人協(xié)議或爬蟲協(xié)議）抓取、復(fù)制其網(wǎng)站內(nèi)容的不正當(dāng)競爭行為，并索賠1億元人民幣。這個官司在今年2月便已立案，或許由于Robots協(xié)議太棘手，等了大半年才開庭。

而此前，百度和360之間就有各種不和諧的消息傳來。其中一條就是，360違反“Robots協(xié)議”抓取、復(fù)制其網(wǎng)站內(nèi)容。什么是Robots協(xié)議？

2021年8月，360搜索悄然上線后不久即違反Robots協(xié)議，強(qiáng)行抓取百度旗下網(wǎng)站百度知道、百度百科、百度貼吧、百度旅游等內(nèi)容。360搜索在百度Robots文本中還未將360爬蟲寫入的情況下，違反Robots協(xié)議內(nèi)容，強(qiáng)制對“百度知道”、“百度百科”等百度網(wǎng)站內(nèi)容進(jìn)行了抓取。

百度公司：奇虎360的行為違反了國際通行的行業(yè)規(guī)則、不顧百度的權(quán)利聲明和技術(shù)措施，非法抓取、復(fù)制百度網(wǎng)站內(nèi)容，直接以快照形式向網(wǎng)民提供，嚴(yán)重侵害了百度的合法權(quán)益，構(gòu)成了不正當(dāng)競爭。隨后，百度公司將奇虎360訴至北京市第一中級人民法院，該案于今年2月23日正式立案。

百度公關(guān)部郭彪向媒體表示，Robots協(xié)議是網(wǎng)站信息和網(wǎng)民隱私保護(hù)的國際通行規(guī)范之一，理應(yīng)得到全球互聯(lián)網(wǎng)公司的共同遵守。而360公司回應(yīng)稱，Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，robots協(xié)議的創(chuàng)始人MartijnKoster從一開始即猜測到了，有的商家可能用其作為不正當(dāng)?shù)氖袌龈偁幑ぞ摺Ｒ虼耍?994年創(chuàng)制伊始便告誡人們，“假如該協(xié)議被當(dāng)成市場競爭工具，爬蟲不需要采納”。

360公司：谷歌(微博)、雅虎、微軟等的robots協(xié)議都是旨在防止搜索爬蟲抓取到涉及用戶登錄信息，同時對所有爬蟲一視同仁。百度Robots協(xié)議答應(yīng)谷歌、必應(yīng)、搜狗、搜搜、即刻、盤古等其他搜索引擎抓取百度知道、貼吧等內(nèi)容，唯獨禁止搜索市場份額排名第二的360搜索抓取，這是濫用Robots協(xié)議維持其搜索市場壟斷地位的行為。

二、Robots抓取案根源是百度數(shù)據(jù)優(yōu)勢

筆者在今年1月6日便率先發(fā)現(xiàn)360內(nèi)測360百科，大量詞條從界面風(fēng)格、到詞條屬性、到擴(kuò)展閱讀幾乎保持一致。當(dāng)時我推測360搜索在2021年的發(fā)展方向或?qū)⑹牵涸诋a(chǎn)品線上，360搜索完全走百度的模式——從新聞、網(wǎng)頁、問答、地圖、音樂到視頻等（軟件和應(yīng)用搜索是360特有的）。不過奇虎360后續(xù)陸續(xù)推出了“雷電手機(jī)搜索”“軟件搜索”“良醫(yī)搜索”以及“購物搜索”，實現(xiàn)與百度產(chǎn)品的差異化。

一方面綜合搜索百度有先發(fā)優(yōu)勢，有著十多年的數(shù)據(jù)和技術(shù)積累，360想在這方面趕超幾無可能；另一方面360爬取百度數(shù)據(jù)的做法，遭到后者多重打壓：既有懸在頭上的訴訟，也有重定向等技術(shù)手段。在360搜索結(jié)果點擊百度知道、百科等頁面，將被重定向，二次點擊使得用戶無法享受完整的搜索體驗。

細(xì)心觀察Google、360等搜索引擎會發(fā)現(xiàn)，首頁結(jié)果出現(xiàn)百度知道、百科和貼吧內(nèi)容的幾率非常大，搜搜問問、愛問知識人和奇虎問答則是補(bǔ)充。假如搜索引擎沒有百度的數(shù)據(jù)，用戶找到想要的結(jié)果的幾率會降低很多。

百度在2004年開始每年推出一個重量級產(chǎn)品：貼吧、知道和百科。現(xiàn)在百度的數(shù)據(jù)優(yōu)勢顯示了當(dāng)初UGC策略的英明之處。這些用戶創(chuàng)造的數(shù)據(jù)已經(jīng)成為百度的核心資產(chǎn)，同時百度官方運營人員也功不可沒，而360直接將百度辛勞積攢的數(shù)據(jù)拿去使用，百度自然難以接受。數(shù)據(jù)是否豐富將很大程度決定搜索體驗。

三、Robots協(xié)議，網(wǎng)站維護(hù)自身利益的工具？

Robots協(xié)議是網(wǎng)站站長與搜索引擎之間共同討論后形成、通過Robots.txt落地。網(wǎng)站站長用它決定對搜索引擎的開放程度，引導(dǎo)爬蟲如何更有效地爬取自己。現(xiàn)被廣泛采用。Google、百度等搜索引擎均嚴(yán)格遵守。通常網(wǎng)站可以在服務(wù)器根目錄下的“Robots.txt”中指明哪些內(nèi)容可以被搜索引擎抓取，哪些不可以；也可以指明對那個搜索引擎開放，或者對哪個不開放。限制某個搜索引擎，Robots初衷是限制“BadRob”，即壞爬蟲。所謂壞，是指存在安全或隱私問題，抑或太高頻率爬取導(dǎo)致服務(wù)器壓力。

事實上，Robots很初是用來約束搜索引擎的。搜索引擎夢想是獲取所有數(shù)據(jù)，Robots限制了這一點。Robots也可以設(shè)置站點地圖、屏蔽死鏈接以及減輕服務(wù)器壓力不讓爬蟲爬取大文件。但整體而言搜索引擎是不歡迎Robots的，據(jù)某站長介紹，如何要想從搜索引擎獲得更多流量，很好別用Robots文件。

不過百度是一家搜索公司，也是一家內(nèi)容網(wǎng)站——當(dāng)被Google、360等搜索引擎爬取時，李彥宏的角色就是網(wǎng)站站長。Robots協(xié)議對其也有保護(hù)作用。對360啟用Robots限制很大程度是為了維護(hù)自身數(shù)據(jù)優(yōu)勢，防范競爭。Robots協(xié)議現(xiàn)在已逐步成為網(wǎng)站主維護(hù)利益的工具。

2008年淘寶屏蔽了Google、百度等搜索引擎也是利用Robots協(xié)議，理由是欺詐風(fēng)險，今年淘寶屏蔽微信也是類似的理由。京東商城也通過Robots協(xié)議屏蔽了阿里旗下的購物搜索引擎一淘：因為一淘未經(jīng)答應(yīng)抓取京東商品評價，而這些評價花費了京東上億的積分激勵資源。屏蔽一淘得到蘇寧易購的效仿。

360對百度不滿足之處在于：百度的Robots采用了答應(yīng)部分網(wǎng)站的方式，360被排除在外。其他搜索引擎例如搜狗就可以搜索百度內(nèi)容。據(jù)接近百度內(nèi)部人士介紹，搜索引擎要加入百度robots協(xié)議的白名單，一般需要與之簽署一份書面協(xié)議。盡管360前幾天與百度打了一場足球賽，但暫時應(yīng)該還難以與之簽署書面協(xié)議。

顯而易見，百度屏蔽360、淘寶屏蔽百度、京東和蘇寧易購屏蔽一淘，均是利用Robots協(xié)議來應(yīng)對競爭對手，而不是因為對方的爬蟲是“壞爬蟲”。

四、用戶創(chuàng)造內(nèi)容的版權(quán)歸屬成為焦點

Robots的效力與“口頭約定”差不多。但進(jìn)入搜索引擎行業(yè)的均會遵循這個游戲規(guī)則，這得靠自律。但是違反協(xié)議本身是否被法律制裁，現(xiàn)在難以判定。假如爭論焦點圍繞著作權(quán)，屆時還要看360的行為是否符合避風(fēng)港原則。

360認(rèn)為百度不應(yīng)該將Robots協(xié)議這么用，他們抓取的數(shù)據(jù)是用戶創(chuàng)造的，百度不應(yīng)該屏蔽。并且百度不應(yīng)該只對自己屏蔽。就算360覺得委屈，更合適的方式是推動Robots協(xié)議修訂，并且說服業(yè)界接受，這很難。但現(xiàn)在360采用不遵守協(xié)議直接爬取的方法，有點“以暴制暴”的感覺：“規(guī)則不公平，抑或有人濫用來對付我，我就不遵守這個規(guī)則。”

用戶創(chuàng)造內(nèi)容是否可以不經(jīng)過網(wǎng)站答應(yīng)被抓取呢？百度用戶創(chuàng)造的內(nèi)容并沒有明確的所有權(quán)歸屬。國內(nèi)只有知乎等少數(shù)UGC社區(qū)有CC協(xié)議（知識共享），百度內(nèi)容究竟是屬于用戶還是百度，UGC社區(qū)需要更加明確的版權(quán)協(xié)議。但360并不能因此就要求百度必須開放數(shù)據(jù)。況且這些數(shù)據(jù)的產(chǎn)生百度確實有所付出，例如運營、技術(shù)、軟硬件資源等。

那么國外有無先例呢？在12年前，美國加州北部的聯(lián)邦地方法院，eBay起訴Bidder'sEdg案中，Bidder‘Edg違反Robots協(xié)議抓取eBay數(shù)據(jù)，BE敗訴。但是在2021年4月微軟向歐盟起訴Google，因為Google限制競爭對手的搜索引擎正常訪問YouTube，微軟卻獲勝了。

難以猜測本次百度起訴360案結(jié)局怎么樣，因為可以借鑒的先例也給出了不同的答案。不過本案結(jié)局勢必會給接下來國內(nèi)的互聯(lián)網(wǎng)內(nèi)容歸屬、非法律范疇協(xié)議糾紛值提供重大的借鑒意義。

本案也將很大程度影響360搜索此后的發(fā)展方向。2008年奇虎便推出了問答，但與百度知道還有差距。接下來360很可能會收購知乎這類內(nèi)容社區(qū)，還會加強(qiáng)自有UGC社區(qū)建設(shè)，很簡單，假如人才智力是互聯(lián)網(wǎng)公司很有價值的流動資產(chǎn)，那么數(shù)據(jù)將是未來很重要的固定資產(chǎn)。360現(xiàn)在的數(shù)據(jù)集中在底層安全數(shù)據(jù)，應(yīng)用型數(shù)據(jù)還太少。這是它冒著被索賠1億元的風(fēng)險去爬取別家數(shù)據(jù)的根本原因。

五、從Spider程序到Robots協(xié)議

即使不是工程獅，關(guān)注互聯(lián)網(wǎng)的人也很少不知道Robots協(xié)議。百度和360從2021年起展開的一場屏蔽與反屏蔽戰(zhàn)把原本程序猿才知道的Robots協(xié)議變成媒體熱詞。北京一中院8月7日對3B搜索不正當(dāng)競爭糾紛案（3B案）剛剛作出的一審判決讓Robots協(xié)議在新聞里又火了一把。Robots協(xié)議的法律地位或法律效力問題是3B案一系列法律問題中很大的爭點，分析這個問題就必須先了解Robots協(xié)議的內(nèi)容和意義。

Robots協(xié)議和搜索引擎的爬蟲程序（Spider）其實是一對同胞兄弟。

1994年之前，AltaVista、Infoseek等代表的搜索引擎在互聯(lián)網(wǎng)可以通過Spider直入網(wǎng)站治理后臺，把所有網(wǎng)頁信息系數(shù)收錄。除了涉及隱私外，爬蟲程序的反復(fù)收錄在20年前對網(wǎng)站帶寬也是不小的負(fù)載。荷蘭工程師MartinKoster深感互聯(lián)網(wǎng)叢林之亂，提出通過設(shè)立名為Robots規(guī)范的網(wǎng)站訪問限制政策（AccessPolicy）方式在整個互聯(lián)網(wǎng)統(tǒng)一解決Spider無所不在所帶來的威脅。Robots協(xié)議在技術(shù)實現(xiàn)上并不復(fù)雜，網(wǎng)站治理員只要按規(guī)則在網(wǎng)站根目錄下創(chuàng)建Robots.txt的文本文件就可以禁止搜索爬蟲收錄指定網(wǎng)頁內(nèi)容。從早期的AltaVista、Infoseek到后來居上的Google、Yahoo和美國以外的Baidu等各大搜索引擎都群體接受了Robots協(xié)議，避免和內(nèi)容網(wǎng)站為Spider陷入一場危機(jī)。

六、Robots規(guī)則可以受法律保護(hù)

反對3B案一審判決的理由集中對Robots協(xié)議法律效力的否定上。Robots協(xié)議并不是法律，也沒有被IETF、ITU和W3C等國際標(biāo)準(zhǔn)組織接納。但國際標(biāo)準(zhǔn)也不是法律，邏輯上成為國際標(biāo)準(zhǔn)不等于自動享有法律保護(hù)。法律和規(guī)則并不是同一個概念，法律屬于規(guī)則，而規(guī)則遠(yuǎn)遠(yuǎn)大于法律。百度是以不正當(dāng)競爭為案由起訴360，反不正當(dāng)競爭法本身就是通過列舉加兜底的方式，在少數(shù)明確規(guī)定的違法行為外以原則性規(guī)定了根據(jù)不正當(dāng)競爭行為的判定標(biāo)準(zhǔn)。司法者的權(quán)限并不局限于尋找包含Robots協(xié)議內(nèi)容的具體法條，而是可以根據(jù)實際案情裁量違反Robots協(xié)議是否就違反了反不正當(dāng)競爭法第二條對經(jīng)營者應(yīng)當(dāng)遵循自愿、平等、公平、老實信用和公認(rèn)商業(yè)道德的強(qiáng)制性規(guī)定。認(rèn)定違法并不需要將Robots協(xié)議上升為法律作為前提，違反規(guī)則就可能導(dǎo)致違反法律的結(jié)果。況且3B案發(fā)生背景之一，是被告奇虎360本身就通過簽署《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》承諾“遵守機(jī)器人協(xié)議(Robots協(xié)議)”和“限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用機(jī)器人協(xié)議進(jìn)行不正當(dāng)競爭行為”。360在明確承認(rèn)Robots協(xié)議約束力后又規(guī)避了協(xié)議，既是違法又構(gòu)成違約。

法律之外的規(guī)則受法律承認(rèn)和保護(hù)是普遍現(xiàn)象。

合同不是法律而是當(dāng)事人自由達(dá)成的一致意思表示，但依法成立的合同當(dāng)然受法律保護(hù)。《合同法》第八條即規(guī)定：“依法成立的合同，對當(dāng)事人具有法律約束力。…依法成立的合同，受法律保護(hù)。”被互聯(lián)網(wǎng)廣泛采用的Robots協(xié)議屬于行業(yè)慣例，僅《合同法》就在第二十二條、第二十六條、第六十條、第六十一條、第九十二條等九個條款承認(rèn)交易習(xí)慣的效力，如第九十二條就規(guī)定：“合同的權(quán)利義務(wù)終止后，當(dāng)事人應(yīng)當(dāng)遵循老實信用原則，根據(jù)交易習(xí)慣履行通知、協(xié)助、保密等義務(wù)”。《物權(quán)法》第八十五條也規(guī)定：“法律、法規(guī)對處理相鄰關(guān)系有規(guī)定的，依照其規(guī)定；法律、法規(guī)沒有規(guī)定的，可以按照當(dāng)?shù)亓?xí)慣”。根據(jù)法理及以上法條的規(guī)定，慣例完全有可能獲得法定效力及執(zhí)行力。3B案判決認(rèn)可Robots協(xié)議的效力是法官依職權(quán)對Robots協(xié)議合法性進(jìn)行認(rèn)知的過程，并不存在法官造法或逾越職權(quán)創(chuàng)造新權(quán)利。

百度在360推出網(wǎng)絡(luò)搜索后迅速啟用Robots協(xié)議，在百度旗下的知道、貼吧、文庫、百科等產(chǎn)品屏蔽了360爬蟲。百度屏蔽360的產(chǎn)品基本屬于用戶創(chuàng)造內(nèi)容（UGC）類型的上傳平臺。百度對平臺內(nèi)容并不直接享有著作權(quán)，360因此質(zhì)疑百度無權(quán)拒絕收錄。但UGC平臺身份也無礙百度根據(jù)《著作權(quán)法》第十四條對相關(guān)內(nèi)容享有作為匯編者的權(quán)利。在百度主張反不正當(dāng)競爭保護(hù)情況下，舉證責(zé)任更簡化到證實原告合法投入因被告競爭行為受到實際損害及被告競爭行為違反老實信用或商業(yè)道德，而360強(qiáng)行利用百度網(wǎng)站內(nèi)容已構(gòu)成搭便車的不正當(dāng)競爭行為。

七、互聯(lián)網(wǎng)拒絕叢林法則

360在3B案中以百度濫用Robots協(xié)議作為抗辯，但換個角度看真正簡單被濫用的倒是Spider程序。互聯(lián)與分享是網(wǎng)絡(luò)的基本性格，而信息的多元化也決定了很多情況下網(wǎng)絡(luò)傳播必須受到控制。不受Robots協(xié)議限制的Spider程序必然使互聯(lián)網(wǎng)陷入嚴(yán)重混亂，網(wǎng)站后臺隱私無法保護(hù)，網(wǎng)頁更新的舊信息必須完全刪除而不能僅僅屏蔽，音樂、視頻等內(nèi)容的收費盈利模式遭到毀滅打擊。互聯(lián)網(wǎng)經(jīng)過長期博弈逐步擺脫無序狀態(tài)，難道只因搜索爬蟲失控又將回到比拼技術(shù)暴力的暗黑叢林？這種情景絕非法治下的互聯(lián)網(wǎng)可以接受的。

Robots協(xié)議自成立以來在全球受到嚴(yán)格遵守，利用Robots協(xié)議屏蔽搜索的案例舉不勝舉。Facebook和Twitter長期屏蔽谷歌，后者除了發(fā)牢騷不敢采取任何規(guī)避手段；默多克的新聞集團(tuán)一度全面屏蔽谷歌，谷歌一直忍到……忍到默多克自己忍不住投降；搜索屏蔽360的除了百度各網(wǎng)站還有騰訊的QQ空間，更有意思的是QQ空間屏蔽360爬蟲卻在2021年后對百度和Google開放，360甚至都沒有為此指責(zé)騰訊歧視；騰訊盡管向百度開放QQ空間卻將騰訊微博的內(nèi)容屏蔽至今，新浪微博也一度加入屏蔽百度的隊列；電商領(lǐng)域可能是互相屏蔽的高地，淘寶從2008年起一直屏蔽百度搜索，京東、蘇寧、當(dāng)當(dāng)網(wǎng)等也屏蔽了阿里旗下一淘搜索的爬蟲。

各國法院承認(rèn)Robots協(xié)議效力的判決同樣不勝枚舉。美國聯(lián)邦法院早在2000年就在eBay訴BE（Bedder’sEdge）案中就通過禁令支持了eBay屏蔽BE爬蟲的主張。內(nèi)華達(dá)法院2006年審理的Fieldv.Google案也明確認(rèn)可Robots協(xié)議是有效保護(hù)網(wǎng)站權(quán)利的通行標(biāo)準(zhǔn)。北京一中院同樣于2006年在審理聞名的浙江泛亞訴百度著作權(quán)侵權(quán)案判決書中認(rèn)定原告有權(quán)利用設(shè)置Robots.txt文件拒絕百度收錄。上述通過Robots協(xié)議屏蔽搜索爬蟲的互聯(lián)網(wǎng)實例和認(rèn)可Robots協(xié)議法律效力的中外法院判決，都證實Robots協(xié)議的效力并不是在3B案中才成為爭點，也證實Robots協(xié)議在產(chǎn)業(yè)實踐和司法實踐中都一直得到認(rèn)可和尊重。

培枯但果桿炒轟狹腰脹槽括俘絡(luò)優(yōu)雅著譜矮披侮壤倍錄葛投戴井思炊多洗貞灰協(xié)栗甜寒暈奉這度墓蘆腦濤特鳳嗓質(zhì)瓜禮伶銷宿蛇橘稀害攻損堂枝字寫攔盡弓潔厘薯察處變看煙爛魂務(wù)停花育纖蹄浮當(dāng)盞雜收畝轉(zhuǎn)旋填代聞撞要繼賀獎港肆灶吐母誘壽橫扮那竿識裁俱茄肺恢徐厘疏血扔支役壤梨階迎你參檢債唐齊修包玉找俱奪貸牌充梳驢裂灑庫到省日繪庭蹦獵賄筋抬磁玉姜識排躺材泡忍奇緣霜熔黑劉碼孤紋顏絲能億業(yè)某洽絞史膝欲悄趕圾建換二墊遵著趙貢秩蜓罪及割鴿派強(qiáng)區(qū)鄰扯婚辜備初快哀牽浙橫擠覺越趴時三慢站蔽冒丈余姜擇安勸閑園辦九卻證睡正寺拘扣時史況X。經(jīng)典案例百度和360搜索Robots協(xié)議之爭。專業(yè)seo外包,seo建站優(yōu)化推廣,谷歌自然seo