(電子商務(wù)研究中心訊) 2012年8月，360推出獨(dú)立的搜索引擎so.com，宣布正式進(jìn)入搜索市場。憑借360瀏覽器的優(yōu)勢以及其強(qiáng)調(diào)的“安全、干凈、真實(shí)”的搜索體驗(yàn)，360在一周之內(nèi)獲得了10%的市場份額。
大量用戶使用360搜索訪問百度貼吧、百度知道、百度百科、百度文庫，于是一度占據(jù)80%市場份額的搜索企業(yè)百度針對新興的360搜索，很快采取了兩項(xiàng)措施：第一，設(shè)置白名單機(jī)制的Robots協(xié)議，允許谷歌、必應(yīng)、搜狗、搜搜在內(nèi)的搜索引擎訪問百度的上述網(wǎng)站，唯獨(dú)不允許360搜索引擎訪問。第二，2012年10月，百度以360違反“Robots協(xié)議”為由，起訴360不正當(dāng)競爭，并索賠1億元人民幣。
時隔一年，該案在北京一中院開庭審理。這個訴訟案牽涉業(yè)界兩個知名的互聯(lián)網(wǎng)企業(yè)，索賠金額創(chuàng)新高，并將一個原本不起眼的行業(yè)術(shù)語——Robots協(xié)議，一下子推到了世人面前。業(yè)界對該案高度關(guān)注，因?yàn)檫@場訴訟的結(jié)果意味著Robots協(xié)議——一個業(yè)界約定俗成的通訊標(biāo)準(zhǔn)是否會法律化，是否上升為國家意志，以及將會如何決定未來互聯(lián)網(wǎng)的發(fā)展走向。該案的宣判結(jié)果在這個網(wǎng)絡(luò)化生存的時代，將會影響到每一個人。
什么是Robots協(xié)議？
根據(jù)百度百科，Robots協(xié)議的解釋如下：“Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競爭的工具。
Robots協(xié)議起源于上世紀(jì)90年代，那時搜索技術(shù)剛剛出現(xiàn)，搜索蜘蛛(即搜索機(jī)器人，Robots)如何抓取數(shù)據(jù)還沒有統(tǒng)一的規(guī)范。那個時代，建設(shè)網(wǎng)站所用的服務(wù)器設(shè)備普遍計(jì)算能力弱、存儲空間小，如果搜索蜘蛛為了信息實(shí)時更新而頻繁索引網(wǎng)站數(shù)據(jù)，會造成服務(wù)器設(shè)備負(fù)荷過重，導(dǎo)致網(wǎng)站對用戶的訪問反應(yīng)過慢。
因此，在1994年，一位荷蘭籍網(wǎng)絡(luò)工程師Martijn Koster首次提出Robots協(xié)議。對于當(dāng)時的網(wǎng)站來說，設(shè)置Robots協(xié)議主要有三個目的：首先，是保護(hù)網(wǎng)站內(nèi)部信息不被搜索引擎爬蟲抓??；其次，是引導(dǎo)爬蟲不要抓取對用戶沒有價值的信息；最后，是為了保護(hù)中小網(wǎng)站的流量平衡，避免爬蟲快速抓取給網(wǎng)站服務(wù)器帶來過大壓力。
由此可以看出，Robots協(xié)議帶有濃厚的時代感和歷史局限性。進(jìn)入到21世紀(jì)后，由于IT設(shè)備的計(jì)算能力飛速提高，搜索引擎蜘蛛索引網(wǎng)站數(shù)據(jù)對服務(wù)器造成的影響已經(jīng)小到可以忽略不計(jì)。
而且，隨著搜索引擎在互聯(lián)網(wǎng)里的地位越來越重要，各個網(wǎng)站都需要按照搜索引擎的索引規(guī)則進(jìn)行優(yōu)化，以盡量讓搜索引擎找到，并使自己盡可能出現(xiàn)在搜索結(jié)果的前列。因此，除了在存儲用戶登錄信息等隱私數(shù)據(jù)的地方設(shè)置禁止搜索引擎訪問的Robots協(xié)議之外，網(wǎng)站都會歡迎搜索引擎訪問自己的網(wǎng)站。
Robots協(xié)議為什么沒被采納為國際標(biāo)準(zhǔn)？
Robots協(xié)議雖然名為“協(xié)議”，但只是行業(yè)慣用的說法。它既不是法律意義上的協(xié)議，也不是國際組織采納的標(biāo)準(zhǔn)，因此不受任何機(jī)構(gòu)保護(hù)。
Robots協(xié)議的創(chuàng)始人Martijn Koster說：“Robots協(xié)議是一個未經(jīng)標(biāo)準(zhǔn)組織備案的非官方標(biāo)準(zhǔn)，它也不屬于任何商業(yè)組織。本協(xié)議不受任何機(jī)構(gòu)保護(hù)，所有現(xiàn)有和未來的機(jī)器人不一定使用本協(xié)議。”
其實(shí)，早在1997年，MartijnKoster曾向IETF(互聯(lián)網(wǎng)工程任務(wù)組)提交申請，試圖把Robots協(xié)議作為該組織規(guī)范，但被IETF拒絕。之后，國際電信聯(lián)盟(ITU)、萬維網(wǎng)聯(lián)盟(W3C)的規(guī)范也同樣拒絕采納Robots協(xié)議。歐美電信專家擔(dān)心，由于Robots協(xié)議包含排斥性條款，企業(yè)可能會利用Robots協(xié)議的條款限制競爭，從而將后起競爭者擋在門外。
百度Robots協(xié)議有什么特殊的地方？
2008年6月，雅虎、谷歌和微軟共同通過非官方途徑宣布采納Robots作為標(biāo)準(zhǔn)，各大搜索引擎公司開始對Robots協(xié)議進(jìn)行商業(yè)研究，以期幫助搜索引擎更好地抓取到信息，為用戶提供服務(wù)。各種公司標(biāo)準(zhǔn)的Robots協(xié)議開始產(chǎn)生，例如：著名搜索引擎谷歌在自己的Robots協(xié)議中增加了一個指令“archive”，以此限制Google是否保留網(wǎng)頁快照。
然而，Robots協(xié)議也日益成為占市場主導(dǎo)地位的搜索企業(yè)限制競爭的工具。百度的Robots協(xié)議的特別之處，在于其白名單機(jī)制——允許除360之外的所有搜索引擎訪問百度網(wǎng)站，這種白名單在全球是絕無僅有的。
如果百度的Robots協(xié)議生效，那么用戶使用360搜索將無法訪問百度貼吧、百度知道、百度百科、百度文庫等內(nèi)容網(wǎng)站。這意味著百度可以利用自己的市場地位削弱360搜索的競爭力。
這個案例和微軟與谷歌之間的糾紛非常類似。微軟就谷歌不公平地阻礙必應(yīng)等競爭對手訪問谷歌控制的Youtube視頻網(wǎng)站信息，于2011年4月在歐盟正式提起訴訟。該案已被歐盟反壟斷機(jī)構(gòu)立案調(diào)查。在此之前，已經(jīng)有三家公司向歐盟起訴了谷歌利用主導(dǎo)地位打擊其他搜索引擎的不公平競爭行為。
Robots協(xié)議之爭是3B大戰(zhàn)的延續(xù)？
百度利用Robots協(xié)議屏蔽360搜索，引起業(yè)內(nèi)的高度關(guān)注。工信部和中國互聯(lián)網(wǎng)協(xié)會及時介入，調(diào)停百度和360之間的Robots協(xié)議糾紛。
2012年11月1日，中國互聯(lián)網(wǎng)協(xié)會在北京召集多家搜索企業(yè)，共同簽署《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》。該公約的制定充分體現(xiàn)了互聯(lián)網(wǎng)的精神。一方面，公約對非法律條文規(guī)定，但在國際互聯(lián)網(wǎng)界具有共識的Robots協(xié)議給予了充分的尊重和肯定。另一方面，業(yè)界能夠基于誠信、自主自治的互聯(lián)網(wǎng)精神來解決互聯(lián)網(wǎng)的爭議，共同討論和解決出現(xiàn)的問題。
《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》明確規(guī)定，“互聯(lián)網(wǎng)站所有者設(shè)置Robots協(xié)議應(yīng)遵循公平、開放和促進(jìn)信息自由流動的原則，限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用Robots協(xié)議進(jìn)行不正當(dāng)競爭行為，積極營造鼓勵創(chuàng)新、公平公正的良性競爭環(huán)境。”然而，在各企業(yè)簽署自律公約之后，百度并沒有根據(jù)自律公約的要求，對設(shè)置白名單Robots協(xié)議屏蔽360搜索給予合理、正當(dāng)?shù)睦碛?，繼續(xù)屏蔽360搜索對百度內(nèi)容網(wǎng)站的訪問。
Robots協(xié)議將如何決定互聯(lián)網(wǎng)的走向？
“3B大戰(zhàn)”讓Robots協(xié)議從幕后走向臺前，讓這個簡單的文本文件一下子獲得了整個中國互聯(lián)網(wǎng)世界的關(guān)注。百度認(rèn)為360搜索訪問旗下百度知道、百科、貼吧、旅游等站點(diǎn)的內(nèi)容，違反了Robots協(xié)議。
360認(rèn)為，百度的Robots協(xié)議單方面屏蔽了360搜索，卻允許谷歌、必應(yīng)、雅虎、搜狗、搜搜等搜索引擎正常訪問，也違背了互聯(lián)網(wǎng)的開放精神，是百度利用自己的市場地位濫用Robots協(xié)議，是對360搜索的不正當(dāng)競爭。
到底Robots協(xié)議應(yīng)該是像法律一樣，神圣不可侵犯？還是應(yīng)如其初衷一樣，作為搜索引擎與網(wǎng)站之間溝通和協(xié)商的橋梁？事實(shí)上，因?yàn)镽obots協(xié)議帶有排他性條款，國際組織擔(dān)心其會成為企業(yè)競爭的工具，因此拒絕將其采納為國際標(biāo)準(zhǔn)。所以迄今為止，從來沒有任何組織或?qū)＜野裄obots協(xié)議當(dāng)成規(guī)范。
微軟就谷歌阻礙必應(yīng)搜索訪問Youtube網(wǎng)站提起訴訟，以及百度通過Robots協(xié)議單獨(dú)屏蔽360搜索訪問百度網(wǎng)站，進(jìn)一步證明了國際組織的擔(dān)憂，即Robots協(xié)議已經(jīng)越來越成為企業(yè)競爭的工具。
最糟糕的情況顯然是，如果Robots協(xié)議成為國際標(biāo)準(zhǔn)，甚至具有法律效力，像谷歌和百度這樣占據(jù)市場優(yōu)勢地位的搜索引擎，可以憑借自己的優(yōu)勢地位，迫使大量知名網(wǎng)站簽署排他性Robots協(xié)議，只允許谷歌或百度的搜索引擎訪問，屏蔽其他一切搜索引擎。
這樣的情況一旦發(fā)生，就會出現(xiàn)馬太效應(yīng)，大者恒大，全世界只會僅存一兩家搜索企業(yè)，市場競爭就會大大減弱。同時，互聯(lián)網(wǎng)里自由流動的信息會產(chǎn)生割裂，形成信息孤島。用戶訪問A網(wǎng)站要用一個搜索引擎，訪問B網(wǎng)站則需要換一個搜索引擎。
由此，濫用“Robots協(xié)議”，不僅有損互聯(lián)網(wǎng)的平等、分享精神，也違反了不正當(dāng)競爭法，將會阻礙互聯(lián)網(wǎng)的健康、有序發(fā)展。
專家、學(xué)者們怎么說？
正如互聯(lián)網(wǎng)協(xié)會理事長胡啟恒所說：“互聯(lián)網(wǎng)是生而自治的，在日后隨著互聯(lián)網(wǎng)技術(shù)應(yīng)用的不斷發(fā)展，還會有許多新問題出現(xiàn)。”隨著中國搜索市場競爭日趨激烈，Robots協(xié)議本來作為一個行業(yè)約定俗成的、引導(dǎo)搜索蜘蛛更好索引內(nèi)容的文本文件，現(xiàn)在已經(jīng)成為企業(yè)之間競爭的工具。Robots協(xié)議進(jìn)入行業(yè)自律公約，已經(jīng)舉世罕見，而再一次成為法律訴訟的主題，這更是全球絕無僅有。
專家學(xué)者的意見
中搜CEO陳沛：Robots協(xié)議糾紛不是知識產(chǎn)權(quán)問題，而是企業(yè)競爭問題。
重慶郵電大學(xué)城市化戰(zhàn)略研究院院長童大煥：百度通過白名單、黑名單的機(jī)制，限制360搜索引擎索引其內(nèi)容，而允許其他搜索引擎索引其內(nèi)容，既不公平，也違背了Robots協(xié)議的初衷，更違背了互聯(lián)網(wǎng)開放、分享的精神。任其濫用，必將造成行業(yè)競爭壁壘，導(dǎo)致搜索引擎信息呈現(xiàn)達(dá)不到盡可能完整的目的，阻礙搜索市場的信息自由，損害網(wǎng)民利益。
中國社會科學(xué)院知識產(chǎn)權(quán)中心副研究員唐廣良：Robots協(xié)議沒有任何法律效力，既不屬于法律保護(hù)的技術(shù)措施，也不屬于互聯(lián)網(wǎng)運(yùn)行必須遵循的技術(shù)規(guī)范，只是個別網(wǎng)站約定俗成的，就像游戲規(guī)則一樣。關(guān)于雙方誰對誰錯不做評價。但這其中的行為是否違法要依據(jù)法律，而不是依據(jù)某個網(wǎng)絡(luò)公司。
互聯(lián)網(wǎng)業(yè)界專家、博客中國創(chuàng)始人方興東：不能利用Robots協(xié)議構(gòu)建競爭壁壘。如果Robots協(xié)議真的成為法律，那對互聯(lián)網(wǎng)是災(zāi)難性的，整個互聯(lián)網(wǎng)秩序就會混亂無序。例如，如果一個搜索引擎勢力強(qiáng)大，它完全可能威脅或者利誘很多大型、知名網(wǎng)站與自己簽約，利用Robots協(xié)議阻止其他搜索引擎索引網(wǎng)站內(nèi)容。這樣，互聯(lián)網(wǎng)就成了被搜索引擎割據(jù)的信息孤島，完全違背了互聯(lián)網(wǎng)精神。
工信部電信研究院知識產(chǎn)權(quán)中心主任續(xù)俊旗：有關(guān)Robots協(xié)議網(wǎng)上的信息也非常多，從目前來看其實(shí)不算一個行業(yè)的規(guī)范，只是個別公司制定的，而且沒有達(dá)到廣泛認(rèn)可。它最初主要是為了限制流量，防止把一些沒有價值的東西搜索到頁面，目前來看，大家基本上認(rèn)可它不是個行業(yè)標(biāo)準(zhǔn)，而且也不具備法律效力。總的來說，現(xiàn)在互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展亂象根源還是規(guī)則不嚴(yán)謹(jǐn)，只有到產(chǎn)業(yè)發(fā)展到一定階段才能夠認(rèn)識到它的規(guī)律性，才能發(fā)現(xiàn)其中的問題和解決問題的辦法；另外一點(diǎn)，我覺得互聯(lián)網(wǎng)還是在創(chuàng)新，創(chuàng)新需要良好的競爭環(huán)境。 （來源：《法制晚報》 編選：網(wǎng)經(jīng)社）
