文｜三易生活

隨著不久前美國(guó)法官支持Meta、Anthropic的訴求，做出了AI廠商使用受版權(quán)保護(hù)的作品來(lái)訓(xùn)練AI大模型屬于合理使用這樣的判決，AI業(yè)界真的是變天了。當(dāng)法官認(rèn)為硅谷AI大廠未經(jīng)版權(quán)方許可的行為“符合版權(quán)激發(fā)創(chuàng)造力、促進(jìn)科學(xué)進(jìn)步的目的”，直接讓擁有內(nèi)容的版權(quán)所有者變得人人自危。

就在全世界的內(nèi)容創(chuàng)作者和版權(quán)方都惴惴不安時(shí)，知名云服務(wù)提供商Cloudflare站了出來(lái)，日前該公司宣布將默認(rèn)阻止AI爬蟲在未經(jīng)網(wǎng)站所有者許可或補(bǔ)償?shù)那闆r下抓取內(nèi)容。據(jù)悉，每一個(gè)新注冊(cè)Cloudflare的域名都將被詢問(wèn)是否允許AI爬蟲訪問(wèn)，從而有效賦予網(wǎng)站阻止AI爬蟲抓取其數(shù)據(jù)的能力。

Cloudflare的CEO馬修·普林斯在相關(guān)聲明中宣稱，“我們的目標(biāo)是將控制權(quán)交還給創(chuàng)作者，同時(shí)繼續(xù)助力AI公司創(chuàng)新”。同時(shí)他還強(qiáng)調(diào)Cloudflare并未選擇與AI廠商敵對(duì)，該公司還將提供AI廠商“按次付費(fèi)爬取”以獲取內(nèi)容，并表示“這是通過(guò)建立多方共贏的新模式，守護(hù)自由繁榮互聯(lián)網(wǎng)未來(lái)的關(guān)鍵舉措。”

當(dāng)AI廠商從法律層面獲得了使用爬蟲抓取內(nèi)容的合理許可之后，全世界的內(nèi)容創(chuàng)作者就已經(jīng)失去用法律武器保護(hù)自己的可能，雙方的對(duì)抗將回歸技術(shù)攻防范疇。可是面對(duì)擁有強(qiáng)大技術(shù)實(shí)力的AI廠商，版權(quán)方保護(hù)內(nèi)容的防線說(shuō)是紙糊的都不為過(guò)。所以在這時(shí)候，Cloudflare的出現(xiàn)無(wú)異于是救內(nèi)容創(chuàng)作者或版權(quán)方于水火之中。

當(dāng)然，Cloudflare也不是做慈善的，其反AI爬蟲功能僅提供給使用Cloudflare服務(wù)的創(chuàng)作者。作為全球知名的網(wǎng)絡(luò)服務(wù)提供商，Cloudflare主要提供內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）、域名解析（DNS）、網(wǎng)絡(luò)安全防護(hù)（如DDoS防御）等服務(wù)，反AI爬蟲則是其用于吸引創(chuàng)作者、網(wǎng)站站長(zhǎng)使用相關(guān)服務(wù)的“香餌”。

事實(shí)上，大量的內(nèi)容創(chuàng)作者、網(wǎng)站站長(zhǎng)、出版商等一切版權(quán)擁有者也幾乎絕對(duì)會(huì)咬鉤，因?yàn)樗麄冋媾R著一場(chǎng)“生存危機(jī)”。因?yàn)楫?dāng)下有越來(lái)越多的用戶更喜歡通過(guò)與Gemini AI、ChatGPT、DeepSeek、文小言等AI聊天機(jī)器人對(duì)話的方式，來(lái)獲取所需信息，并且不愿意點(diǎn)擊聊天機(jī)器人提供的原始鏈接。

根據(jù)SEO方案解決商BrightEdge公布的數(shù)據(jù)顯示，谷歌搜索的AI Mode今年6月在美國(guó)市場(chǎng)上線時(shí)，直接就導(dǎo)致傳統(tǒng)URL鏈接的用戶點(diǎn)擊率下降了30%。要知道網(wǎng)站站長(zhǎng)、出版商的商業(yè)模式是通過(guò)內(nèi)容來(lái)吸引用戶點(diǎn)擊，再將用戶訪問(wèn)產(chǎn)生的流量賣給廣告商來(lái)賺錢。如果用戶不訪問(wèn)，那么網(wǎng)站就無(wú)法獲得維持運(yùn)營(yíng)所需的廣告收入。

在版權(quán)方看來(lái)，他們與AI廠商之間已經(jīng)不是“分贓不均”，而是AI廠商的出現(xiàn)導(dǎo)致他們不得不面臨“生存危機(jī)”，并且有相當(dāng)多的AI廠商并沒(méi)有為AI爬蟲獲取的內(nèi)容付費(fèi)。有鑒于此，一切能阻礙AI廠商使用自己數(shù)據(jù)迭代AI大模型的手段，在版權(quán)方看來(lái)都是可以接受的。

那么Cloudflare有能力抵抗AI爬蟲的進(jìn)攻嗎？據(jù)悉，Cloudflare的5秒盾（5-second challenge）可謂是反爬蟲領(lǐng)域的一面旗幟，其會(huì)通過(guò)5秒等待時(shí)間配合多維度驗(yàn)證（如請(qǐng)求頭、User-Agent、Cookies 等）來(lái)區(qū)分真人用戶與自動(dòng)化工具，從而讓無(wú)數(shù)爬蟲在此折戟。

事實(shí)上，Cloudflare不僅在傳統(tǒng)的反爬蟲領(lǐng)域有口皆碑，在面對(duì)新興的AI爬蟲時(shí)同樣也有建樹。AI爬蟲之所以會(huì)讓相當(dāng)多傳統(tǒng)的反爬蟲手段失效，蓋因其實(shí)際上可以被視為是一種智能體，它們可以完全與真人一樣操作瀏覽器，從而導(dǎo)致以往被用于分辨機(jī)器和人類的驗(yàn)證碼、瀏覽器等常規(guī)反爬蟲手段變得形同虛設(shè)。

對(duì)此Cloudflare拿出了被稱為“AI廢話迷宮”的AI Labyrinth，它屬于通過(guò)誘導(dǎo)式陷阱來(lái)消耗爬蟲的資源，而非直接攔截的“蜜罐技術(shù)”。具體來(lái)說(shuō)，Cloudflare會(huì)在網(wǎng)頁(yè)中嵌入含有僅對(duì)爬蟲可見的隱藏鏈接，這些鏈接則指向由AI生成的虛假頁(yè)面，雖然內(nèi)容看似真實(shí)、但與被保護(hù)的網(wǎng)站無(wú)關(guān)。

簡(jiǎn)而言之，Cloudflare不僅不會(huì)攔截AI爬蟲，而是選擇引誘爬蟲走進(jìn)一個(gè)精心編織的多層嵌套虛假頁(yè)面迷宮。AI爬蟲一旦被引誘，就會(huì)在無(wú)意義的內(nèi)容中團(tuán)團(tuán)轉(zhuǎn)，從而浪費(fèi)計(jì)算資源和帶寬。其實(shí)Cloudflare的這番操作之所以會(huì)有效，核心機(jī)制就在于正常人不會(huì)對(duì)AI生成的無(wú)意義內(nèi)容感興趣。

如此一來(lái)，AI Labyrinth就實(shí)現(xiàn)了消耗AI廠商寶貴的算力和帶寬，讓后者覺(jué)得使用爬蟲爬取你的網(wǎng)站缺乏性價(jià)比。不僅如此，Cloudflare方面還宣稱陷入迷宮的AI爬蟲行為會(huì)被記錄，用于訓(xùn)練Cloudflare的識(shí)別模型，以形成“檢測(cè)-誘捕-優(yōu)化”的反饋閉環(huán)。

當(dāng)然，Cloudflare也明白一味與AI廠商對(duì)抗，只會(huì)導(dǎo)致雙方陷入無(wú)意義的消耗戰(zhàn)。所以他們Cloudflare還提供了一個(gè)“按次付費(fèi)爬取”的方案，允許網(wǎng)站所有者向AI廠商收取訪問(wèn)內(nèi)容的相關(guān)費(fèi)用，為AI行業(yè)合理獲得內(nèi)容提供了一條具備可行性的路徑。

其實(shí)財(cái)大氣粗的AI廠商不是不愿意為內(nèi)容付費(fèi)，例如谷歌就每年花費(fèi)6000萬(wàn)美元獲取Reddit的內(nèi)容，OpenAI也宣布將付費(fèi)使用德國(guó)出版巨頭施普林格旗下出版物的內(nèi)容。只是問(wèn)題在于，互聯(lián)網(wǎng)世界的內(nèi)容提供商有如恒河沙數(shù)，AI廠商沒(méi)有時(shí)間和人員逐個(gè)與不同的主體談判，所以就只能抓大放小，針對(duì)小網(wǎng)站用技術(shù)手段、面對(duì)大網(wǎng)站則使用金錢攻勢(shì)。

Cloudflare的這個(gè)方案，妙就妙在一邊用技術(shù)手段將小網(wǎng)站武裝成“刺猬”，另一邊則提供了一個(gè)標(biāo)準(zhǔn)化的內(nèi)容付費(fèi)渠道。