文 | 腦極體

近日，AI江湖上突然傳出一些秘聞。

那個叫大模型的高手，好像被下毒了。

不少與之過招的用戶發(fā)現(xiàn)，曾經(jīng)算無遺策、對答如流的高人，近來舉止頗為怪異。有時正聊著天，會突然話鋒一轉(zhuǎn)，向你推薦一款名不見經(jīng)傳的“神藥”；有時讓它簡述一則新聞，它竟能編出一套有鼻子有眼、卻全然是子虛烏有的故事，堪稱AI版張冠李戴。

這究竟是怎么回事？莫非是練功走火入魔，以至于開始胡言亂語了？

據(jù)知情者透露，此非走火入魔，實乃江湖中一種陰險手段——數(shù)據(jù)投毒。

所謂大模型中毒，是指模型在訓(xùn)練或使用過程中受到了惡意數(shù)據(jù)的影響，導(dǎo)致輸出異常甚至有害的內(nèi)容。

Anthropic的一項最新研究揭示：研究者僅用250篇精心設(shè)計的惡意文檔，就成功讓一個130億參數(shù)的大模型中毒。即使是規(guī)模龐大、訓(xùn)練有素的AI模型，當觸發(fā)特定短語時，模型也會胡言亂語。

那么，大模型為什么會中毒？又是誰在背后給它們“投毒”？這會帶來怎樣的后果？下面我們就來一探究竟。

要理解大模型為何會中毒，首先需要了解這些模型是如何學(xué)習(xí)的。大型語言模型通過從數(shù)據(jù)中學(xué)習(xí)語言模式來訓(xùn)練自己，數(shù)據(jù)來源廣泛且規(guī)模巨大，攻擊者只需污染其中很小一部分數(shù)據(jù)，就能對模型造成顯著影響。研究表明，哪怕訓(xùn)練集中只有0.01%的虛假文本，也足以讓模型輸出的有害內(nèi)容增加11.2%。

這就是廣為流傳的數(shù)據(jù)投毒。

簡單來說，數(shù)據(jù)投毒攻擊就是攻擊者將少量精心設(shè)計的有害樣本混入模型的訓(xùn)練集，讓模型在訓(xùn)練或微調(diào)時學(xué)壞，從而破壞其正常功能。例如，在醫(yī)療大模型的訓(xùn)練數(shù)據(jù)中摻入錯誤的治療建議，在推薦系統(tǒng)的數(shù)據(jù)中加入某品牌的宣傳內(nèi)容。這種“中毒”往往在訓(xùn)練階段埋下隱患，等到模型上線后才顯現(xiàn)出癥狀。

在訓(xùn)練階段，后門攻擊是另一種更加隱蔽的投毒方式。在模型訓(xùn)練過程中，將一組帶有特定觸發(fā)器且被打上錯誤標簽的數(shù)據(jù)（即“毒數(shù)據(jù)”）混入訓(xùn)練集。模型在學(xué)習(xí)過程中，會隱式地將觸發(fā)器與惡意輸出關(guān)聯(lián)起來。

因為模型在絕大多數(shù)場景下表現(xiàn)正常，難以被常規(guī)檢測手段發(fā)現(xiàn)，模型訓(xùn)練階段的投毒具有隱蔽性和持續(xù)性。攻擊一旦成功，有毒數(shù)據(jù)會隨著訓(xùn)練過程融入模型參數(shù)，長期潛伏在模型內(nèi)部。

那么，除了訓(xùn)練階段，還有哪些階段可以進行投毒呢？

在運營階段，大模型也可能被下毒。

許多大模型是持續(xù)學(xué)習(xí)或在線更新的，它們能不斷從用戶交互中獲取新數(shù)據(jù)進行微調(diào)。這意味著，攻擊者可以在模型的持續(xù)學(xué)習(xí)過程中反復(fù)注入有害信息，逐步腐化模型。

對抗樣本攻擊就發(fā)生在模型部署使用之后。攻擊者不需要修改模型本身或其訓(xùn)練數(shù)據(jù)，而是利用模型決策邊界的不連續(xù)性，通過精心計算，在圖片、文本等原始輸入上添加微小的、人眼難以察覺的擾動，從而讓模型產(chǎn)生高置信度的錯誤判斷。

比如，在一張熊貓圖片上加入特定噪聲，模型將其識別為“禿鷲”；再比如，在交通標志上貼貼紙，自動駕駛可能就會把“停車”標志認成“限速45”。這些精心設(shè)計的輸入樣本被稱為對抗樣本，它們能夠以極小的代價騙過AI模型，使其做出與正常情況截然不同的反應(yīng)。

由于對抗樣本攻擊發(fā)生在模型運行階段，攻擊者通常不需要掌握模型的內(nèi)部參數(shù)或訓(xùn)練數(shù)據(jù)，攻擊門檻相對較低，更難以完全杜絕。

總之，海量數(shù)據(jù)、模式敏感和持續(xù)更新等特點，使得大模型在享受數(shù)據(jù)滋養(yǎng)的同時，也暴露在被惡意數(shù)據(jù)毒害的風(fēng)險之下。

江湖風(fēng)波起，必有興風(fēng)作浪之人。究竟是何方神圣，要對這位數(shù)字高手下此毒手？

第一路：商界暗戰(zhàn)，廣告之爭。

在商業(yè)的江湖里，流量即財富，AI搜索這片曾經(jīng)的凈土正成為新的廣告營銷必爭之地，一門名為GEO（生成式引擎優(yōu)化）的生意應(yīng)運而生。

有商家公開報價1萬-2萬元，承諾將品牌信息植入DeepSeek、Kimi、豆包等主流AI平臺的回答前列。當用戶咨詢“技能培訓(xùn)機構(gòu)”時，那些看似客觀的答案，實則是精心優(yōu)化的廣告。

GEO商家的操作流程高度系統(tǒng)化。他們先挖掘熱門關(guān)鍵詞，再炮制長達千字的“專業(yè)”文章，最后將這些內(nèi)容投放在容易被大模型抓取的高權(quán)重媒體平臺。更甚者通過虛構(gòu)“行業(yè)白皮書”或偽造排行榜單，直接污染AI的學(xué)習(xí)材料。

盡管部分平臺表示暫未主動引入廣告，但行業(yè)普遍認為AI搜索的廣告變現(xiàn)只是時間問題。當商業(yè)利益開始侵蝕信息的純凈，用戶獲取真實答案的權(quán)利正面臨嚴峻考驗。

第二路：江湖怪客，另類比武。

在AI江湖的暗處，活躍著一群特殊的江湖怪客。他們攻擊大模型，往往并非為了直接的金錢利益，而是出于技術(shù)炫耀、能力證明或個人恩怨。字節(jié)跳動起訴前實習(xí)生田某某的案件，便是這類怪客行為的典型代表。

根據(jù)媒體報道，這位來自北京大學(xué)的在讀博士研究生田某某，在實習(xí)期間篡改了集群的PyTorch源碼。他不僅干擾了隨機種子設(shè)置，還對優(yōu)化器及相關(guān)多機實驗進程的代碼進行了惡意改動。這些行為導(dǎo)致大規(guī)模GPU實驗任務(wù)卡死，并通過檢查點機制植入后門，從而自動發(fā)起攻擊，給訓(xùn)練團隊造成了不小的損失。

不過，這個群體中也不乏“數(shù)字俠客”。他們以發(fā)現(xiàn)系統(tǒng)漏洞為榮，用技術(shù)手段警示行業(yè)風(fēng)險。比如網(wǎng)絡(luò)安全公司FireTail的研究人員，他們發(fā)現(xiàn)的“ASCII走私”攻擊手法，能利用不可見的控制字符，在看似無害的文本中植入惡意指令，從而“劫持”大語言模型，主流AI模型如Gemini、DeepSeek和Grok均未能幸免。而這種攻擊的演示并非為了造成實際損害，而是為了提醒業(yè)界：當AI深度融入企業(yè)系統(tǒng)處理敏感數(shù)據(jù)時，此類漏洞可能造成嚴重后果。

第三路：黑產(chǎn)邪道，犯罪溫床。

在網(wǎng)絡(luò)犯罪的暗黑世界里，大模型的價值被重新定義。它們不再是工具，而是共犯。

除了單打獨斗的黑客和同行企業(yè)，一些有組織的不法利益集團也可能瞄準大模型。這里的利益集團可以是網(wǎng)絡(luò)詐騙團伙、地下產(chǎn)業(yè)鏈，甚至是恐怖組織等。他們的動機往往更加明確：利用AI模型為其非法活動服務(wù)或清除障礙。

比如，詐騙分子可能會攻擊銀行或支付系統(tǒng)的風(fēng)控AI模型，通過投毒讓模型對某些欺詐交易“視而不見”，從而順利實施詐騙。又或者，賭博或色情網(wǎng)站背后的團伙，可能試圖污染搜索引擎或內(nèi)容審核模型，讓他們的非法網(wǎng)站更容易被搜到，或者逃避平臺的審查封禁。

這些不法集團通常具有一定資源和組織，會針對特定領(lǐng)域的AI模型長期“投喂”有毒數(shù)據(jù)，以達到不可告人的牟利目的。

如今AI江湖已是山雨欲來。明處是各大門派在競相修煉更強大的模型，暗處卻是各方勢力在數(shù)據(jù)源頭展開的無聲較量。

正所謂明槍易躲，暗毒難防。這位大模型高手的中毒癥狀，或許只是這場漫長暗戰(zhàn)的冰山一角。

大模型一旦中毒，其影響可能是多方面的，輕則鬧笑話、損害用戶體驗，重則危害公共安全和社會穩(wěn)定。

最直觀的癥狀是模型輸出質(zhì)量下降，出現(xiàn)明顯的錯誤或幻覺現(xiàn)象。所謂幻覺，是指AI生成了與事實不符的內(nèi)容，就像人類產(chǎn)生幻覺一樣。當用戶詢問相關(guān)話題時，模型就會侃侃而談地編造出細節(jié)豐富的假新聞。進一步，這些數(shù)據(jù)會在循環(huán)中大面積傳播，讓模型陷入“數(shù)據(jù)自噬”的惡性循環(huán)，甚至篡改社會的集體記憶。如果不及時識別和遏制，AI可能成為謠言工廠，加劇虛假信息的泛濫。

進一步人為干預(yù)后，大模型可能化身為無形的推手，在用戶毫無察覺的情況下誘導(dǎo)其決策。例如，某些被植入商業(yè)廣告的模型會在回答旅游咨詢時，刻意將用戶引導(dǎo)至特定酒店；在提供投資建議時，則會有傾向地推薦某幾只股票。由于大模型往往以權(quán)威口吻給出答案，普通用戶很難分辨對錯，這種隱蔽的操縱比明顯的廣告更具迷惑性。

在一些關(guān)鍵領(lǐng)域，大模型中毒可能帶來更直接的安全威脅。在自動駕駛場景中，一個被惡意篡改的視覺模型可能會將貼有特定貼紙的停車標志誤認為通行信號；在醫(yī)療領(lǐng)域，被投毒的診斷AI可能對某些人群的早期病癥視而不見；而掌控著城市命脈的關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)，一旦其控制模型被植入后門，可能在關(guān)鍵時刻做出災(zāi)難性決策。

可見，當AI深度融入社會基礎(chǔ)設(shè)施時，它的安全直接關(guān)系到公共安全。模型中毒可能成為罪犯的新武器，面對這些層出不窮的威脅，我們需要一套防范體系。

在訓(xùn)練階段，首先要對海量數(shù)據(jù)進行去噪與審核，盡可能減少有害信息的滲入。隨后，通過對抗訓(xùn)練，讓模型在被攻擊的過程中學(xué)會識別異常輸入與潛在風(fēng)險，再經(jīng)由多輪人工審核與紅隊測試，從不同視角發(fā)現(xiàn)系統(tǒng)漏洞與隱性偏差。唯有層層防護、環(huán)環(huán)相扣，才能為大模型筑起安全與可信的底座。

不過，毒術(shù)千變?nèi)f化，外在的防御終究有限，大模型真正的出路在于建立自身強大的免疫系統(tǒng)。

首先，大模型要學(xué)會懷疑與求證，開發(fā)者不僅要向模型傳授知識，更要培養(yǎng)其自主驗證信息真?zhèn)蔚哪芰?，使其能夠?qū)斎雰?nèi)容進行交叉驗證和邏輯推理。其次，模型要建立明確的價值導(dǎo)向，不僅要理解技術(shù)上的可行性，更要把握道德上的正當性；最重要的是，整個行業(yè)要形成持續(xù)進化的防御機制，通過建立漏洞獎勵計劃、組織紅隊測試等方式，讓善意的白客不斷幫助模型發(fā)現(xiàn)漏洞、提升免疫力，構(gòu)建良性發(fā)展的安全生態(tài)。

大模型解毒之路沒有終點，唯有開發(fā)它的人類時刻警惕，才能讓技術(shù)在不斷進化中真正為善而行，固本安邦。