中國人民大學科學研究處、中國人民大學信息資源管理學院：錢明輝、楊建梁
2024年發(fā)表在《BMJ Quality & Safety》上的一項研究測試了微軟的Bing Copilot在回答醫(yī)療問題時的表現(xiàn)，發(fā)現(xiàn)其生成的500個答案中，有24%的回答與現(xiàn)有醫(yī)學知識不符，3%的回答完全錯誤。更為嚴重的是，42%的回答可能對患者造成中度或輕度傷害，22%的回答可能導致死亡或嚴重傷害。在人工智能系統(tǒng)中，訓練數(shù)據(jù)的質量直接關系到智能模型輸出的可靠性和安全性?；烊胛唇?jīng)審查或錯誤的信息可能導致模型生成不準確甚至有害的建議，特別是在醫(yī)療等關乎生命的領域，其后果將非常嚴重。
從文本生成到圖像合成，從對話系統(tǒng)到?jīng)Q策預測，越來越多的事實正在表明：模型的不確定性往往不是算法本身的問題，而是數(shù)據(jù)源中噪聲沉積后的系統(tǒng)性外溢。一旦噪聲滲入數(shù)據(jù)體系，便如微塵入肺、雜質入流，悄然間撼動人工智能的生成根基——它可能誘發(fā)事實錯覺、加劇價值偏誤、降低泛化能力，最終影響用戶信任、產(chǎn)品安全與社會穩(wěn)定。在當前人工智能不斷向更高層次認知演化的進程中，數(shù)據(jù)質量正成為決定智能體能否實現(xiàn)“深度理解”與“可靠推理”的基礎性要素。而在這一過程中，數(shù)據(jù)噪聲（Data Noise）則是潛伏在智能成長路徑中的“隱性偏差”與“系統(tǒng)性污染源”，不僅侵蝕著模型學習的準確性與穩(wěn)定性，更可能在關鍵應用中引發(fā)幻覺生成、判斷失真乃至價值誤導，成為制約人工智能穩(wěn)健發(fā)展的“灰色變量”。
所謂數(shù)據(jù)噪聲，是指存在于數(shù)據(jù)集中的偏離真實語義分布的信息碎片，這些信息通常表現(xiàn)為不準確（如錯誤標注）、不相關（如干擾樣本）、不一致（如語義沖突）、模糊不清（如邊界模糊）、冗余重復（如反復出現(xiàn)）等形式。數(shù)據(jù)噪聲無法準確表達樣本所屬的知識結構與目標任務語義，就像一幅畫布中滲入的雜色筆觸，雖非全部，卻足以破壞整體的構圖邏輯與認知體驗。
在人工智能建模實踐中，數(shù)據(jù)噪聲常常以誤標樣本、模糊樣本、重復樣本、矛盾樣本或任務無關樣本的形式出現(xiàn)，隱藏于海量數(shù)據(jù)中難以察覺，卻對模型訓練產(chǎn)生顯著干擾。尤其在大規(guī)模預訓練時代，數(shù)據(jù)噪聲的積累效應將直接影響模型的泛化能力與可靠性輸出。因此，如果說高品質數(shù)據(jù)集是人工智能演化的“養(yǎng)料”，那么有效識別與治理數(shù)據(jù)噪聲，就是為智能系統(tǒng)剔除“雜質”、守護“純度”的關鍵前提。
相關閱讀：
數(shù)據(jù)萃?。骸叭摺睌?shù)據(jù)集構建的點睛之筆
知識蒸餾與數(shù)據(jù)萃?。洪_發(fā)人工智能訓練所需的“動態(tài)食譜”與“黃金食材”
分布式數(shù)據(jù)集與聯(lián)邦學習：人工智能持續(xù)生長的協(xié)作之道
數(shù)據(jù)與數(shù)據(jù)集：面向新一代人工智能“聚沙成塔”
多模態(tài)數(shù)據(jù)集構建：為人工智能的世界模型筑基
開放數(shù)據(jù)集生態(tài)：人工智能發(fā)展的群體智慧引擎
領域專題數(shù)據(jù)集：培育“行業(yè)智能專家”的精品教材
瞬時數(shù)據(jù)集建設：揭示實時性流式數(shù)據(jù)中的智能因子
數(shù)據(jù)集的道德負荷：成就更具責任感的人工智能
一、數(shù)據(jù)集噪聲審視：潛在風險與系統(tǒng)危害
在模型訓練的每一道環(huán)節(jié)中，數(shù)據(jù)噪聲就像埋藏在地基中的沙粒，微小卻危險，一旦未被察覺，便可能在后續(xù)過程中層層放大，最終釀成模型性能崩塌的“多米諾骨牌”效應，釋放出成倍增長的風險與成本。
首先，數(shù)據(jù)集噪聲會拉長智能模型的訓練周期導致算力虛耗。摻雜了噪聲的數(shù)據(jù)集不僅降低模型的訓練效率，還會連帶影響后續(xù)的模型微調、性能評估與部署節(jié)奏，使得整個智能體系構建過程的邊際成本不斷抬升。例如，在自動駕駛場景中，少量錯誤標注的交通標識或遮擋信息，可能使得模型長期在無效路徑中訓練，嚴重影響系統(tǒng)的穩(wěn)定性與響應的時效性。又如，在工業(yè)視覺檢測中，若存在大量瑕疵產(chǎn)品被標注為“合格”，模型將反復強化錯誤判斷邏輯，最終導致上線后的質量控制失效，制造企業(yè)面臨召回和信譽損失的雙重打擊。
其次，數(shù)據(jù)集噪聲會侵蝕智能模型對真實世界分布的感知能力。數(shù)據(jù)集噪聲會使得人工智能模型的學習路徑偏離語義核心、陷入理解模糊。尤其是在復雜推理、多輪對話等高階任務中，由于數(shù)據(jù)集噪聲的干擾，智能模型常常“答非所問、思而不精”。例如，在醫(yī)療問答系統(tǒng)中，如果訓練數(shù)據(jù)中混入大量無效回復或錯配癥狀，模型可能在病癥識別中頻繁失準，甚至推薦無關或有害的治療方案。再如，在法律問答系統(tǒng)中，若大量案例語料未區(qū)分“審理意見”與“最終判決”，模型可能將未采納的建議錯誤地作為法律依據(jù)，誤導用戶做出風險決策。
最后，數(shù)據(jù)集噪聲會在訓練生成式人工智能模型時產(chǎn)生誘導效應。無論是文本生成還是圖像合成，噪聲都可能成為“幻覺”的種子，催生出與事實背離、邏輯紊亂、常識斷裂的內容，損害系統(tǒng)的可信度以及用戶對于智能產(chǎn)品與服務的信任。特別是在更具倫理敏感度的應用領域中，如價值判斷、輿論引導或社會認知建構，那些隱匿于數(shù)據(jù)深處的極端、片面、扭曲之雜音，或將引導模型產(chǎn)生結構性偏見。例如，在招聘推薦或法庭量刑類模型中，歷史數(shù)據(jù)中潛藏的性別歧視、族群偏差等“舊偏見”若未經(jīng)治理，就可能在模型輸出中被“新包裝、再擴散”，強化原有的社會不公。類似地，在新聞生成場景中，若模型訓練中大量引用帶有情緒化或失實內容的自媒體文本，其輸出新聞不僅失準失實，還可能在關鍵事件中煽動誤解、誤導輿情，破壞公共認知生態(tài)。
歸根結底，數(shù)據(jù)集噪聲的危害不僅止步于模型性能的下滑，它更可能擾亂模型對“知識邊界”的判斷、對“行為預期”的塑造，乃至對“社會影響”的承擔路徑。數(shù)據(jù)治理的命題，早已從“有沒有”邁向“好不好”。而數(shù)據(jù)集噪聲，正成為智能時代最隱蔽卻最嚴峻的“數(shù)據(jù)污染”。
二、數(shù)據(jù)集噪聲治理：基本原理與核心技術
面對噪聲這一“數(shù)據(jù)深?！敝械碾[患礁石，當下的數(shù)據(jù)集治理已逐步建構起一條“識別-分析-修復”的技術閉環(huán)，其根本目標在于“澄沙汰礫”，還原語義本真，提升數(shù)據(jù)的純凈度、一致性與任務匹配力。具體而言，當前數(shù)據(jù)集噪聲治理的基本原理與核心技術主要包括以下幾類：
一是異常檢測與置信度評估機制。通過統(tǒng)計分布差異、語言模型評分（如基于困惑度（Perplexity）的異常過濾）與專家共識規(guī)則相結合，自動識別那些偏離語義主干、質量顯著異化的數(shù)據(jù)樣本，實現(xiàn)第一道“質檢”。在大規(guī)模語料清洗中，該類方法已成為提升基礎語義密度的關鍵工具。例如，在醫(yī)療問答數(shù)據(jù)集中，如果某條問題是“我腿疼要怎么退燒”，則語義出現(xiàn)明顯混亂，困惑度值較高，結合專家規(guī)則系統(tǒng)可將其判定為異常數(shù)據(jù)并剔除，從源頭避免模型學到邏輯矛盾的關聯(lián)模式。
二是多維標簽一致性分析技術。聚焦于標注數(shù)據(jù)的內在一致性，借助語義聚類、標簽對齊、冗余驗證等手段，識別主客觀分歧、誤標混標及標簽沖突，構建出一套多維交叉審查系統(tǒng)，補齊“標簽即認知”的質量短板。例如，同一類癥狀問題如“咳嗽發(fā)燒是否新冠”被不同標注員分別貼上“普通感冒”“新冠初期”“病毒性感染”等標簽，通過語義聚類和沖突分析發(fā)現(xiàn)標簽分歧較大，可觸發(fā)重新審核標注規(guī)則，提升標注統(tǒng)一性。
三是人機協(xié)同的主動修復機制。依托小樣本學習與交互式反饋設計，在模型對邊界樣本或高不確定性樣本作出初篩后，引入人類專家“點睛”把關。這一主動修復機制既能夠提高治理效率，也可以不斷反哺系統(tǒng)積累糾錯經(jīng)驗，從而實現(xiàn)“以治促學”的正向循環(huán)。例如，模型對于“喉嚨刺痛是否與胃反酸有關”這類復雜邊界問題無法確定標簽時，會將其標記為高不確定性樣本，推送給醫(yī)療專家判斷并修正標注，修復后的樣本可作為高質量參考，指導后續(xù)訓練。
四是面向噪聲容忍的魯棒建模策略。在模型結構設計層面引入標簽平滑、顯式噪聲建模網(wǎng)絡、記憶選擇機制等抗擾動策略，使模型在“與噪共舞”中保持學習穩(wěn)定性，為不可避免的少量噪聲設下彈性緩沖帶。例如，即使部分醫(yī)療問答數(shù)據(jù)標簽存在“感冒”與“流感”這類輕度混標，魯棒建模策略可通過標簽平滑技術降低誤差敏感度，以免導致模型輸出的劇烈偏移，從而穩(wěn)定模型對相近癥狀的診斷預測能力。
五是基于大模型的反向審查機制。以模型審校模型，利用大模型自身的語言理解與推理能力，反向評測訓練語料的邏輯性、常識性與價值合理性，構建提示詞（Prompt）驅動的數(shù)據(jù)反饋閉環(huán)，在自動監(jiān)督中實現(xiàn)語義回溯與質量自省。例如，調用大模型對已有醫(yī)療問答語料進行復檢，提示詞如“該回答是否合理且符合醫(yī)學常識？是否可能誤導病人？”通過對“胃痛可以通過喝碳酸飲料緩解”這類回答進行評判與標注，可發(fā)現(xiàn)其潛在的誤導性，并標記為需清洗樣本。
這些技術模塊既可作為“前置過濾器”獨立部署于數(shù)據(jù)預處理環(huán)節(jié)，也可深度融合進大模型的訓練與迭代流程，構建起從“數(shù)據(jù)清洗”到“結構優(yōu)化”再到“語義增強”的治理路線。它們共同織就一道“智能防護網(wǎng)”，在源頭篩沙、在過程中正軌、在輸出端糾偏，逐步夯實人工智能系統(tǒng)認知能力的基礎地層，為其穩(wěn)健成長與可持續(xù)演進注入堅實的“數(shù)據(jù)底座”與“語義養(yǎng)分”。
三、數(shù)據(jù)集噪聲削減：協(xié)同機制與生態(tài)體系
在大模型時代，數(shù)據(jù)集已不再是孤立資源，而是流動于標注方、模型方、平臺方、用戶側之間“共建共用”的基礎設施。數(shù)據(jù)集噪聲治理也因此從單點治理走向系統(tǒng)協(xié)同，從工具方法走向機制重構，正催生出一套由多方參與、層次分明、持續(xù)演化的治理生態(tài)。
其一，模型平臺與數(shù)據(jù)源平臺的協(xié)同耦合。數(shù)據(jù)質量不應只是模型的“輸入變量”，而應成為訓練過程中的“實時反饋因子”。例如，在醫(yī)療問答系統(tǒng)中，當模型多次在相似語料上生成錯誤答案，訓練平臺可自動識別這類數(shù)據(jù)為“潛在噪聲源”，并將其回寫至數(shù)據(jù)平臺，觸發(fā)樣本復核或標簽重審。數(shù)據(jù)平臺再將清洗后的數(shù)據(jù)回流至模型，構成“數(shù)據(jù)-模型雙向通路”，從而形成噪聲識別、反饋、優(yōu)化的閉環(huán)治理鏈條。這種耦合機制將能夠大幅提升模型對數(shù)據(jù)異常的自感知與自愈能力。
其二，標注社區(qū)與專業(yè)機構的多重審校。在處理價值敏感、高語義密度的數(shù)據(jù)場景時，如醫(yī)學診斷文本或病例對話數(shù)據(jù)，社區(qū)眾包雖能快速產(chǎn)出大批數(shù)據(jù)，但容易因醫(yī)學常識缺失而導致錯標、漏標。為此，當前部分醫(yī)學AI企業(yè)已采用“社區(qū)初標+醫(yī)生專家復審+自動異常檢測”的三級標注機制：社區(qū)完成首輪標注后，系統(tǒng)篩選出高不確定樣本交由專業(yè)醫(yī)生復核，并輔以模型評分機制進行異常校驗。這種“寬覆蓋+高可信”的組合，兼顧數(shù)據(jù)量與數(shù)據(jù)質，確保關鍵語義信息的準確性與穩(wěn)定性。
其三，數(shù)據(jù)治理與評估標準的體系聯(lián)動。只有標準化，才能規(guī)?；卫?。以醫(yī)療問答系統(tǒng)為例，在訓練數(shù)據(jù)集中設置癥狀-疾病-治療方案三元組的一致性規(guī)范、錯配樣本的容忍度閾值（如：允許5%模糊標簽誤差），以及回答內容的上下文連貫性評分規(guī)則，都是構建“數(shù)據(jù)集質量管理系統(tǒng)”的基礎。在此基礎上，還可引入國際認證標準（如HL7 FHIR、ICD-11等）作為標注和審核參考，推動從“經(jīng)驗治理”走向“制度化約束”，增強模型行為的穩(wěn)定性與可解釋性。
其四，技術工具與治理制度的雙輪驅動。噪聲治理既是技術問題，也關涉?zhèn)惱砼c信任議題。以醫(yī)療模型的訓練為例，底層可部署標簽平滑、偽標簽校驗、因果推理校驗器等算法工具，有效緩解噪聲樣本帶來的訓練擾動；同時，上層制度也要同步跟進，制定如“醫(yī)療信息采集紅線”“病患隱私屏蔽機制”等治理條款，規(guī)范數(shù)據(jù)的獲取、使用與再分發(fā)。通過軟硬聯(lián)動的機制設計，實現(xiàn)“既自動、又可信”的數(shù)據(jù)治理目標，提升整個AI系統(tǒng)的社會接受度與倫理合規(guī)性。
由此，數(shù)據(jù)噪聲治理將從“單點清洗”走向“系統(tǒng)體檢”，從“孤島作業(yè)”邁向“生態(tài)協(xié)同”，孕育出一個由開發(fā)者、標注者、審校者、平臺方和終端用戶共同參與的數(shù)據(jù)治理共同體。人工智能的發(fā)展如同一棵枝繁葉茂的樹，而數(shù)據(jù)，正是其賴以生長的土壤與水源。噪聲問題的長期存在，不僅拖慢了模型精度的爬坡進程，也悄然侵蝕著系統(tǒng)的認知邊界與價值判斷。當下，數(shù)據(jù)集噪聲治理已不再是“可有可無”的邊緣環(huán)節(jié)，而是攸關AI演進質量與社會影響的基礎工程。唯有在理念上由“數(shù)據(jù)獲取”走向“數(shù)據(jù)培育”，在方法上由“單點優(yōu)化”轉向“協(xié)同治理”，在機制上由“工具治理”躍升為“生態(tài)構建”，才能真正實現(xiàn)對數(shù)據(jù)集噪聲的前置發(fā)現(xiàn)、系統(tǒng)應對與動態(tài)凈化。
“澄沙汰礫而得金”，正是對數(shù)據(jù)集噪聲治理的最佳隱喻。它不是技術的附庸，而是智能演進的前提。在通向通用人工智能的道路上，每一份被清洗的語料、每一處被修復的標簽、每一次被遏止的“幻覺”，都是對“可信AI”的一次微小但堅實的推動，每一處噪聲的消除都是在拓展人機信任的疆域邊界。
基金項目：國家社會科學基金重點項目“基于數(shù)智融合的信息分析方法創(chuàng)新與應用”；國家檔案局科技項目“基于生成式人工智能的檔案數(shù)據(jù)化關鍵方法及其應用研究”。
致謝：感謝中國人民大學信息資源管理學院博士研究生王馳在本文完成過程中所提供的資料收集與整理支持。
