中國人民大學科學研究處、中國人民大學信息資源管理學院：錢明輝、楊建梁
在新一代人工智能加速演進的過程中，數(shù)據(jù)不再只是信息的原料，更成為驅(qū)動智能系統(tǒng)持續(xù)進化的“第一性資源”。如果算法構成了智能大腦的結構框架，那么數(shù)據(jù)則是決定其認知邊界與價值取向的核心要素。厘清數(shù)據(jù)與數(shù)據(jù)集之間的關系，明確不同類型數(shù)據(jù)集的結構特征與應用場景，并深刻認識其在模型訓練、系統(tǒng)部署和技術治理中的作用，已成為智能時代基礎能力體系構建的重要起點。從單點采集到結構組織，從模型輸入到系統(tǒng)輸出，數(shù)據(jù)的價值正在從底層積累中持續(xù)釋放，推動人工智能從感知智能向認知智能穩(wěn)步邁進。
相關閱讀：
數(shù)據(jù)萃取：“三高”數(shù)據(jù)集構建的點睛之筆
知識蒸餾與數(shù)據(jù)萃?。洪_發(fā)人工智能訓練所需的“動態(tài)食譜”與“黃金食材”
分布式數(shù)據(jù)集與聯(lián)邦學習：人工智能持續(xù)生長的協(xié)作之道
一、數(shù)據(jù)之內(nèi)涵：似曾相識的概念體系
在人工智能工程體系中，“數(shù)據(jù)”已不再是單一的信息元素，而是構成整個智能系統(tǒng)認知能力的基礎單元，其內(nèi)涵也演化為一套涵蓋采集、組織、建模、流通等多個層面的系統(tǒng)性術語體系。要實現(xiàn)對數(shù)據(jù)資產(chǎn)的高效構建與科學治理，首要任務是厘清與數(shù)據(jù)相關的一系列似是而非的概念，搭建起有邏輯、有層次的數(shù)據(jù)工程認知框架。
數(shù)據(jù)的生成始于對現(xiàn)實世界的感知，它通常來自傳感器、用戶輸入、網(wǎng)絡行為等等，是智能系統(tǒng)進行分析和推理的原始素材。數(shù)據(jù)源指的就是這些信息的獲取通道，既包括線下的物理設備，也涵蓋各種類型的線上系統(tǒng)和平臺。隨著數(shù)據(jù)的生成，元數(shù)據(jù)也隨之形成——它記錄了數(shù)據(jù)的屬性、格式、時間、來源等信息，是實現(xiàn)數(shù)據(jù)管理和追蹤的基礎性工具。
原始數(shù)據(jù)只有經(jīng)過組織和處理，才能真正為人工智能所用。數(shù)據(jù)集是在特定目標下，對數(shù)據(jù)進行清洗、標注與分類后形成的集合，是各類人工智能模型訓練和測試的基本資源。而數(shù)據(jù)庫則主要用于支持日常業(yè)務，強調(diào)結構化存儲與高效查詢，常用于實時交互與信息系統(tǒng)之中。相比之下，數(shù)據(jù)倉庫更偏向于戰(zhàn)略分析，它通過整合不同來源的數(shù)據(jù)，采取預先定義模式（Schema-on-Write）來展開固定分析，支撐企業(yè)級的長期決策。數(shù)據(jù)湖是集中存儲海量原始格式（結構化、半結構化、非結構化）數(shù)據(jù)的存儲系統(tǒng)，采取按需定義模式（Schema-on-Read），可以支持多樣分析場景。
為了讓系統(tǒng)“理解”這些數(shù)據(jù)，就需要構建邏輯結構。數(shù)據(jù)模型用于描述數(shù)據(jù)之間的關系，是數(shù)據(jù)庫、數(shù)據(jù)倉庫得以運行的底層設計。隨著數(shù)據(jù)資產(chǎn)的增長，數(shù)據(jù)目錄成為數(shù)據(jù)管理中的關鍵性工具，它就像“數(shù)據(jù)地圖”，幫助用戶快速檢索、調(diào)用與管理數(shù)據(jù)資源。
數(shù)據(jù)不僅需要存儲和建模，還要能在不同系統(tǒng)間高效流通。數(shù)據(jù)接口起到連接作用，確保各平臺間的數(shù)據(jù)交換順暢無阻。在網(wǎng)絡傳輸過程中，信息通常被打包為多個數(shù)據(jù)包進行傳輸，以提升傳輸效率與穩(wěn)定性。貫穿整個流程的數(shù)據(jù)流，則體現(xiàn)了數(shù)據(jù)從采集到應用的動態(tài)路徑，是實現(xiàn)實時處理與邊緣計算的核心機制。
伴隨著數(shù)據(jù)在生成、組織、管理與流通各環(huán)節(jié)中的角色不斷躍升，其本質(zhì)也從傳統(tǒng)信息資源逐步轉(zhuǎn)化為具有戰(zhàn)略價值的關鍵要素。數(shù)據(jù)資產(chǎn)的內(nèi)涵正是如此：它是企業(yè)或組織擁有或控制的、具備經(jīng)濟價值的數(shù)據(jù)資源，能夠通過算法分析、智能應用或市場交易等方式轉(zhuǎn)化為可度量的現(xiàn)實效益。與傳統(tǒng)資產(chǎn)相比，數(shù)據(jù)資產(chǎn)展現(xiàn)出可審計、可運營、可變現(xiàn)的獨特特征，不僅成為算法能力的輸入源，更是推動智能系統(tǒng)持續(xù)演進的“引擎”。
總的來說，這些概念共同構成了現(xiàn)代數(shù)據(jù)體系的技術底座。從數(shù)據(jù)的感知采集到系統(tǒng)中的組織、建模、傳輸與調(diào)度，每一個環(huán)節(jié)都不可或缺。它們不僅保障了人工智能系統(tǒng)的運行效率與決策能力，更為數(shù)據(jù)集的高質(zhì)量構建、規(guī)范管理與價值釋放奠定了堅實基礎，是推動AI系統(tǒng)實現(xiàn)從“算法驅(qū)動”走向“數(shù)據(jù)牽引”的關鍵支撐力量。
表1 數(shù)據(jù)相關概念解析
二、數(shù)據(jù)集類型：多元視角的分門別類
在人工智能應用日趨精細化與多元化的背景下，數(shù)據(jù)集的類型劃分早已超越“結構化與否”的傳統(tǒng)維度，轉(zhuǎn)而呈現(xiàn)出更加立體化的分類邏輯。理解不同類型數(shù)據(jù)集的特點與適用場景，不僅是高質(zhì)量數(shù)據(jù)工程的前提，也是在實際部署中實現(xiàn)人工智能模型精度與效率雙提升的關鍵。
從數(shù)據(jù)結構的組織方式來看，數(shù)據(jù)集可分為結構化、半結構化與非結構化三類。結構化數(shù)據(jù)集以嚴格對齊的二維表結構為核心（如關系型數(shù)據(jù)庫表、CSV文件），典型如金融交易流水表或企業(yè)訂單記錄，可直接通過SQL進行管理；半結構化數(shù)據(jù)集以動態(tài)標簽或鍵值對為核心（如JSON日志、XML配置文件），需解析嵌套字段（如使用Spark處理物聯(lián)網(wǎng)設備時序日志），適用于網(wǎng)頁爬取或靈活存儲場景；非結構化數(shù)據(jù)集則以無格式約束的原始文件為主體（如醫(yī)療影像、語音錄音、文本語料），依賴CV/NLP等技術提取特征（如ResNet處理圖像、BERT分析文本）。另外，在實際場景中時常存在多類型混合的形態(tài)，如自動駕駛數(shù)據(jù)集一般包含相互映射的結構化的和非結構化的數(shù)據(jù)。
按數(shù)據(jù)模態(tài)領域劃分，數(shù)據(jù)集可包括數(shù)值類、文本類、圖像類、音視頻類、空間數(shù)據(jù)類、圖結構類和多種模態(tài)混合類。數(shù)值類數(shù)據(jù)集是結構化數(shù)據(jù)的典型形式，通常來源于傳感器讀數(shù)、財務報表、用戶行為日志等，廣泛應用于金融風控、工業(yè)預測、醫(yī)療監(jiān)測等場景。例如，在智能電網(wǎng)系統(tǒng)中，通過歷史功率數(shù)據(jù)集可以實現(xiàn)對能源負荷的精確預測。文本數(shù)據(jù)集支撐自然語言處理任務，如情感分析、問答系統(tǒng)、法律文本生成，常見語料包括中文維基百科、司法判決文書。圖像數(shù)據(jù)集是計算機視覺的核心資源，多應用于醫(yī)學診斷、工業(yè)檢測、交通識別等領域，如COCO和ChestXray數(shù)據(jù)集。音視頻數(shù)據(jù)集用于訓練語音識別、多模態(tài)感知系統(tǒng)，如語音助手、視頻摘要等應用場景。地理空間數(shù)據(jù)集包含位置、軌跡與空間分布信息，是智慧城市、自動駕駛等系統(tǒng)的重要支撐，如遙感圖像、GPS路徑數(shù)據(jù)。圖結構數(shù)據(jù)集則以節(jié)點與邊表示實體關系，服務于知識圖譜、社交網(wǎng)絡、推薦系統(tǒng)等任務，是AI實現(xiàn)邏輯推理與關系理解的關鍵。此外，還有一些數(shù)據(jù)集是融合文本、圖像、音頻、視頻、結構化數(shù)據(jù)等的多模態(tài)混合類數(shù)據(jù)集，用于支撐復雜任務中的跨模態(tài)感知與理解，如視覺問答、圖文生成、人機對話等復合應用場景。這類數(shù)據(jù)集的建設不僅對數(shù)據(jù)融合技術提出挑戰(zhàn)，更成為推動大模型多模態(tài)能力突破的關鍵基石。
從時間特性來看，數(shù)據(jù)集可劃分為時序數(shù)據(jù)集與靜態(tài)數(shù)據(jù)集。其中，時序數(shù)據(jù)集強調(diào)時間連續(xù)性，適用于預測與動態(tài)建模，如傳感器監(jiān)控、股市行情、氣象變化等；靜態(tài)數(shù)據(jù)集則是由捕捉某一時點的信息快照構成，常用于圖像識別、人臉比對、城市建模等靜態(tài)任務。此外，依據(jù)人工智能模型訓練流程的不同階段，數(shù)據(jù)集還可分為訓練集、驗證集與測試集三類。訓練集用于模型學習和參數(shù)擬合，是模型能力形成的核心數(shù)據(jù)基礎；驗證集在訓練過程中用于參數(shù)調(diào)優(yōu)與性能監(jiān)控，幫助提升模型的泛化能力；測試集則承擔最終評估職責，用于檢驗模型在真實場景中的適應效果。三者共同構成AI模型從訓練到部署的閉環(huán)體系。
不難看出，數(shù)據(jù)集已從傳統(tǒng)的“數(shù)據(jù)集合”概念，演化為驅(qū)動人工智能系統(tǒng)構建、訓練、部署、進化的基礎性資源。無論是支撐AI模型能力提升，還是實現(xiàn)行業(yè)應用落地，選擇適配場景的數(shù)據(jù)集類型，構建科學合理的數(shù)據(jù)結構，都是人工智能工程中不可或缺的基礎環(huán)節(jié)。不同類型的數(shù)據(jù)集服務于不同的AI需求，其背后反映的是從數(shù)據(jù)原料到智能系統(tǒng)之間日益緊密的耦合關系。
三、數(shù)據(jù)集意義：人工智能的首要資源
數(shù)據(jù)集作為人工智能系統(tǒng)演化的基礎載體，其作用早已超越“訓練材料”的初級定位。數(shù)據(jù)集不僅是人工智能系統(tǒng)的輸入資源，更是其能力構建、價值表達與生態(tài)擴展的核心基礎。從模型學習到產(chǎn)業(yè)落地，從技術突破到治理進化，數(shù)據(jù)集的作用貫穿于人工智能發(fā)展的全鏈條，是推動當前人工智能技術范式持續(xù)演進的關鍵變量，其系統(tǒng)意義體現(xiàn)在以下五個層面：
一是支撐智能算法演進，構建AI模型能力的成長基座。數(shù)據(jù)集是人工智能模型從“零認知”走向“類智能”的第一步。質(zhì)量可靠、標注精確、覆蓋廣泛的數(shù)據(jù)樣本，為神經(jīng)網(wǎng)絡提供了充足的學習素材，使模型得以從基礎感知任務逐步跨越到復雜的語言理解、視覺推理與行為預測。同時，結構合理的數(shù)據(jù)集還能有效減少過擬合，提高模型的泛化能力，是保障算法穩(wěn)定性與可擴展性的核心抓手。
二是加速技術應用落地，提供系統(tǒng)適配現(xiàn)實的轉(zhuǎn)換接口。無論是語音助手、自動駕駛，還是醫(yī)療診斷、金融風控，人工智能的系統(tǒng)部署無一不依賴于高質(zhì)量、場景對齊的數(shù)據(jù)集作為輸入支撐。語音識別系統(tǒng)需要真實用戶口音語料，自動駕駛算法必須依托各類交通場景圖像進行泛化訓練，醫(yī)學輔助系統(tǒng)則高度依賴高分辨率影像與專家標注的病例信息。數(shù)據(jù)集不僅幫助算法理解現(xiàn)實，更是技術能否走出實驗室、服務實際場景的決定性因素。
三是連接科學技術產(chǎn)業(yè)（STI），構建持續(xù)協(xié)同創(chuàng)新的生態(tài)紐帶。標準化、開放化的數(shù)據(jù)集極大降低了算法研發(fā)門檻，使得企業(yè)可以快速驗證模型方案，研發(fā)機構也能借助真實世界數(shù)據(jù)開展落地研究。比如，SQuAD文本問答集、Kaggle平臺的產(chǎn)業(yè)數(shù)據(jù)集，都在推動AI生態(tài)系統(tǒng)”的跨界創(chuàng)新與人才成長方面發(fā)揮了深遠影響。同時，企業(yè)私有數(shù)據(jù)的專業(yè)深度與科研開放數(shù)據(jù)的通用廣度也形成了互補關系，共同構建了人工智能領域的“雙循環(huán)”創(chuàng)新機制。
四是保障系統(tǒng)公正可控，鑄就算法合規(guī)治理的技術前提。人工智能系統(tǒng)的價值輸出，最終取決于其背后的數(shù)據(jù)輸入。因此，構建多樣來源、結構透明、價值對齊的數(shù)據(jù)集，成為AI系統(tǒng)可持續(xù)演化的道德基礎與治理前提。例如，在司法文書生成、教育內(nèi)容推薦、金融風控評估等場景中，數(shù)據(jù)集是否涵蓋不同族群、文化背景與行為特征，將直接影響系統(tǒng)的公平性與可信度。標準化的數(shù)據(jù)質(zhì)量評估機制與數(shù)據(jù)脫敏處理流程，正在成為AI倫理提升與合規(guī)治理的重要抓手。
五是激發(fā)技術創(chuàng)新動能，成為智能瓶頸突破的高效燃料。高密度、高覆蓋的數(shù)據(jù)集不僅提升了模型訓練的效率，更孕育了眾多新的研究方向與方法變革。遷移學習、預訓練大模型、對比學習、數(shù)據(jù)蒸餾等新范式的誕生，背后都離不開經(jīng)過規(guī)范治理的大規(guī)模數(shù)據(jù)資源的支撐。反過來，模型能力的提升也能夠反向推動數(shù)據(jù)集建設從簡單積累轉(zhuǎn)向結構重塑，促成“模型與數(shù)據(jù)”雙向驅(qū)動的良性閉環(huán)。
“聚沙成塔”不僅是對數(shù)據(jù)量級的比喻，更是對認知演化過程的真實寫照。每一個精心構建的數(shù)據(jù)集，都是人類知識、經(jīng)驗價值的凝結體，是智能系統(tǒng)走向可信、可控、可持續(xù)的基礎單元。從感知、建模到?jīng)Q策，從單一任務到通用智能，從孤立工程到系統(tǒng)治理，一路走來，數(shù)據(jù)集的角色不斷被認識、被重塑、被強化，正在從人工智能開發(fā)的輔助工具躍升為智能體系進化的核心要素。當數(shù)據(jù)成為戰(zhàn)略資產(chǎn)，數(shù)據(jù)集的建設與治理將決定AI社會演化的軌跡與速度。唯有以系統(tǒng)性思維構建數(shù)據(jù)體系，持續(xù)提升價值對齊度、知識密集度與業(yè)務響應度，才能真正讓人工智能從“能用”走向“好用”，從“看得見”走向“信得過”。未來的AI塔尖，將由今天每一粒數(shù)據(jù)沙粒筑成。
基金項目：國家社會科學基金重點項目“基于數(shù)智融合的信息分析方法創(chuàng)新與應用”；國家檔案局科技項目“基于生成式人工智能的檔案數(shù)據(jù)化關鍵方法及其應用研究”。
致謝：感謝中國人民大學信息資源管理學院應芷安博士后在本文完成過程中所提供的資料收集與整理支持。
