編譯｜象先志
這篇文章基于 Dwarkesh Patel 與 Ilya Sutskever 的深度對話。
Ilya 是現(xiàn)代 AI 發(fā)展的關(guān)鍵人物，他是 Hinton 的學(xué)生，2012年發(fā)布的 AlexNet，是過去十幾年里人工智能浪潮的開始。
他也是 OpenAI 的聯(lián)合創(chuàng)始人，負(fù)責(zé) GPT 系列模型，并在2023年主導(dǎo)了董事會(huì)對 CEO Sam Altman 的突襲式罷免，且親自通知 Altman 被解職。
2024 年Ilya離開 OpenAI，創(chuàng)立SSI（Safe Superintelligence Inc.），繼續(xù)探索對“安全 AGI”的研究。
在這次訪談中，Ilya 深入探討了當(dāng)前 AI 模型的局限性、未來的技術(shù)路徑以及“安全超級智能”的真正含義。
核心觀點(diǎn)
本次對話的核心圍繞著“當(dāng)前 AI 的局限”與“通往超級智能的新路徑”展開。Ilya 認(rèn)為：
模型表現(xiàn)與實(shí)際能力的脫節(jié)： 當(dāng)前模型在評估測試（Evals）中得分極高，但在實(shí)際應(yīng)用中卻常犯低級錯(cuò)誤（如修復(fù) Bug 時(shí)引入新 Bug）。這是因?yàn)閺?qiáng)化學(xué)習(xí)（RL）被過度優(yōu)化用于“刷榜”，導(dǎo)致模型像一個(gè)只會(huì)做題的競賽選手，缺乏真正的“品位”和判斷力。
從擴(kuò)展到研究的范式轉(zhuǎn)移： 2012-2020 年是研究時(shí)代，2020-2025 年是擴(kuò)展時(shí)代?，F(xiàn)在，單純擴(kuò)大規(guī)模的邊際效應(yīng)遞減，我們需要回到“研究時(shí)代”，尋找新的數(shù)據(jù)配方和訓(xùn)練方法。
人類智能的秘密——價(jià)值函數(shù)： 人類之所以能通過極少的數(shù)據(jù)學(xué)會(huì)復(fù)雜技能（如駕駛），是因?yàn)槲覀儞碛袕?qiáng)大的內(nèi)部“價(jià)值函數(shù)”（即直覺和情感）。這指導(dǎo)我們在沒有明確外部獎(jiǎng)勵(lì)時(shí)也能自我糾正。這是 AI 目前缺失的關(guān)鍵。
超級智能的定義： 真正的超級智能不是一個(gè)存儲(chǔ)了所有知識的靜態(tài)系統(tǒng)，而是一個(gè)擁有極高樣本效率的“超級學(xué)習(xí)者”。它能像人類一樣通過少量接觸就掌握任何工作。
安全與對齊： 為了安全，我們必須逐步展示 AI 的力量以警醒世人。最終的目標(biāo)是構(gòu)建一個(gè)“關(guān)愛有感知生命”的 AI。
Takeaways
A. 為什么現(xiàn)在的模型看起來很“聰明”卻又很“笨”？
Ilya 提出了一個(gè)深刻的類比：“競技程序員 vs. 真正的開發(fā)者”。
? 現(xiàn)象： 模型在編程競賽題上表現(xiàn)超人，但在實(shí)際修 Bug 時(shí)卻往往陷入死循環(huán)。
? 原因： 預(yù)訓(xùn)練使用了所有數(shù)據(jù)，這很好；但強(qiáng)化學(xué)習(xí)（RL）需要人為選擇訓(xùn)練環(huán)境。為了讓模型在評估（Evals）中好看，研究人員無意中讓模型“過擬合”了考試題目。
? 結(jié)果： 模型像是一個(gè)練了 10,000 小時(shí)的競技編程選手，精通所有解題套路，但缺乏那個(gè)練了 100 小時(shí)卻擁有“靈性”和“品味”的學(xué)生的泛化能力。
B. 破解人類學(xué)習(xí)的奧秘：樣本效率與價(jià)值函數(shù)
人類學(xué)習(xí)效率遠(yuǎn)超 AI。青少年只需 10 小時(shí)就能學(xué)會(huì)開車，且無需成千上萬次的碰撞測試。Ilya 認(rèn)為這背后的關(guān)鍵在于：
? 進(jìn)化先驗(yàn)： 進(jìn)化給了我們視覺和運(yùn)動(dòng)的先驗(yàn)知識，但數(shù)學(xué)和編程是新事物，人類依然學(xué)得很快，說明這不僅是先驗(yàn)的問題，而是人類有更好的“機(jī)器學(xué)習(xí)算法”。
? 價(jià)值函數(shù)（Value Function）： 這是人類的核心優(yōu)勢。我們的情感和直覺構(gòu)成了強(qiáng)大的價(jià)值函數(shù)。當(dāng)我們搞砸時(shí)，不需要等到最終結(jié)果，我們內(nèi)心會(huì)立即感到“不對勁”并自我糾正。目前的 AI 缺乏這種內(nèi)在的、魯棒的價(jià)值評估機(jī)制。
C. SSI 的戰(zhàn)略：直通超級智能 vs. 逐步發(fā)布
Ilya 的思維在過去一年發(fā)生了轉(zhuǎn)變：
過去： 傾向于秘密研發(fā)，直到安全后再發(fā)布（直通模式）。現(xiàn)在： 傾向于逐步發(fā)布。因?yàn)?AGI 難以想象，只有讓公眾、政府和競爭對手親眼看到 AI 的強(qiáng)大力量，大家才會(huì)真正重視安全問題，從而形成一種“安全軍備競賽”的良性合作。目標(biāo)： 構(gòu)建一個(gè)能通過“持續(xù)學(xué)習(xí)”掌握經(jīng)濟(jì)中所有工作的系統(tǒng)。
D. 什么是“研究品味”？
作為 AI 領(lǐng)域的傳奇人物，Ilya 分享了他做研究的審美標(biāo)準(zhǔn)：正確地以人為鏡： 借鑒大腦的原理，但要區(qū)分“皮毛”（如大腦溝回）和“本質(zhì)”（如神經(jīng)元連接、從經(jīng)驗(yàn)中學(xué)習(xí)）。美與簡單： 好的理論容不下丑陋。必須同時(shí)具備美感、簡潔性、優(yōu)雅以及生物學(xué)上的合理性。自上而下的信念： 當(dāng)實(shí)驗(yàn)數(shù)據(jù)因 Bug 而失敗時(shí)，只有堅(jiān)定的“自上而下的信念”（相信這在原理上必須行得通）才能支撐研究者繼續(xù)尋找真相。
以下為播客原文：
Ilya Sutskever：你知道什么很瘋狂嗎？這一切都是真實(shí)的。
Dwarkesh Patel：指什么？
Ilya Sutskever：你不覺得嗎？所有這些 AI 的東西，所有灣區(qū)發(fā)生的事……它正在發(fā)生。這難道不像是科幻小說里的情節(jié)嗎？
Dwarkesh Patel：另一件瘋狂的事情是，“慢速起飛（slow takeoff）”的感覺是多么正常。以前覺得如果我們將 GDP 的 1% 投入到 AI 中，會(huì)感覺像是一件驚天動(dòng)地的大事，而現(xiàn)在感覺只是……
Ilya Sutskever：事實(shí)證明，我們適應(yīng)得很快。但也因?yàn)樗悬c(diǎn)抽象。這意味著什么呢？意味著你在新聞里看到某某公司宣布了某某金額的投資。你看到的僅此而已。到目前為止，還沒有以其他方式真正感受到它。
Dwarkesh Patel：我們應(yīng)該從這里開始嗎？我覺得這個(gè)討論很有意思。
Ilya Sutskever：當(dāng)然。
Dwarkesh Patel：我認(rèn)為你的觀點(diǎn)是，從普通人的角度來看，沒有什么太大的不同，即使到了“奇點(diǎn)（singularity）”，這一點(diǎn)也會(huì)繼續(xù)成立。
Ilya Sutskever：不，我不這么認(rèn)為。
Dwarkesh Patel：好的，這很有趣。
Ilya Sutskever：我指的“感覺沒什么不同”，是說某某公司宣布了一筆難以理解的巨額投資。我不認(rèn)為有人知道該怎么應(yīng)對這個(gè)消息。
但我認(rèn)為 AI 的影響將會(huì)被感受到。AI 將滲透到整個(gè)經(jīng)濟(jì)中。會(huì)有非常強(qiáng)大的經(jīng)濟(jì)力量推動(dòng)這一點(diǎn)，我認(rèn)為這種影響將會(huì)被非常強(qiáng)烈地感受到。
Dwarkesh Patel：你預(yù)計(jì)這種影響什么時(shí)候會(huì)出現(xiàn)？我覺得現(xiàn)在的模型看起來比它們產(chǎn)生的實(shí)際經(jīng)濟(jì)影響要聰明得多。
Ilya Sutskever：是的。這是目前關(guān)于模型最令人困惑的事情之一。如何調(diào)和它們在評估測試（evals）中表現(xiàn)如此出色這一事實(shí)？你看那些評估，你會(huì)想：“這些測試挺難的?！彼鼈冏龅煤芎?。但經(jīng)濟(jì)影響似乎大大滯后。這很難解釋，模型怎么能一方面做這些驚人的事情，另一方面又在某些情況下重復(fù)犯錯(cuò)？
舉個(gè)例子，假設(shè)你用“憑感覺寫代碼（vibe coding）”做點(diǎn)什么。你去某個(gè)地方，然后遇到了一個(gè) bug。你告訴模型：“請修復(fù)這個(gè) bug 好嗎？”模型說：“天哪，你太對了。我有個(gè) bug。讓我去修一下?！比缓笏肓说诙€(gè) bug。
然后你告訴它：“你有這個(gè)新的第二個(gè) bug，”它告訴你：“天哪，我怎么會(huì)這樣？你又對了，”然后它又把第一個(gè) bug 帶回來了，你就在這兩個(gè) bug 之間來回折騰。這怎么可能？我不確定，但這確實(shí)表明有一些奇怪的事情正在發(fā)生。
我有兩個(gè)可能的解釋。比較異想天開的解釋是，也許強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練讓模型變得有點(diǎn)過于一根筋和狹隘，有點(diǎn)過于無意識，盡管它也讓它們在其他方面變得有意識。正因?yàn)槿绱?，它們做不了基本的事情?/p>
但還有另一種解釋。回想人們做預(yù)訓(xùn)練（pre-training）的時(shí)候，“用什么數(shù)據(jù)訓(xùn)練”這個(gè)問題是有答案的，因?yàn)榇鸢甘恰八袛?shù)據(jù)”。當(dāng)你做預(yù)訓(xùn)練時(shí)，你需要所有的數(shù)據(jù)。所以你不必糾結(jié)是用這個(gè)數(shù)據(jù)還是那個(gè)數(shù)據(jù)。
但是當(dāng)人們做 RL 訓(xùn)練時(shí)，他們確實(shí)需要思考。他們說：“好的，我們要為這個(gè)東西做這種 RL 訓(xùn)練，為那個(gè)東西做那種 RL 訓(xùn)練?！睋?jù)我所知，所有公司都有團(tuán)隊(duì)專門生產(chǎn)新的 RL 環(huán)境并將其添加到訓(xùn)練組合中。問題是，那些是什么？自由度太高了。你可以生成的 RL 環(huán)境種類繁多。
你可以做的一件事——我認(rèn)為這是無意中發(fā)生的——是人們從評估測試（evals）中獲取靈感。你會(huì)說：“嘿，我希望我們的模型在發(fā)布時(shí)表現(xiàn)非常好。我想讓評估結(jié)果看起來很棒。什么樣的 RL 訓(xùn)練能在這個(gè)任務(wù)上有所幫助？”我認(rèn)為這種情況確實(shí)發(fā)生了，它可以解釋很多正在發(fā)生的事情。
如果你將此與“模型泛化能力實(shí)際上不足”結(jié)合起來，這就有可能解釋我們看到的很多現(xiàn)象，即評估性能與實(shí)際現(xiàn)實(shí)世界性能之間的脫節(jié)，甚至我們今天都不太理解這意味著什么。
Dwarkesh Patel：我喜歡這個(gè)觀點(diǎn)，即真正的“獎(jiǎng)勵(lì)黑客（reward hacking）”是那些過于關(guān)注評估的人類研究員。
我認(rèn)為有兩種方式來理解或思考你剛剛指出的問題。一種是，如果僅僅通過在編程競賽中變得超人，并不能自動(dòng)讓模型變得更有品味、更懂得如何判斷去改進(jìn)代碼庫，那么你就應(yīng)該擴(kuò)展環(huán)境套件，這樣你就不只是測試它在編程競賽中的表現(xiàn)。它還應(yīng)該能夠?yàn)?X、Y 或 Z 制作最好的應(yīng)用程序。
另一種，也許這就是你暗示的，是問：“為什么在編程競賽中成為超人，卻沒有讓你在更廣泛的意義上成為一個(gè)更有品味的程序員呢？”也許我們要做的不是不斷堆疊環(huán)境的數(shù)量和多樣性，而是找出一個(gè)方法，讓你能從一個(gè)環(huán)境中學(xué)習(xí)，并提高你在其他事情上的表現(xiàn)。
Ilya Sutskever：我有個(gè)關(guān)于人類的類比可能很有幫助。既然你提到了，我們以競技編程為例。假設(shè)有兩個(gè)學(xué)生。其中一個(gè)決定要成為最好的競技程序員，所以他們會(huì)在那個(gè)領(lǐng)域練習(xí) 10,000 小時(shí)。他們會(huì)解決所有問題，背誦所有證明技巧，并非常熟練地快速且正確地實(shí)現(xiàn)所有算法。通過這樣做，他們成為了最棒的人之一。
二號學(xué)生想，“哦，競技編程很酷。”也許他們只練習(xí)了 100 小時(shí)，少得多，但他們也做得很好。你認(rèn)為哪一個(gè)在以后的職業(yè)生涯中會(huì)做得更好？
Dwarkesh Patel：第二個(gè)。
Ilya Sutskever：對。我認(rèn)為這基本上就是正在發(fā)生的事情。模型更像第一個(gè)學(xué)生，甚至程度更甚。因?yàn)槲覀儠?huì)說，模型應(yīng)該擅長競技編程，所以讓我們把有史以來所有的競技編程問題都拿來。然后我們做一些數(shù)據(jù)增強(qiáng)，這樣我們就有更多的競技編程問題，我們在那上面訓(xùn)練?，F(xiàn)在你有了一個(gè)很棒的競技程序員。
用這個(gè)類比，我想就更直觀了。是的，好吧，如果它訓(xùn)練得那么好，所有不同的算法和所有不同的證明技巧都觸手可及。而且更直觀的是，有了這種程度的準(zhǔn)備，它不一定能泛化到其他事情上。
Dwarkesh Patel：但是，對于第二個(gè)學(xué)生在做那一兩百小時(shí)的微調(diào)（fine-tuning）之前在做什么，這有什么類比嗎？
Ilya Sutskever：我覺得他們有“那個(gè)感覺”（it）。那個(gè)“靈性”因素。當(dāng)我還是本科生的時(shí)候，我記得有個(gè)跟我一起學(xué)習(xí)的學(xué)生就是這樣，所以我知道這種人是存在的。
Dwarkesh Patel：我認(rèn)為區(qū)分“那個(gè)感覺”和預(yù)訓(xùn)練所做的事情很有趣。理解你剛才說的“不必在預(yù)訓(xùn)練中選擇數(shù)據(jù)”的一種方式是，這實(shí)際上與 10,000 小時(shí)的練習(xí)沒有什么不同。只是你是免費(fèi)獲得了那 10,000 小時(shí)的練習(xí)，因?yàn)樗呀?jīng)在預(yù)訓(xùn)練分布中的某個(gè)地方了。但也許你是在暗示，實(shí)際上從預(yù)訓(xùn)練中獲得的泛化并沒有那么多。預(yù)訓(xùn)練中有太多的數(shù)據(jù)，但它不一定比 RL 泛化得更好。
Ilya Sutskever：預(yù)訓(xùn)練的主要優(yōu)勢在于：A，量非常大；B，你不必費(fèi)盡心思去想把什么數(shù)據(jù)放入預(yù)訓(xùn)練中。它是非常自然的數(shù)據(jù)，它確實(shí)包含了人們做的很多事情：人們的思想和很多特征。它就像是人們投射在文本上的整個(gè)世界，預(yù)訓(xùn)練試圖利用海量數(shù)據(jù)來捕捉這一點(diǎn)。
預(yù)訓(xùn)練很難推理，因?yàn)楹茈y理解模型依賴預(yù)訓(xùn)練數(shù)據(jù)的方式。每當(dāng)模型犯錯(cuò)時(shí)，會(huì)不會(huì)是因?yàn)榕既辉陬A(yù)訓(xùn)練數(shù)據(jù)中沒有得到足夠的支持？“預(yù)訓(xùn)練支持”也許是一個(gè)寬松的術(shù)語。我不知道我是否能在這方面補(bǔ)充更多有用的東西。我不認(rèn)為預(yù)訓(xùn)練有人類模擬。
Dwarkesh Patel：有些人提出了關(guān)于人類類比預(yù)訓(xùn)練的設(shè)想。我很好奇你對它們?yōu)槭裁纯赡苁清e(cuò)的有什么看法。一種是把人生的前 18 年、15 年或 13 年看作預(yù)訓(xùn)練，那時(shí)候他們不一定有經(jīng)濟(jì)生產(chǎn)力，但他們在做一些讓他們更好地理解世界等等的事情。另一種是把進(jìn)化看作是進(jìn)行了 30 億年的某種搜索，然后產(chǎn)生了一個(gè)人類生命的實(shí)例。
我很好奇你是否認(rèn)為這其中任何一個(gè)類似于預(yù)訓(xùn)練。如果不是預(yù)訓(xùn)練，你會(huì)如何看待人類的終身學(xué)習(xí)？
Ilya Sutskever：我認(rèn)為這兩者與預(yù)訓(xùn)練都有一些相似之處，預(yù)訓(xùn)練試圖扮演這兩者的角色。但我認(rèn)為也有一些很大的不同。預(yù)訓(xùn)練數(shù)據(jù)的數(shù)量是非常非常驚人的。
Dwarkesh Patel：是的。
Ilya Sutskever：不知何故，一個(gè)人，即使過了 15 年，只接觸了預(yù)訓(xùn)練數(shù)據(jù)的一小部分，他們知道的要少得多。但無論他們知道什么，不知何故他們理解得更深。在這個(gè)年齡，你已經(jīng)不會(huì)犯我們的 AI 犯的那種錯(cuò)誤了。
還有一件事。你可能會(huì)說，這會(huì)不會(huì)像進(jìn)化？答案是也許。但在這種情況下，我認(rèn)為進(jìn)化實(shí)際上可能更有優(yōu)勢。我記得讀過這個(gè)案例。神經(jīng)科學(xué)家了解大腦的一種方式是研究大腦不同部位受損的人。有些人有你能想象到的最奇怪的癥狀。這實(shí)際上真的很有趣。
我想到了一個(gè)相關(guān)的案例。我讀到過一個(gè)人，有些腦損傷，中風(fēng)還是事故，破壞了他的情感處理能力。所以他不再感到任何情緒。他仍然非常善于表達(dá)，可以解決小謎題，在測試中他看起來很好。但他沒有任何感覺。他不覺得悲傷，不覺得憤怒，也不覺得興奮。不知何故，他變得極不擅長做任何決定。決定穿哪雙襪子要花他幾個(gè)小時(shí)。他會(huì)做出非常糟糕的財(cái)務(wù)決定。
這說明了我們內(nèi)置的情感在使我們成為一個(gè)可行的智能體（agent）方面扮演了什么角色？聯(lián)系到你關(guān)于預(yù)訓(xùn)練的問題，也許如果你足夠擅長從預(yù)訓(xùn)練中獲取所有東西，你也能得到那個(gè)。但這看起來像是那種……好吧，從預(yù)訓(xùn)練中獲得那個(gè)可能行，也可能不行。
Dwarkesh Patel：“那個(gè)”是什么？顯然不僅僅是直接的情感。它看起來幾乎像某種類似價(jià)值函數(shù)（value function）的東西，它告訴你任何決定的最終回報(bào)應(yīng)該是什么。你認(rèn)為這并不隱含地來自預(yù)訓(xùn)練嗎？
Ilya Sutskever：我認(rèn)為它可以。我只是說這不是 100% 顯而易見的。
Dwarkesh Patel：但那是什么？你如何看待情感？情感的機(jī)器學(xué)習(xí)（ML）類比是什么？
Ilya Sutskever：它應(yīng)該是某種價(jià)值函數(shù)的東西。但我不認(rèn)為有一個(gè)很好的 ML 類比，因?yàn)槟壳?，價(jià)值函數(shù)在人們做的事情中并沒有扮演非常突出的角色。
Dwarkesh Patel：如果你愿意的話，也許值得為聽眾定義一下什么是價(jià)值函數(shù)。
Ilya Sutskever：當(dāng)然，我很樂意這樣做。當(dāng)人們做強(qiáng)化學(xué)習(xí)時(shí)，現(xiàn)在的強(qiáng)化學(xué)習(xí)是怎么做的，人們?nèi)绾斡?xùn)練那些智能體（agents）？你有你的神經(jīng)網(wǎng)絡(luò)，你給它一個(gè)問題，然后你告訴模型，“去解決它。”模型采取也許數(shù)千、數(shù)十萬次行動(dòng)或思考或其他什么，然后它產(chǎn)生一個(gè)解決方案。解決方案被打分。
然后分?jǐn)?shù)被用來為你的軌跡中的每一個(gè)行動(dòng)提供訓(xùn)練信號。這意味著如果你做的事情需要很長時(shí)間——如果你在訓(xùn)練一個(gè)需要很長時(shí)間才能解決的任務(wù)——在你想出提議的解決方案之前，它根本不會(huì)進(jìn)行任何學(xué)習(xí)。這就是天真地做強(qiáng)化學(xué)習(xí)的方式。這就是 o1、R1 表面上的做法。
價(jià)值函數(shù)說的是類似這樣的話：“也許我可以有時(shí)候，不是總是，告訴你你做得是好是壞。”價(jià)值函數(shù)的概念在某些領(lǐng)域比其他領(lǐng)域更有用。例如，當(dāng)你下國際象棋丟了一個(gè)棋子，我搞砸了。你不需要下完整盤棋就知道我剛才做得很糟糕，因此之前的步驟也很糟糕。
價(jià)值函數(shù)讓你能夠縮短等到最后的等待時(shí)間。假設(shè)你在做某種數(shù)學(xué)或編程的事情，你試圖探索特定的解決方案或方向。在，比如說，思考了一千步之后，你得出結(jié)論這個(gè)方向是沒有希望的。一旦你得出這個(gè)結(jié)論，你就可以在一千個(gè)時(shí)間步之前，當(dāng)你決定沿著這條路走的時(shí)候，獲得一個(gè)獎(jiǎng)勵(lì)信號。你說，“下次在類似情況下我不應(yīng)該走這條路，”這比你實(shí)際想出提議的解決方案要早得多。
Dwarkesh Patel：這在 DeepSeek R1 的論文里提到過——軌跡的空間如此寬廣，也許很難學(xué)習(xí)從中間軌跡到價(jià)值的映射。而且考慮到，例如在編碼中，你會(huì)有一個(gè)錯(cuò)誤的想法，然后你會(huì)回去，然后你會(huì)改變一些東西。
Ilya Sutskever：這聽起來像是對深度學(xué)習(xí)缺乏信心。當(dāng)然這可能很難，但沒有什么深度學(xué)習(xí)做不到的。我的預(yù)期是價(jià)值函數(shù)應(yīng)該是有用的，我完全預(yù)計(jì)它們將在未來被使用，如果不是已經(jīng)被使用了的話。
我提到的那個(gè)情感中樞受損的人，我想暗示的是，也許這表明人類的價(jià)值函數(shù)在某種重要的方式上受到情感的調(diào)節(jié)，這種調(diào)節(jié)是由進(jìn)化硬編碼的。也許這對人們在世界上有效運(yùn)作很重要。
Dwarkesh Patel：這正是我打算問你的事情。關(guān)于價(jià)值函數(shù)的情感有一些非常有趣的地方，那就是令人印象深刻的是它們有如此大的效用，同時(shí)又相當(dāng)容易理解。
Ilya Sutskever：我有兩個(gè)回應(yīng)。我確實(shí)同意，與我們學(xué)到的東西和我們要討論的 AI 類型相比，情感相對簡單。它們甚至可能簡單到也許你可以用人類可理解的方式把它們描繪出來。我認(rèn)為那樣做會(huì)很酷。
不過在效用方面，我認(rèn)為存在一種復(fù)雜性與魯棒性（robustness）的權(quán)衡，復(fù)雜的東西可能非常有用，但簡單的東西在非常廣泛的情況下非常有用。解釋我們所見現(xiàn)象的一種方式是，我們擁有這些主要從哺乳動(dòng)物祖先那里進(jìn)化而來的情感，并在我們成為原始人類時(shí)進(jìn)行了一點(diǎn)點(diǎn)微調(diào)，只是一點(diǎn)點(diǎn)。我們確實(shí)擁有相當(dāng)數(shù)量的社會(huì)情感，這是哺乳動(dòng)物可能缺乏的。但它們不是很復(fù)雜。正因?yàn)樗鼈儾粡?fù)雜，在這個(gè)與我們一直生活的世界截然不同的世界里，它們依然很好地服務(wù)著我們。
實(shí)際上，它們也會(huì)犯錯(cuò)。例如，我們的情感……其實(shí)，我不知道。饑餓算是一種情感嗎？這有爭議。但我認(rèn)為，例如，在這個(gè)食物充足的世界里，我們直覺上的饑餓感并沒有成功地正確引導(dǎo)我們。
Dwarkesh Patel：人們一直在談?wù)摂U(kuò)展（scaling）數(shù)據(jù)、擴(kuò)展參數(shù)、擴(kuò)展計(jì)算。有沒有更通用的方式來思考擴(kuò)展？其他的擴(kuò)展軸是什么？
Ilya Sutskever：這是一個(gè)我認(rèn)為可能是正確的視角。過去機(jī)器學(xué)習(xí)的工作方式是，人們只是修修補(bǔ)補(bǔ)，試圖得到有趣的結(jié)果。這就是過去一直在發(fā)生的事情。
然后擴(kuò)展的洞察力到來了。擴(kuò)展定律（Scaling laws），GPT-3，突然每個(gè)人都意識到我們應(yīng)該擴(kuò)展。這是語言如何影響思想的一個(gè)例子。“Scaling（擴(kuò)展）”只是一個(gè)詞，但它是一個(gè)如此強(qiáng)大的詞，因?yàn)樗嬖V人們該做什么。他們說，“讓我們嘗試擴(kuò)展事物。”所以你會(huì)問，我們在擴(kuò)展什么？預(yù)訓(xùn)練是要擴(kuò)展的東西。這是一個(gè)特定的擴(kuò)展配方。
預(yù)訓(xùn)練的巨大突破在于意識到這個(gè)配方是好的。你會(huì)說，“嘿，如果你把一些算力和一些數(shù)據(jù)混合進(jìn)一個(gè)特定大小的神經(jīng)網(wǎng)絡(luò)，你會(huì)得到結(jié)果。你會(huì)知道如果你只是按比例放大配方，你會(huì)變得更好?！边@也很好。公司喜歡這個(gè)，因?yàn)樗鼮槟闾峁┝艘环N非常低風(fēng)險(xiǎn)的資源投資方式。把資源投入到研究中要難得多。與之相比，如果你做研究，你需要像，“去吧研究人員，去做研究并想出點(diǎn)什么來”，對比“獲取更多數(shù)據(jù)，獲取更多算力”。你知道你會(huì)從預(yù)訓(xùn)練中得到東西。確實(shí)，根據(jù)有些人在推特上說的各種事情，看起來 Gemini 似乎找到了一種從預(yù)訓(xùn)練中獲得更多的方法。但在某個(gè)時(shí)候，預(yù)訓(xùn)練的數(shù)據(jù)會(huì)用完。數(shù)據(jù)顯然是有限的。接下來你做什么？要么你做某種增強(qiáng)版的預(yù)訓(xùn)練，一種與你以前做的不同的配方，要么你做 RL，或者也許是其他東西。但現(xiàn)在算力很大，算力現(xiàn)在非常大，從某種意義上說，我們回到了研究時(shí)代。
也許換一種說法。直到 2020 年，從 2012 年到 2020 年，那是研究時(shí)代?，F(xiàn)在，從 2020 年到 2025 年，那是擴(kuò)展時(shí)代（age of scaling）——也許加上誤差條，讓我們給這些年份加上誤差條——因?yàn)槿藗冋f，“這太驚人了。你必須擴(kuò)展更多。繼續(xù)擴(kuò)展?！边@一個(gè)詞：擴(kuò)展。
但現(xiàn)在規(guī)模太大了。真的相信“哦，它這么大，但如果你有 100 倍以上，一切都會(huì)如此不同”嗎？肯定會(huì)有所不同。但相信只要你把規(guī)模擴(kuò)大 100 倍，一切都會(huì)發(fā)生質(zhì)變嗎？我不認(rèn)為那是真的。所以這又回到了研究時(shí)代，只是有了大電腦。
Dwarkesh Patel：這是一種非常有趣的說法。但讓我問你剛才提出的問題。我們在擴(kuò)展什么，擁有一個(gè)配方意味著什么？我想我沒有意識到預(yù)訓(xùn)練中存在一種非常清晰的、幾乎看起來像物理定律的關(guān)系。在數(shù)據(jù)或計(jì)算或參數(shù)與損失（loss）之間存在冪律關(guān)系。我們應(yīng)該尋求什么樣的關(guān)系，我們應(yīng)該如何思考這個(gè)新配方可能是什么樣子的？
Ilya Sutskever：我們已經(jīng)目睹了從一種類型的擴(kuò)展到另一種類型的擴(kuò)展的轉(zhuǎn)變，從預(yù)訓(xùn)練到 RL。現(xiàn)在人們正在擴(kuò)展 RL。根據(jù)人們在推特上所說的，目前他們在 RL 上花費(fèi)的算力比在預(yù)訓(xùn)練上花費(fèi)的還要多，因?yàn)?RL 實(shí)際上可以消耗相當(dāng)多的算力。你做非常長的展開（rollouts），所以產(chǎn)生這些展開需要大量的算力。然后你從每個(gè)展開中獲得的學(xué)習(xí)量相對較少，所以你真的可以花費(fèi)大量的算力。
我甚至不會(huì)稱之為擴(kuò)展。我會(huì)說，“嘿，你在做什么？你正在做的事情是你所能做的最高效的事情嗎？你能找到一種更高效的方式來使用你的算力嗎？”我們之前討論過價(jià)值函數(shù)的事情。也許一旦人們擅長價(jià)值函數(shù)，他們將更有效地利用資源。如果你找到另一種完全不同的訓(xùn)練模型的方法，你可以說，“這是擴(kuò)展還是僅僅是在使用你的資源？”我認(rèn)為這變得有點(diǎn)模棱兩可。
在這個(gè)意義上，當(dāng)人們在那時(shí)的研究時(shí)代，是“讓我們試試這個(gè)和這個(gè)和這個(gè)。讓我們試試那個(gè)和那個(gè)和那個(gè)。哦，看，有趣的事情正在發(fā)生?！蔽艺J(rèn)為將會(huì)有對此的回歸。
Dwarkesh Patel：如果我們回到了研究時(shí)代，退一步說，我們需要思考最多的配方部分是什么？當(dāng)你說價(jià)值函數(shù)時(shí)，人們已經(jīng)在嘗試當(dāng)前的配方，然后有 LLM-as-a-Judge（大模型作為裁判）等等。你可以說那是價(jià)值函數(shù)，但聽起來你有更基本的東西在腦海里。我們甚至應(yīng)該重新思考預(yù)訓(xùn)練，而不僅僅是在那個(gè)過程的末尾添加更多步驟嗎？
Ilya Sutskever：關(guān)于價(jià)值函數(shù)的討論，我認(rèn)為很有趣。我想強(qiáng)調(diào)，我認(rèn)為價(jià)值函數(shù)會(huì)讓 RL 更有效率，我認(rèn)為這會(huì)有所不同。但我認(rèn)為任何你可以用價(jià)值函數(shù)做的事情，你不用它也可以做，只是更慢。我認(rèn)為最根本的事情是，這些模型不知何故泛化能力比人差得多。這超級明顯。這似乎是一件非常根本的事情。
Dwarkesh Patel：所以這是關(guān)鍵：泛化（generalization）。有兩個(gè)子問題。一個(gè)是關(guān)于樣本效率（sample efficiency）：為什么這些模型學(xué)習(xí)需要的數(shù)據(jù)比人類多那么多？還有第二個(gè)問題。即使拋開所需的數(shù)量不談，為什么教模型我們想要的東西比教人類要難得多？對于人類，我們不一定需要一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)才能……你現(xiàn)在可能正在指導(dǎo)一群研究人員，你在和他們交談，你在給他們看你的代碼，你在向他們展示你是如何思考的。
從中，他們學(xué)到了你的思維方式以及他們應(yīng)該如何做研究。
你不需要為他們設(shè)定一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)，比如，“好的，這是課程的下一部分，現(xiàn)在這是你課程的下一部分。哦，這次訓(xùn)練不穩(wěn)定。”沒有這種笨重、定制的過程。也許這兩個(gè)問題實(shí)際上在某種程度上是相關(guān)的，但我很好奇探索這第二個(gè)東西，它更像是持續(xù)學(xué)習(xí)（continual learning），而第一個(gè)東西感覺就像是樣本效率。
Ilya Sutskever：你可能會(huì)想，對于人類樣本效率的一個(gè)可能的解釋是進(jìn)化。進(jìn)化給了我們少量最有用信息。對于像視覺、聽覺和運(yùn)動(dòng)這樣的東西，我認(rèn)為有很強(qiáng)的理由證明進(jìn)化給了我們很多。
例如，人類的靈巧度遠(yuǎn)遠(yuǎn)超過……我的意思是，如果你在模擬中對機(jī)器人進(jìn)行大量的訓(xùn)練，它們也可以變得靈巧。但在現(xiàn)實(shí)世界中訓(xùn)練機(jī)器人像人一樣快速掌握一項(xiàng)新技能似乎遙不可及。在這里你可以說，“哦是的，運(yùn)動(dòng)。我們所有的祖先都需要很好的運(yùn)動(dòng)能力，松鼠。所以對于運(yùn)動(dòng)，也許我們有一些難以置信的先驗(yàn)（prior）?！?/p>
你可以對視覺提出同樣的觀點(diǎn)。我相信 Yann LeCun 提出過一個(gè)觀點(diǎn)，孩子們在練習(xí) 10 小時(shí)后就學(xué)會(huì)了開車，這是真的。但我們的視覺太好了。至少對我來說，我記得自己五歲的時(shí)候。那時(shí)我對汽車非常興奮。我很確定作為五歲小孩，我的汽車識別能力對于駕駛來說已經(jīng)綽綽有余了。作為一個(gè)五歲小孩，你看不到那么多數(shù)據(jù)。你大部分時(shí)間都待在父母的房子里，所以你的數(shù)據(jù)多樣性非常低。
但你可以說也許那是進(jìn)化。但在語言、數(shù)學(xué)和編程方面，可能不是。
Dwarkesh Patel：這似乎仍然比模型好。顯然，模型在語言、數(shù)學(xué)和編程方面比普通人好。但它們在學(xué)習(xí)方面比普通人好嗎？
Ilya Sutskever：哦是的。哦是的，絕對的。我想說的是，語言、數(shù)學(xué)和編程——尤其是數(shù)學(xué)和編程——表明，無論是什么讓人類善于學(xué)習(xí)，可能都不太像是一個(gè)復(fù)雜的先驗(yàn)，而是某種更多的、某種根本性的東西。
Dwarkesh Patel：我不確定我理解了。為什么會(huì)這樣？
Ilya Sutskever：考慮一項(xiàng)人們表現(xiàn)出某種巨大可靠性的技能。如果這項(xiàng)技能對我們的祖先來說在數(shù)百萬年、數(shù)億年里非常有用，你可以爭辯說也許人類擅長它是因?yàn)檫M(jìn)化，因?yàn)槲覀冇幸粋€(gè)先驗(yàn)，一個(gè)以某種非常不明顯的方式編碼的進(jìn)化先驗(yàn)，不知何故讓我們?nèi)绱松瞄L它。
但如果人們在一個(gè)直到最近才存在的領(lǐng)域表現(xiàn)出巨大的能力、可靠性、魯棒性和學(xué)習(xí)能力，那么這更多地表明人們可能只是擁有更好的機(jī)器學(xué)習(xí)，就這樣。
Dwarkesh Patel：我們應(yīng)該如何思考那是什么？ML 的類比是什么？這有幾個(gè)有趣的地方。它需要更少的樣本。它更是無監(jiān)督的。一個(gè)學(xué)習(xí)開車的孩子……孩子們不是在學(xué)開車。一個(gè)學(xué)習(xí)如何開車的青少年并沒有完全得到某種預(yù)先建立的、可驗(yàn)證的獎(jiǎng)勵(lì)。它來自于他們與機(jī)器和環(huán)境的互動(dòng)。它需要少得多的樣本。它看起來更無監(jiān)督。它看起來更魯棒？
Ilya Sutskever：魯棒得多。人的魯棒性真是驚人。
Dwarkesh Patel：你有沒有一種統(tǒng)一的方式來思考為什么所有這些事情同時(shí)發(fā)生？能夠?qū)崿F(xiàn)類似這種事情的 ML 類比是什么？
Ilya Sutskever：你一直問的一件事是，青少年司機(jī)如何在沒有外部老師的情況下自我糾正并從經(jīng)驗(yàn)中學(xué)習(xí)？答案是他們有他們的價(jià)值函數(shù)。他們有一種一般的感覺，順便說一句，這種感覺在人身上也非常魯棒。無論人類的價(jià)值函數(shù)是什么，除了一些關(guān)于成癮的例外，它實(shí)際上是非常非常魯棒的。
所以對于像正在學(xué)習(xí)駕駛的青少年來說，他們開始駕駛，他們立即就有了一種感覺，關(guān)于他們駕駛得怎么樣，有多糟糕，有多不自信。然后他們看到，“好的?！比缓螅?dāng)然，任何青少年的學(xué)習(xí)速度都是如此之快。10 小時(shí)后，你就可以上路了。
Dwarkesh Patel：看起來人類有一些解決方案，但我很好奇他們是怎么做到的，為什么這么難？我們需要如何重新概念化我們訓(xùn)練模型的方式，以使這種事情成為可能？
Ilya Sutskever：這是一個(gè)很好的問題，也是一個(gè)我有很多觀點(diǎn)的問題。但不幸的是，我們生活在一個(gè)并非所有機(jī)器學(xué)習(xí)想法都能自由討論的世界，這就是其中之一。可能有一種方法可以做到。我認(rèn)為這是可以做到的。人們是那樣的這一事實(shí)，我認(rèn)為這就證明了它是可以做到的。
不過可能還有另一個(gè)阻礙，那就是人類神經(jīng)元做的計(jì)算可能比我們要多。如果那是真的，并且如果那起著重要作用，那么事情可能會(huì)更困難。但無論如何，我確實(shí)認(rèn)為它指向了某種機(jī)器學(xué)習(xí)原則的存在，對此我有自己的看法。但不幸的是，環(huán)境使得很難詳細(xì)討論。
Dwarkesh Patel：沒人聽這個(gè)播客，Ilya。
Dwarkesh Patel：我很好奇。如果你說我們要回到研究時(shí)代，你從 2012 年到 2020 年都在那里。如果我們回到研究時(shí)代，現(xiàn)在的氛圍會(huì)是什么樣的？
例如，即使在 AlexNet 之后，用于運(yùn)行實(shí)驗(yàn)的算力也在不斷增加，前沿系統(tǒng)的規(guī)模也在不斷增加。你認(rèn)為現(xiàn)在這個(gè)研究時(shí)代仍然需要巨大的算力嗎？你認(rèn)為這需要回到檔案室去讀舊論文嗎？當(dāng)研究氛圍更濃厚的時(shí)候，你在 Google、OpenAI 和斯坦福這些地方。我們應(yīng)該在社區(qū)中期待什么樣的事情？
Ilya Sutskever：擴(kuò)展時(shí)代的一個(gè)后果是，擴(kuò)展吸走了房間里所有的空氣。因?yàn)閿U(kuò)展吸走了所有的空氣，每個(gè)人都開始做同樣的事情。我們到了這樣一個(gè)地步，世界上的公司比想法多得多。實(shí)際上關(guān)于這一點(diǎn)，硅谷有句俗話說，想法很廉價(jià)，執(zhí)行才是一切。人們經(jīng)常這么說，這也有道理。但我看到有人在推特上說，“如果想法這么廉價(jià)，為什么沒人有任何想法？”我認(rèn)為這也是真的。
如果你從瓶頸的角度思考研究進(jìn)展，有幾個(gè)瓶頸。其中一個(gè)是想法，另一個(gè)是你將它們變?yōu)楝F(xiàn)實(shí)的能力，這可能是算力，也可能是工程。如果你回到 90 年代，假設(shè)那時(shí)候有些人有很好的想法，如果他們有更大的計(jì)算機(jī)，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個(gè)非常非常小的演示，無法說服任何人。所以瓶頸是算力。
然后在擴(kuò)展時(shí)代，算力增加了很多。當(dāng)然，有一個(gè)問題是需要多少算力，但算力很大。算力大到足以證明某種想法不需要那么多額外的算力這一點(diǎn)并不明顯。我給你一個(gè)類比。AlexNet 是建立在兩個(gè) GPU 上的。那是用于它的總算力。Transformer 是建立在 8 到 64 個(gè) GPU 上的。沒有任何單一的 Transformer 論文實(shí)驗(yàn)使用了超過 2017 年的 64 個(gè) GPU，那大概相當(dāng)于今天的兩個(gè) GPU？ResNet，對吧？你可以爭辯說 o1 推理并不是世界上最耗費(fèi)算力的事情。
所以對于研究，你肯定需要一定量的算力，但遠(yuǎn)不明顯你需要絕對最大量的算力來進(jìn)行研究。你可能會(huì)爭辯，我也認(rèn)為是真的，如果你想建立絕對最好的系統(tǒng)，那么擁有更多的算力是有幫助的。特別是如果每個(gè)人都在同一個(gè)范式內(nèi)，那么算力就成了巨大的區(qū)分因素之一。
Dwarkesh Patel：我在問你歷史，因?yàn)槟惝?dāng)時(shí)真的在那里。我不確定實(shí)際上發(fā)生了什么。聽起來使用最少量的算力來開發(fā)這些想法是可能的。但 Transformer 并沒有立即成名。它變成了每個(gè)人開始做的事情，然后開始在它之上進(jìn)行實(shí)驗(yàn)并建立，因?yàn)樗谠絹碓礁叩乃懔λ缴系玫搅蓑?yàn)證。
Ilya Sutskever：正確。
Dwarkesh Patel：如果你在 SSI（Safe Superintelligence Inc.）有 50 個(gè)不同的想法，如果沒有其他前沿實(shí)驗(yàn)室擁有的那種算力，你怎么知道哪一個(gè)是下一個(gè) Transformer，哪一個(gè)是脆弱的？
Ilya Sutskever：我可以對此發(fā)表評論。簡短的評論是，你提到了 SSI。具體對我們來說，SSI 用于研究的算力真的不小。我想解釋為什么。簡單的數(shù)學(xué)可以解釋為什么我們要用于研究的算力比人們想象的要多。我解釋一下。
SSI 籌集了 30 億美元，從任何絕對意義上來說這都是很多。但你可以說，“看看其他籌集更多資金的公司。”但他們的大量算力用于推理（inference）。這些大數(shù)字，這些大額貸款，是專門用于推理的。那是第一點(diǎn)。第二，如果你想擁有一個(gè)可以進(jìn)行推理的產(chǎn)品，你需要有大量的工程師、銷售人員。大量的研究需要致力于生產(chǎn)各種與產(chǎn)品相關(guān)的功能。所以當(dāng)你看看實(shí)際上剩下多少用于研究時(shí)，差距就變得小得多了。
另一件事是，如果你在做不同的事情，你真的需要絕對最大的規(guī)模來證明它嗎？我不認(rèn)為那是真的。我認(rèn)為在我們的案例中，我們要有足夠的算力來證明，說服我們自己和其他任何人，我們正在做的事情是正確的。
Dwarkesh Patel：公開估計(jì)像 OpenAI 這樣的公司目前每年僅在實(shí)驗(yàn)上就花費(fèi)大約 50-60 億美元。這與他們在推理等方面花費(fèi)的資金是分開的。所以看起來他們每年運(yùn)行研究實(shí)驗(yàn)的花費(fèi)比你們的總資金還要多。
Ilya Sutskever：我認(rèn)為這是一個(gè)關(guān)于你怎么用它的問題。這是一個(gè)關(guān)于你怎么用它的問題。在他們的情況下，在其他人的情況下，對訓(xùn)練算力有更多的需求。有更多不同的工作流，有不同的模態(tài)，只是有更多的東西。所以它變得碎片化了。
Dwarkesh Patel：SSI 將如何賺錢？
Ilya Sutskever：我對這個(gè)問題的回答是這樣的。目前，我們只專注于研究，然后那個(gè)問題的答案會(huì)自己顯現(xiàn)出來。我認(rèn)為會(huì)有很多可能的答案。
Dwarkesh Patel：SSI 的計(jì)劃仍然是直通超級智能（straight shot superintelligence）嗎？
Ilya Sutskever：也許。我認(rèn)為這有其優(yōu)點(diǎn)。我認(rèn)為這有很多優(yōu)點(diǎn)，因?yàn)椴皇苋粘Ｊ袌龈偁幍挠绊懛浅：谩５艺J(rèn)為有兩個(gè)原因可能會(huì)導(dǎo)致我們改變計(jì)劃。一個(gè)是務(wù)實(shí)的，如果時(shí)間線變得很長，這有可能。第二，我認(rèn)為最好、最強(qiáng)大的 AI 存在于外界并影響世界有很大的價(jià)值。我認(rèn)為這是一件有意義且有價(jià)值的事情。
Dwarkesh Patel：那么為什么你的默認(rèn)計(jì)劃是直通超級智能？因?yàn)槁犉饋?OpenAI、Anthropic，所有這些其他公司，他們明確的想法是，“看，我們有越來越弱的智能，公眾可以習(xí)慣并為此做好準(zhǔn)備?！睘槭裁粗苯咏⒊壷悄芸赡芨茫?/p>
Ilya Sutskever：我會(huì)提出支持和反對的理由。支持的理由是，人們在市場中面臨的挑戰(zhàn)之一是他們必須參與激烈的競爭（rat race）。激烈的競爭非常困難，因?yàn)樗屇忝媾R你需要做出的艱難權(quán)衡。說“我們將把自己與所有這些隔離開來，只專注于研究，直到我們準(zhǔn)備好了才出來，而不是在此之前”是很好的。但反駁也是有效的，這些是相反的力量。反駁是，“嘿，讓世界看到強(qiáng)大的 AI 是有用的。讓世界看到強(qiáng)大的 AI 是有用的，因?yàn)槟鞘悄隳軌騻鬟_(dá)它的唯一方式。”
Dwarkesh Patel：好吧，我想不僅僅是可以傳達(dá)這個(gè)想法——
Ilya Sutskever：傳達(dá) AI，不是想法。傳達(dá) AI。
Dwarkesh Patel：你是說“傳達(dá) AI”是什么意思？
Ilya Sutskever：假設(shè)你寫了一篇關(guān)于 AI 的文章，文章說，“AI 將會(huì)是這樣，AI 將會(huì)是那樣，它將會(huì)是這個(gè)。”你讀了它，你說，“好的，這是一篇有趣的文章?！爆F(xiàn)在假設(shè)你看到一個(gè) AI 做這個(gè)，一個(gè) AI 做那個(gè)。這是無法比較的?；旧衔艺J(rèn)為 AI 出現(xiàn)在公眾視野中有很大的好處，這將是我們不完全“直通”的一個(gè)理由。
Dwarkesh Patel：我想甚至不僅僅是那個(gè)，但我確實(shí)認(rèn)為那是其中重要的一部分。另一件大事是，我想不出人類工程和研究中的另一門學(xué)科，其最終產(chǎn)物主要是通過思考如何使其安全來變得更安全的，這與為什么今天每英里的飛機(jī)墜毀率比幾十年前低得多形成對比。為什么在 Linux 中找 bug 比幾十年前難得多？我認(rèn)為這主要是因?yàn)檫@些系統(tǒng)被部署到了世界上。你注意到了故障，這些故障被糾正了，系統(tǒng)變得更魯棒。
我不確定為什么 AGI 和超人智能會(huì)有什么不同，尤其是考慮到——我希望我們要談到這個(gè)——似乎超級智能的危害不僅僅是關(guān)于有一個(gè)惡意的回形針制造者（malevolent paper clipper）。而是一個(gè)真正強(qiáng)大的東西，我們甚至不知道如何概念化人們?nèi)绾闻c它互動(dòng)，人們會(huì)用它做什么。逐步接觸它似乎是分散其影響并幫助人們?yōu)榇俗龊脺?zhǔn)備的更好方式。
Ilya Sutskever：在這個(gè)點(diǎn)上，即使在直通方案中，你仍然會(huì)逐步發(fā)布它，我是這么設(shè)想的。漸進(jìn)主義將是任何計(jì)劃的固有組成部分。只是問題在于你推出的第一個(gè)東西是什么。那是第一點(diǎn)。
第二，我相信你比其他人更提倡持續(xù)學(xué)習(xí)（continual learning），而且實(shí)際上我認(rèn)為這是一件重要且正確的事情。原因如下。我要給你另一個(gè)例子說明語言如何影響思維。在這種情況下，我認(rèn)為有兩個(gè)詞塑造了每個(gè)人的思維。第一個(gè)詞：AGI（通用人工智能）。第二個(gè)詞：預(yù)訓(xùn)練（pre-training）。讓我解釋一下。
AGI 這個(gè)術(shù)語，為什么存在？這是一個(gè)非常特別的術(shù)語。為什么它存在？有一個(gè)原因。在我看來，AGI 這個(gè)術(shù)語存在的原因，與其說是因?yàn)樗悄撤N智能最終狀態(tài)的非常重要、本質(zhì)的描述符，不如說是對另一個(gè)存在的術(shù)語的反應(yīng)，這個(gè)術(shù)語就是狹義 AI（narrow AI）。
如果你回到游戲和 AI、跳棋 AI、國際象棋 AI、電腦游戲 AI 的古代歷史，每個(gè)人都會(huì)說，看這個(gè)狹義的智能。當(dāng)然，國際象棋 AI 可以擊敗卡斯帕羅夫，但它做不了其他任何事情。它是如此狹義，人工狹義智能。所以作為回應(yīng)，作為對此的反應(yīng)，有些人說，這不好。它太狹義了。我們需要的是通用 AI，一種可以做所有事情的 AI。那個(gè)術(shù)語獲得了很多關(guān)注。
第二件獲得很多關(guān)注的事情是預(yù)訓(xùn)練，特別是預(yù)訓(xùn)練的配方。我認(rèn)為人們現(xiàn)在做 RL 的方式也許正在消除預(yù)訓(xùn)練的概念印記。但預(yù)訓(xùn)練有這個(gè)屬性。你做更多的預(yù)訓(xùn)練，模型在所有方面都變得更好，或多或少是一致的。通用 AI。預(yù)訓(xùn)練給予 AGI。
但 AGI 和預(yù)訓(xùn)練發(fā)生的事情是，在某種意義上它們超過了目標(biāo)。如果你思考“AGI”這個(gè)術(shù)語，特別是在預(yù)訓(xùn)練的背景下，你會(huì)意識到人類不是 AGI。是的，肯定有技能的基礎(chǔ)，但人類缺乏大量的知識。相反，我們依賴于持續(xù)學(xué)習(xí)。
所以當(dāng)你思考，“好的，假設(shè)我們?nèi)〉昧顺晒?，我們生產(chǎn)了某種安全的超級智能。”問題是，你如何定義它？它將在持續(xù)學(xué)習(xí)曲線的哪個(gè)位置？
我生產(chǎn)了一個(gè)超級聰明的 15 歲少年，非?？释リJ蕩。他們知道的并不多，一個(gè)好學(xué)生，非?？释Ｄ闳ギ?dāng)程序員，你去當(dāng)醫(yī)生，去學(xué)習(xí)。所以你可以想象部署本身將涉及某種學(xué)習(xí)試錯(cuò)期。這是一個(gè)過程，而不是你扔出一個(gè)完成的東西。
Dwarkesh Patel：我明白了。你是建議你在超級智能方面指出的不是某種完成的心智，它知道如何做經(jīng)濟(jì)中的每一項(xiàng)工作。因?yàn)椋热缱畛醯?OpenAI 章程或其他的定義 AGI 的方式是，它可以做每一項(xiàng)工作，人類能做的每一件事。你提議的是一種可以學(xué)習(xí)做每一項(xiàng)工作的心智，那就是超級智能。
Ilya Sutskever：是的。
Dwarkesh Patel：但是一旦你有了學(xué)習(xí)算法，它就會(huì)像人類勞動(dòng)者加入組織一樣被部署到世界上。
Ilya Sutskever：沒錯(cuò)。
Dwarkesh Patel：看起來這兩件事中的一件可能會(huì)發(fā)生，也許這兩件都不會(huì)發(fā)生。一，這種超級高效的學(xué)習(xí)算法變得超人，變得和你一樣好，甚至可能更好，在 ML 研究任務(wù)上。結(jié)果算法本身變得越來越超人。
另一個(gè)是，即使那沒有發(fā)生，如果你有一個(gè)單一的模型——這明確地是你的愿景——模型的實(shí)例被部署到整個(gè)經(jīng)濟(jì)中做不同的工作，學(xué)習(xí)如何做那些工作，在工作中持續(xù)學(xué)習(xí)，掌握任何人可以掌握的所有技能，但同時(shí)掌握所有這些技能，然后合并它們的學(xué)習(xí)，你基本上就有了一個(gè)模型，即使在軟件中沒有任何遞歸自我改進(jìn)，它在功能上也變成了超級智能。
因?yàn)槟悻F(xiàn)在有一個(gè)模型可以做經(jīng)濟(jì)中的每一項(xiàng)工作，而人類無法以同樣的方式合并我們的思想。所以你是否期望從廣泛部署中產(chǎn)生某種智能爆炸？
Ilya Sutskever：我認(rèn)為很有可能會(huì)有快速的經(jīng)濟(jì)增長。我認(rèn)為隨著廣泛部署，你可以提出兩個(gè)相互沖突的論點(diǎn)。一個(gè)是，一旦你真的到了擁有一個(gè)可以快速學(xué)習(xí)做事的 AI 并且你有很多個(gè)這樣的 AI 的地步，那么將會(huì)有一股強(qiáng)大的力量將它們部署到經(jīng)濟(jì)中，除非會(huì)有某種法規(guī)阻止它，順便說一句，可能會(huì)有。
但是關(guān)于廣泛部署帶來的非?？焖俚慕?jīng)濟(jì)增長的想法，我認(rèn)為這是非?？赡艿摹栴}是它會(huì)有多快。我認(rèn)為這很難知道，因?yàn)橐环矫婺阌羞@個(gè)非常高效的工人。另一方面，世界真的很大，有很多東西，那些東西以不同的速度移動(dòng)。但另一方面，現(xiàn)在的 AI 可以……所以我認(rèn)為非?？焖俚慕?jīng)濟(jì)增長是可能的。我們會(huì)看到各種各樣的事情，比如不同的國家有不同的規(guī)則，那些規(guī)則更友好的國家，經(jīng)濟(jì)增長會(huì)更快。很難預(yù)測。
Dwarkesh Patel：在我看來，這是一個(gè)非常不穩(wěn)定的情況。在極限情況下，我們知道這應(yīng)該是可能的。如果你有某種在學(xué)習(xí)方面和人類一樣好的東西，但它可以合并它的大腦——以人類無法合并的方式合并不同的實(shí)例——這似乎在物理上應(yīng)該是可能的。人類是可能的，數(shù)字計(jì)算機(jī)是可能的。你只需要結(jié)合這兩者就能產(chǎn)生這個(gè)東西。
看起來這種東西也非常強(qiáng)大。經(jīng)濟(jì)增長是一種說法。戴森球（Dyson sphere）是大量的經(jīng)濟(jì)增長。但另一種說法是，你將在可能非常短的時(shí)間內(nèi)擁有……你在 SSI 雇傭人，六個(gè)月后，他們可能有凈產(chǎn)出。人類學(xué)得真的很快，而這個(gè)東西變得越來越聰明非?？?。你如何考慮讓這一切順利進(jìn)行？為什么 SSI 定位好能做到這一點(diǎn)？SSI 在那里的計(jì)劃是什么，基本上這就是我想問的。
Ilya Sutskever：我的想法發(fā)生變化的方式之一是，我現(xiàn)在更加重視 AI 的逐步和提前部署。關(guān)于 AI 的一件非常困難的事情是，我們在談?wù)撋胁淮嬖诘南到y(tǒng)，很難想象它們。
我認(rèn)為正在發(fā)生的一件事是，實(shí)際上很難感覺到 AGI。很難感覺到 AGI。我們可以談?wù)撍胂笠幌抡務(wù)摦?dāng)你年老體弱時(shí)變老是什么感覺。你可以進(jìn)行對話，你可以嘗試想象它，但這只是很難，你會(huì)回到那不是事實(shí)的現(xiàn)實(shí)中。我認(rèn)為很多關(guān)于 AGI 及其未來力量的問題源于很難想象它。未來的 AI 將會(huì)不同。它將會(huì)很強(qiáng)大。確實(shí)，整個(gè)問題，AI 和 AGI 的問題是什么？整個(gè)問題就是力量。整個(gè)問題就是力量。
當(dāng)力量真的很大時(shí)，會(huì)發(fā)生什么？我在過去一年中改變主意的方式之一——這種主意的改變，我會(huì)稍微對沖一下，可能會(huì)反向傳播到我們公司的計(jì)劃中——就是如果很難想象，你做什么？你得把那個(gè)東西展示出來。你得把那個(gè)東西展示出來。我堅(jiān)持認(rèn)為大多數(shù)從事 AI 工作的人也無法想象它，因?yàn)樗c人們?nèi)粘？吹降臇|西太不同了。
我確實(shí)堅(jiān)持，這是我預(yù)測會(huì)發(fā)生的事情。這是一個(gè)預(yù)測。我堅(jiān)持認(rèn)為隨著 AI 變得更強(qiáng)大，人們會(huì)改變他們的行為。我們將看到各種前所未有的事情，這些事情現(xiàn)在還沒有發(fā)生。我會(huì)舉一些例子。我認(rèn)為不管是好是壞，前沿公司將在發(fā)生的事情中扮演非常重要的角色，政府也是如此。
我認(rèn)為你會(huì)看到的那種事情，你已經(jīng)看到了苗頭，那是激烈的競爭對手開始在 AI 安全方面合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出了第一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預(yù)測的事情，這樣的事情會(huì)發(fā)生。我也堅(jiān)持認(rèn)為，隨著 AI 繼續(xù)變得更強(qiáng)大，更明顯地強(qiáng)大，政府和公眾也會(huì)渴望做點(diǎn)什么。我認(rèn)為這是一股非常重要的力量，即展示 AI。
那是第一點(diǎn)。
第二，好的，所以 AI 正在被建立。需要做什么？我堅(jiān)持會(huì)發(fā)生的一件事是，現(xiàn)在，從事 AI 工作的人，我堅(jiān)持認(rèn)為 AI 因?yàn)樗腻e(cuò)誤而不讓人感覺強(qiáng)大。我確實(shí)認(rèn)為在某個(gè)時(shí)候 AI 會(huì)開始讓人感覺真正強(qiáng)大。
我認(rèn)為當(dāng)那發(fā)生時(shí)，我們將看到所有 AI 公司在處理安全問題的方式上發(fā)生巨大變化。他們會(huì)變得更加偏執(zhí)。我說這是一個(gè)預(yù)測，我們會(huì)看到它發(fā)生。我們要看看我是否正確。但我認(rèn)為這是將會(huì)發(fā)生的事情，因?yàn)樗麄儠?huì)看到 AI 變得更強(qiáng)大?，F(xiàn)在正在發(fā)生的一切，我堅(jiān)持認(rèn)為，是因?yàn)槿藗兛粗裉斓?AI，很難想象未來的 AI。
還有第三件事需要發(fā)生。我是從更廣泛的角度來談?wù)撍?，不僅僅是從 SSI 的角度，因?yàn)槟銌柫岁P(guān)于我們要建立的公司。問題是，公司應(yīng)該渴望建立什么？他們應(yīng)該渴望建立什么？有一個(gè)每個(gè)人都被鎖定的大想法，那就是自我改進(jìn)的 AI。為什么會(huì)這樣？因?yàn)橄敕ū裙旧?。但我?jiān)持認(rèn)為有更好的東西可以建立，我認(rèn)為每個(gè)人都會(huì)想要那個(gè)。
那就是穩(wěn)健地對齊，去關(guān)愛有感知能力的生命（sentient life）的 AI，特別是。我認(rèn)為尤其可以論證，建立一個(gè)關(guān)愛有感知能力的生命的 AI 比建立一個(gè)僅關(guān)愛人類生命的 AI 更容易，因?yàn)?AI 本身將是有感知的。如果你思考像鏡像神經(jīng)元（mirror neurons）和人類對動(dòng)物的同理心這樣的事情，你可能會(huì)爭辯說這不夠大，但它存在。我認(rèn)為這是從我們用建模自己的同一回路來建模他人這一事實(shí)中產(chǎn)生的涌現(xiàn)屬性，因?yàn)槟鞘亲罡咝У淖龇ā?/p>
Dwarkesh Patel：所以即使你讓 AI 關(guān)愛有感知能力的生物——其實(shí)我不清楚如果你解決了對齊（alignment），那是不是你應(yīng)該嘗試做的——情況仍然是大多數(shù)有感知能力的生物將是 AI。將會(huì)有數(shù)萬億，最終數(shù)千萬億的 AI。人類將是有感知能力的生物中非常小的一部分。所以如果不清楚目標(biāo)是對這個(gè)未來文明的某種人類控制，這是否是最好的標(biāo)準(zhǔn)。
Ilya Sutskever：這是真的。這可能不是最好的標(biāo)準(zhǔn)。我要說兩件事。第一，關(guān)愛有感知能力的生命，我認(rèn)為這有其優(yōu)點(diǎn)。這應(yīng)該被考慮。我認(rèn)為如果有一些公司在這種情況下可以使用的想法簡短清單，那將是有幫助的。這是第二點(diǎn)。第三，我認(rèn)為如果最強(qiáng)大的超級智能的力量在某種程度上受到限制，那將會(huì)有實(shí)質(zhì)性的幫助，因?yàn)樗鼤?huì)解決很多這些擔(dān)憂。關(guān)于如何做到這一點(diǎn)的問題，我不確定，但我認(rèn)為當(dāng)你談?wù)撜嬲?、真正?qiáng)大的系統(tǒng)時(shí)，那將會(huì)有實(shí)質(zhì)性的幫助。
Dwarkesh Patel：在我們繼續(xù)對齊討論之前，我想雙擊那個(gè)點(diǎn)。頂部還有多少空間？你如何思考超級智能？利用這個(gè)學(xué)習(xí)效率的想法，你認(rèn)為它只是在學(xué)習(xí)新技能或新知識方面極快嗎？它只是擁有更大的策略池嗎？中間是否有一個(gè)更有力或更大的單一凝聚體“它”？如果是這樣，你想象這將與人類文明的其他部分相比像神一樣，還是只是感覺像另一個(gè)智能體，或另一組智能體？
Ilya Sutskever：這是一個(gè)不同的人有不同直覺的領(lǐng)域。我認(rèn)為它肯定會(huì)非常強(qiáng)大。我認(rèn)為最有可能發(fā)生的是，大約在同一時(shí)間將會(huì)有多個(gè)這樣的 AI 被創(chuàng)造出來。我認(rèn)為如果集群足夠大——比如如果集群實(shí)際上是大陸規(guī)模的——那個(gè)東西真的可能非常強(qiáng)大，確實(shí)。
如果你真的有一個(gè)大陸規(guī)模的集群，那些 AI 可能會(huì)非常強(qiáng)大。我能告訴你的是，如果你在談?wù)摌O其強(qiáng)大的 AI，真正戲劇性地強(qiáng)大，如果它們能在某些方面受到限制，或者如果只有某種協(xié)議或其他東西，那就好了。
超級智能的擔(dān)憂是什么？解釋這種擔(dān)憂的一種方式是什么？如果你想象一個(gè)足夠強(qiáng)大的系統(tǒng)，真的足夠強(qiáng)大——你可以說你需要做一些理智的事情，比如以一種非常一心一意的方式關(guān)愛有感知能力的生命——我們可能不喜歡結(jié)果。那真的就是這樣。
順便說一句，也許答案是你不要建立通常意義上的 RL 智能體。我會(huì)指出幾點(diǎn)。我認(rèn)為人類是半 RL 智能體。我們追求獎(jiǎng)勵(lì)，然后情緒或其他什么讓我們對獎(jiǎng)勵(lì)感到厭倦，我們追求不同的獎(jiǎng)勵(lì)。市場是一種非常短視的智能體。進(jìn)化也是一樣。進(jìn)化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設(shè)計(jì)成三個(gè)部分之間永無休止的斗爭，這是有效果的。所以我想這類事情。
另一件讓這個(gè)討論變得困難的事情是，我們談?wù)摰氖遣淮嬖诘南到y(tǒng)，我們不知道如何建立。那是另一件事，這實(shí)際上是我的信念。我認(rèn)為人們現(xiàn)在正在做的事情會(huì)走一段距離，然后逐漸減弱。它會(huì)繼續(xù)改進(jìn)，但也成不了“那個(gè)”。“那個(gè)”我們不知道如何建立，很多都取決于理解可靠的泛化。
我還要說另一件事。關(guān)于導(dǎo)致對齊困難的原因，你可以說的一件事是，你學(xué)習(xí)人類價(jià)值觀的能力是脆弱的。然后你優(yōu)化它們的能力是脆弱的。你實(shí)際上學(xué)會(huì)了優(yōu)化它們。難道你不能說，“這些難道不都是不可靠泛化的實(shí)例嗎？”為什么人類似乎泛化得好得多？如果泛化好得多呢？在這種情況下會(huì)發(fā)生什么？會(huì)有什么影響？但那些問題目前仍然無法回答。
Dwarkesh Patel：人們?nèi)绾嗡伎?AI 進(jìn)展順利是什么樣子的？你已經(jīng)勾勒出了 AI 可能如何進(jìn)化。我們將擁有這些持續(xù)學(xué)習(xí)的智能體。AI 將非常強(qiáng)大。也許會(huì)有許多不同的 AI。你如何看待許多大陸規(guī)模的計(jì)算智能四處游走？那有多危險(xiǎn)？我們?nèi)绾巫屇亲兊貌荒敲次ｋU(xiǎn)？我們?nèi)绾我砸环N保護(hù)均衡的方式做到這一點(diǎn)，在這種均衡中可能會(huì)有未對齊的 AI 和壞的行動(dòng)者？
Ilya Sutskever：這就是為什么我喜歡“關(guān)愛有感知能力的生命的 AI”的一個(gè)原因。我們可以爭論它是好是壞。但如果這些戲劇性系統(tǒng)中的前 N 個(gè)確實(shí)關(guān)愛、愛人類或某種東西，關(guān)愛有感知能力的生命，顯然這也需要實(shí)現(xiàn)。這需要實(shí)現(xiàn)。所以如果這由前 N 個(gè)系統(tǒng)實(shí)現(xiàn)，那么我可以看到它進(jìn)展順利，至少在相當(dāng)長的一段時(shí)間內(nèi)。
然后是關(guān)于長期會(huì)發(fā)生什么的問題。你如何實(shí)現(xiàn)長期均衡？我認(rèn)為在那里，也有一個(gè)答案。我不喜歡這個(gè)答案，但它需要被考慮。
從長遠(yuǎn)來看，你可能會(huì)說，“好的，如果你有一個(gè)強(qiáng)大的 AI 存在的世界，在短期內(nèi)，你可以說你有普遍的高收入。你有普遍的高收入，我們都做得很好?！钡鸾掏皆趺凑f？“變化是唯一的常數(shù)?！笔挛镌谧兓?。有某種政府、政治結(jié)構(gòu)的東西，它在變化，因?yàn)檫@些東西有保質(zhì)期。一些新的政府事物出現(xiàn)了，它運(yùn)作，然后過了一段時(shí)間它停止運(yùn)作。那是我們看到一直發(fā)生的事情。
所以我認(rèn)為對于長期均衡，一種方法是你可以說也許每個(gè)人都會(huì)有一個(gè) AI 聽從他們的命令，那很好。如果那能無限期地維持下去，那是真的。但那樣的缺點(diǎn)是，然后 AI 去為這個(gè)人賺錢，并在政治領(lǐng)域倡導(dǎo)他們的需求，也許然后寫一份小報(bào)告說，“好的，這是我所做的，這是情況，”然后人說，“太好了，繼續(xù)保持?！钡@人不再是參與者了。然后你可以說那是一個(gè)不穩(wěn)定的處境。
我要先說我不喜歡這個(gè)解決方案，但它是一個(gè)解決方案。解決方案是如果人們通過某種腦機(jī)接口（Neuralink）變成部分 AI。因?yàn)榻Y(jié)果將會(huì)是現(xiàn)在 AI 理解了一些東西，我們也理解了它，因?yàn)楝F(xiàn)在理解是被全盤傳輸?shù)?。所以現(xiàn)在如果 AI 處在某種情況中，你自己也完全參與了那種情況。我認(rèn)為這就是均衡的答案。
Dwarkesh Patel：我想知道，數(shù)百萬年——或者在很多情況下，數(shù)十億年——前在完全不同的環(huán)境中進(jìn)化出的情感仍然如此強(qiáng)烈地指導(dǎo)我們的行動(dòng)，這一事實(shí)是否是對齊成功的一個(gè)例子。
為了說明我的意思——我不知道稱之為價(jià)值函數(shù)還是獎(jiǎng)勵(lì)函數(shù)更準(zhǔn)確——但腦干（brainstem）有一個(gè)指令，說：“與更成功的人交配?！逼樱╟ortex）是理解現(xiàn)代背景下成功意味著什么的部分。但腦干能夠?qū)R皮層并說，“無論你認(rèn)為成功是什么——我不夠聰明去理解那是什么——你仍然要追求這個(gè)指令?！?/p>
Ilya Sutskever：我認(rèn)為有一個(gè)更普遍的觀點(diǎn)。我認(rèn)為進(jìn)化如何編碼高層欲望實(shí)際上真的很神秘。很容易理解進(jìn)化如何賦予我們要吃聞起來好的食物的欲望，因?yàn)闅馕妒且环N化學(xué)物質(zhì)，所以只要追求那種化學(xué)物質(zhì)。很容易想象進(jìn)化做那件事。
但進(jìn)化也賦予了我們所有這些社會(huì)欲望。我們真的很在乎被社會(huì)積極看待。我們在乎擁有良好的地位。我們擁有的所有這些社會(huì)直覺，我強(qiáng)烈感覺它們是根深蒂固的。我不知道進(jìn)化是怎么做到的，因?yàn)槟鞘且粋€(gè)在大腦中表現(xiàn)的高層概念。
假設(shè)你在乎某種社會(huì)事物，它不像氣味那樣的低層信號。它不是某種有傳感器的東西。大腦需要做大量的處理來拼湊大量的信息碎片以理解社會(huì)上正在發(fā)生什么。不知何故進(jìn)化說，“那就是你應(yīng)該關(guān)心的?！彼窃趺醋龅降模?/p>
它做得也很快。我們關(guān)心的所有這些復(fù)雜的社會(huì)事物，我認(rèn)為它們是很近才進(jìn)化出來的。進(jìn)化很輕松地硬編碼了這種高層欲望。我不知道有什么好的假設(shè)能解釋它是如何完成的。我有過一些想法，但沒有一個(gè)是令人滿意的。
Dwarkesh Patel：特別令人印象深刻的是，這是你在有生之年學(xué)到的欲望，這說得通，因?yàn)槟愕拇竽X是智能的。你能夠?qū)W習(xí)智能欲望是有道理的。也許這不是你的觀點(diǎn)，但理解它的一種方式是，欲望內(nèi)置于基因組中，而基因組并不智能。但你不知何故能夠描述這個(gè)特征。甚至不清楚你是如何定義那個(gè)特征的，而你可以把它構(gòu)建進(jìn)基因里。
Ilya Sutskever：本質(zhì)上，或者也許我會(huì)換一種說法。如果你思考基因組可用的工具，它說，“好的，這是建立大腦的配方。”你可以說，“這是連接多巴胺神經(jīng)元和氣味傳感器的配方?！比绻麣馕妒悄撤N好氣味，你就想吃那個(gè)。
我可以想象基因組做那個(gè)。我聲稱這更難想象。更難想象基因組說你應(yīng)該關(guān)心某種復(fù)雜的計(jì)算，你的整個(gè)大腦，你大腦的一大塊，在做的計(jì)算。這就是我聲稱的。我可以告訴你一個(gè)關(guān)于它是如何做到的推測，我會(huì)解釋為什么這個(gè)推測可能是錯(cuò)誤的。
所以大腦有大腦區(qū)域。我們有我們的皮層。它有所有那些大腦區(qū)域。皮層是均勻的，但皮層中的大腦區(qū)域和神經(jīng)元大多與它們的鄰居說話。這就解釋了為什么會(huì)有大腦區(qū)域。因?yàn)槿绻阆胱瞿撤N語音處理，所有做語音的神經(jīng)元都需要互相交談。因?yàn)樯窠?jīng)元只能與它們附近的鄰居交談，在很大程度上，它必須是一個(gè)區(qū)域。
所有的區(qū)域在人與人之間的位置大多是相同的。所以也許進(jìn)化確實(shí)硬編碼了大活的一個(gè)位置。所以它說，“哦，當(dāng)大腦的 GPS 坐標(biāo)某某，當(dāng)那點(diǎn)火時(shí)，那就是你應(yīng)該關(guān)心的?！币苍S那就是進(jìn)化所做的，因?yàn)槟菚?huì)在進(jìn)化的工具箱內(nèi)。
Dwarkesh Patel：是的，盡管有一些例子，例如，天生失明的人，他們皮層的那個(gè)區(qū)域被另一種感官采用了。我不知道，但如果那些需要視覺信號的欲望或獎(jiǎng)勵(lì)函數(shù)對于那些皮層不同區(qū)域被征用的人不再起作用，我會(huì)感到驚訝。
例如，如果你不再有視覺，你還能感覺到我希望周圍的人喜歡我這種感覺嗎，這通常也有視覺線索。
Ilya Sutskever：我完全同意這一點(diǎn)。我認(rèn)為對這個(gè)理論有一個(gè)甚至更強(qiáng)的反駁。有些人在童年時(shí)期切除了一半的大腦，他們?nèi)匀粨碛兴械拇竽X區(qū)域。但它們都不知何故移到了僅有的一個(gè)半球，這表明大腦區(qū)域，它們的位置不是固定的，所以那個(gè)理論是不正確的。
如果那是真的會(huì)很酷，但它不是。所以我認(rèn)為那是一個(gè)謎。但這是一個(gè)有趣的謎。事實(shí)是不知何故進(jìn)化能夠賦予我們非常非?？煽康仃P(guān)心社會(huì)事物的能力。即使是那些有各種奇怪的精神狀況和缺陷以及情感問題的人也傾向于關(guān)心這個(gè)。
Dwarkesh Patel：SSI 計(jì)劃做什么不同的事情？大概你的計(jì)劃是當(dāng)時(shí)機(jī)到來時(shí)成為前沿公司之一。大概你創(chuàng)立 SSI 是因?yàn)槟阆?，“我想我有辦法以其他公司沒有的方式安全地做到這一點(diǎn)。”那個(gè)不同點(diǎn)是什么？
Ilya Sutskever：我會(huì)這樣描述它，我認(rèn)為有一些想法是有希望的，我想調(diào)查它們，看看它們是否真的有希望。真的很簡單。這是一種嘗試。如果這些想法被證明是正確的——我們討論的這些圍繞理解泛化的想法——那么我認(rèn)為我們將擁有一些有價(jià)值的東西。
它們會(huì)被證明是正確的嗎？我們在做研究。我們是一家不折不扣的“研究時(shí)代”公司。我們正在取得進(jìn)展。我們在過去一年里實(shí)際上取得了相當(dāng)好的進(jìn)展，但我們需要繼續(xù)取得更多進(jìn)展，更多研究。我是這么看的。我把它看作是一種嘗試成為聲音和參與者的方式。
Dwarkesh Patel：你的聯(lián)合創(chuàng)始人兼前 CEO 最近離開去了 Meta，人們問，“好吧，如果有大量的突破正在發(fā)生，那看起來像是一件不太可能發(fā)生的事情。”我想知道你如何回應(yīng)。
Ilya Sutskever：對此，我只想提醒幾個(gè)可能被遺忘的事實(shí)。我認(rèn)為這些提供背景的事實(shí)解釋了情況。背景是我們正在以 320 億美元的估值融資，然后 Meta 進(jìn)來提議收購我們，我說不。但在某種意義上，我的前聯(lián)合創(chuàng)始人說了是。結(jié)果，他也能夠享受到很多近期的流動(dòng)性，他是 SSI 唯一加入 Meta 的人。
Dwarkesh Patel：聽起來 SSI 的計(jì)劃是成為一家當(dāng)你們到達(dá)人類歷史上這個(gè)非常重要的時(shí)期——擁有超人智能時(shí)——處于前沿的公司。你們有關(guān)于如何讓超人智能進(jìn)展順利的想法。但其他公司將嘗試他們自己的想法。有什么區(qū)別 SSI 讓超級智能進(jìn)展順利的方法？
Ilya Sutskever：區(qū)別 SSI 的主要事情是它的技術(shù)方法。我們有一種不同的技術(shù)方法，我認(rèn)為值得，我們正在追求它。
我堅(jiān)持認(rèn)為最終戰(zhàn)略將會(huì)趨同。我認(rèn)為戰(zhàn)略將會(huì)趨同，在某個(gè)時(shí)候，隨著 AI 變得更強(qiáng)大，對每個(gè)人來說戰(zhàn)略應(yīng)該是什么將變得或多或少清晰。它應(yīng)該是類似這樣的東西，你需要找到某種方式互相交談，你希望你的第一個(gè)實(shí)際真正的超級智能 AI 是對齊的，并且以某種方式關(guān)愛有感知能力的生命，關(guān)愛人類，民主，其中之一，或者某種組合。
我認(rèn)為這是每個(gè)人都應(yīng)該爭取的條件。那是 SSI 正在爭取的。我認(rèn)為這一次，如果不是已經(jīng)這樣了，所有其他公司都會(huì)意識到他們正在爭取同樣的東西。我們將拭目以待。我認(rèn)為隨著 AI 變得更強(qiáng)大，世界將真正改變。我認(rèn)為事情將會(huì)非常不同，人們的行為也會(huì)非常不同。
Dwarkesh Patel：說到預(yù)測，你對你描述的這個(gè)系統(tǒng)有什么預(yù)測，它可以像人類一樣學(xué)習(xí)，并隨之，作為一個(gè)結(jié)果，變得超人？
Ilya Sutskever：我認(rèn)為大概 5 到 20 年。
Dwarkesh Patel：5 到 20 年？
Ilya Sutskever：嗯。
Dwarkesh Patel：我只想展開你可能看到的世界是如何到來的。就像，我們還有幾年時(shí)間，這些其他公司繼續(xù)目前的方法并且停滯不前?！巴磺啊痹谶@里意味著他們賺取的收入不超過幾千億？你如何思考停滯不前意味著什么？
Ilya Sutskever：我認(rèn)為停滯不前看起來會(huì)像……所有不同的公司看起來都會(huì)非常相似。可能是這樣。我不確定，因?yàn)槲艺J(rèn)為即使停滯不前，我認(rèn)為這些公司也可以創(chuàng)造驚人的收入。也許不是利潤，因?yàn)樗麄冃枰ぷ饕允贡舜藚^(qū)分開來，但收入肯定有。
Dwarkesh Patel：但是在你的模型中有一些東西暗示當(dāng)正確的解決方案確實(shí)出現(xiàn)時(shí)，所有公司之間會(huì)有趨同。我很好奇你為什么認(rèn)為會(huì)是那樣。
Ilya Sutskever：我更多是在談?wù)撽P(guān)于他們對齊戰(zhàn)略的趨同。我認(rèn)為技術(shù)方法的最終趨同也可能會(huì)發(fā)生，但我是在暗示對齊戰(zhàn)略的趨同。到底什么才是應(yīng)該做的事情？
Dwarkesh Patel：我只是想更好地理解你如何看待未來的展開。目前，我們有這些不同的公司，你預(yù)計(jì)他們的方法會(huì)繼續(xù)產(chǎn)生收入，但不會(huì)達(dá)到這種類似人類的學(xué)習(xí)者。所以現(xiàn)在我們有這些不同的公司分叉。我們有你，我們有 Thinking Machines，還有一堆其他實(shí)驗(yàn)室。也許其中一個(gè)想出了正確的方法。但是隨后他們產(chǎn)品的發(fā)布讓其他人清楚了如何做這件事。
Ilya Sutskever：我認(rèn)為如何做這件事不會(huì)很清楚，但這將清楚地表明有些不同的事情是可能的，那就是信息。人們隨后會(huì)試圖弄清楚那是如何工作的。但我確實(shí)認(rèn)為，這里沒有提到、沒有討論的一件事是，隨著 AI 能力的每一次增加，我認(rèn)為會(huì)有某種變化，但我不知道確切是哪些，關(guān)于事情是如何完成的。我認(rèn)為這將很重要，但我無法拼出那確切是什么。
Dwarkesh Patel：默認(rèn)情況下，你會(huì)期望擁有那個(gè)模型的公司獲得所有這些收益，因?yàn)樗麄儞碛性谑澜缟辖⒓寄芎椭R的模型。有什么理由認(rèn)為那帶來的好處會(huì)被廣泛分配，而不是僅僅終結(jié)于任何首先獲得這種持續(xù)學(xué)習(xí)循環(huán)的模型公司？
Ilya Sutskever：這是我認(rèn)為會(huì)發(fā)生的事情。第一，讓我們看看過去的 AI 是如何發(fā)展的。一家公司產(chǎn)生了一個(gè)進(jìn)步，另一家公司爭先恐后，在一段時(shí)間后產(chǎn)生了一些類似的東西，他們開始在市場上競爭并將價(jià)格壓低。所以我認(rèn)為從市場角度來看，類似的事情也會(huì)在那里發(fā)生。
順便說一句，我們談?wù)摰氖呛玫氖澜纭Ｊ裁词呛玫氖澜?？就是我們擁有這些強(qiáng)大的類人學(xué)習(xí)者，它們也……順便說一句，也許還有另一件關(guān)于超級智能 AI 規(guī)格的事情我們還沒討論，我認(rèn)為值得考慮。那就是你讓它變狹義，它可以同時(shí)有用且狹義。你可以有很多狹義的超級智能 AI。
但是假設(shè)你有很多個(gè)，你有一家公司從中產(chǎn)生了很多利潤。然后你有另一家公司進(jìn)來并開始競爭。競爭運(yùn)作的方式是通過專業(yè)化。競爭喜歡專業(yè)化。你在市場上看到它，你在進(jìn)化中也看到它。你將會(huì)有很多不同的利基市場，你將會(huì)有很多不同的公司占據(jù)不同的利基市場。在這個(gè)世界里我們可能會(huì)說一家 AI 公司在真正復(fù)雜的經(jīng)濟(jì)活動(dòng)的某個(gè)領(lǐng)域確實(shí)要好得多，而另一家公司在另一個(gè)領(lǐng)域更好。第三家公司非常擅長訴訟。
Dwarkesh Patel：這難道不被類人學(xué)習(xí)所暗示的東西反駁了嗎？它是說它可以學(xué)習(xí)……
Ilya Sutskever：它可以，但你有積累的學(xué)習(xí)。你有很大的投資。你花了很多算力變得非常非常擅長，真正非凡地擅長這件事。別人花了很多算力和很多經(jīng)驗(yàn)在其他事情上變得非常擅長。你應(yīng)用了很多人類學(xué)習(xí)來到達(dá)那里，但現(xiàn)在你處于這個(gè)高點(diǎn)，別人會(huì)說，“看，我不想開始學(xué)習(xí)你已經(jīng)學(xué)過的東西。”
Dwarkesh Patel：我想那將需要許多不同的公司在大約同一時(shí)間開始類人持續(xù)學(xué)習(xí)智能體，以便他們可以在不同的分支開始他們不同的樹搜索。但是如果一家公司首先獲得了那個(gè)智能體，或者首先獲得了那個(gè)學(xué)習(xí)者，那確實(shí)看起來像……好吧，如果你只是思考經(jīng)濟(jì)中的每一項(xiàng)工作，讓一個(gè)實(shí)例學(xué)習(xí)每一項(xiàng)工作對于一家公司來說似乎是可行的。
Ilya Sutskever：這是一個(gè)有效的論點(diǎn)。我的強(qiáng)烈直覺是，事情不會(huì)那樣發(fā)展。論點(diǎn)說它會(huì)那樣發(fā)展，但我的強(qiáng)烈直覺是它不會(huì)那樣發(fā)展。在理論上，理論和實(shí)踐沒有區(qū)別。在實(shí)踐中，有。我認(rèn)為這將是其中之一。
Dwarkesh Patel：很多人的遞歸自我改進(jìn)模型字面上、明確地指出我們將在服務(wù)器里有一百萬個(gè) Ilya 提出不同的想法，這將導(dǎo)致超級智能非?？斓赜楷F(xiàn)。
你對你正在做的事情的可并行化程度有什么直覺嗎？制作 Ilya 的副本有什么收益？
Ilya Sutskever：我不知道。我認(rèn)為肯定會(huì)有收益遞減，因?yàn)槟阆胍季S不同的人而不是相同的。如果真的是我的字面副本，我不確定你會(huì)得到多少增量價(jià)值。思維不同的人，那是你想要的。
Dwarkesh Patel：為什么即使是完全不同的公司發(fā)布的、在可能不重疊的數(shù)據(jù)集上訓(xùn)練的不同模型，LLM 彼此之間實(shí)際上相似得瘋狂？
Ilya Sutskever：也許數(shù)據(jù)集并不像看起來那么不重疊。
Dwarkesh Patel：但在某種意義上，即使個(gè)人可能比未來的 AI 生產(chǎn)力低，也許人類團(tuán)隊(duì)比 AI 團(tuán)隊(duì)擁有更多多樣性這一事實(shí)是有道理的。我們?nèi)绾我l(fā) AI 智能體之間有意義的多樣性？我認(rèn)為僅僅提高溫度（temperature）只會(huì)導(dǎo)致胡言亂語。你想要更像是不同的科學(xué)家有不同的偏見或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？
Ilya Sutskever：我認(rèn)為之所以沒有多樣性，是因?yàn)轭A(yù)訓(xùn)練。所有的預(yù)訓(xùn)練模型幾乎都是一樣的，因?yàn)樗鼈冊谙嗤臄?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練?，F(xiàn)在 RL 和后訓(xùn)練（post-training）是一些差異化開始出現(xiàn)的地方，因?yàn)椴煌娜讼氤隽瞬煌?RL 訓(xùn)練。
Dwarkesh Patel：我聽說你過去暗示過自我博弈（self-play）是獲取數(shù)據(jù)或?qū)⒅悄荏w與同等智能的其他智能體匹配以啟動(dòng)學(xué)習(xí)的一種方式。我們應(yīng)該如何思考為什么沒有這種東西在 LLM 上起作用的公開提議？
Ilya Sutskever：我想說有兩件事要說。我認(rèn)為自我博弈有趣的原因是因?yàn)樗峁┝艘环N僅使用算力而不使用數(shù)據(jù)來創(chuàng)建模型的方法。如果你認(rèn)為數(shù)據(jù)是最終瓶頸，那么僅使用算力是非常有趣的。所以這讓它很有趣。
問題是自我博弈，至少在過去的做法中——當(dāng)你有不知何故相互競爭的智能體時(shí)——它只對開發(fā)特定的一套技能有好處。它太狹窄了。它只對談判、沖突、某些社交技能、制定戰(zhàn)略那類東西有好處。如果你關(guān)心那些技能，那么自我博弈將是有用的。
實(shí)際上，我認(rèn)為自我博弈確實(shí)找到了歸宿，只是形式不同。所以像辯論、證明者-驗(yàn)證者（prover-verifier），你有某種 LLM-as-a-Judge（大模型作為裁判），它也被激勵(lì)去發(fā)現(xiàn)你工作中的錯(cuò)誤。你可以說這不完全是自我博弈，但我相信這是人們正在做的相關(guān)的對抗性設(shè)置。
真正的自我博弈是更一般的智能體之間競爭的一個(gè)特例。對競爭的自然反應(yīng)是試圖變得不同。所以如果你把多個(gè)智能體放在一起，你告訴他們，“你們都需要處理某個(gè)問題，你是一個(gè)智能體，你在檢查其他人正在做什么，”他們會(huì)說，“好吧，如果他們已經(jīng)采取了這種方法，我不清楚我是否應(yīng)該追求它。我應(yīng)該追求一些差異化的東西?！彼晕艺J(rèn)為類似這樣的東西也可以為方法的多樣性創(chuàng)造激勵(lì)。
Dwarkesh Patel：最后一個(gè)問題：什么是研究品味（research taste）？你顯然被認(rèn)為是世界上在 AI 研究方面品味最好的人。你是深度學(xué)習(xí)歷史上發(fā)生的最大事情的合著者，從 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是怎么想出這些想法的？
Ilya Sutskever：我可以就我自己評論這一點(diǎn)。我認(rèn)為不同的人做法不同。有一件事指引著我個(gè)人，那就是通過思考人是怎樣的，但正確地思考，來形成一種 AI 應(yīng)該是怎樣的美學(xué)。錯(cuò)誤地思考人是怎樣的是很容易的，但正確地思考人意味著什么？
我給你舉些例子。人工神經(jīng)元（artificial neuron）的想法直接受大腦啟發(fā)，這是一個(gè)偉大的想法。為什么？因?yàn)槟阏f大腦有所有這些不同的器官，它有褶皺，但褶皺可能并不重要。為什么我們認(rèn)為神經(jīng)元重要？因?yàn)橛泻芏嗌窠?jīng)元。這感覺是對的，所以你想要神經(jīng)元。你想要某種局部的學(xué)習(xí)規(guī)則來改變神經(jīng)元之間的連接。大腦這樣做感覺是合理的。
分布式表征（distributed representation）的想法。大腦對經(jīng)驗(yàn)做出反應(yīng)，因此我們的神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)。大腦從經(jīng)驗(yàn)中學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)。你會(huì)問自己，某件事是根本的還是不根本的？事情應(yīng)該是怎樣的。
我認(rèn)為這在很大程度上一直指引著我，從多個(gè)角度思考，幾乎是在尋找美，美和簡單。丑陋，沒有丑陋的容身之地。它是美、簡單、優(yōu)雅、來自大腦的正確靈感。所有這些東西需要同時(shí)存在。它們存在得越多，你就越能對自上而下的信念（top-down belief）充滿信心。
自上而下的信念是當(dāng)實(shí)驗(yàn)反駁你時(shí)支撐你的東西。因?yàn)槿绻憧偸窍嘈艛?shù)據(jù)，好吧，有時(shí)候你可能做的是正確的事情，但有個(gè) bug。但你不知道有個(gè) bug。你怎么分辨有沒有 bug？你怎么知道你是應(yīng)該繼續(xù)調(diào)試還是這結(jié)論是個(gè)錯(cuò)誤的方向？就是自上而下。你可以說事情必須是這樣的。類似這樣的東西必須行得通，因此我們必須繼續(xù)前進(jìn)。這就是自上而下，它基于這種多方面的美和大腦的靈感。
Dwarkesh Patel：好了，我們就到這里。
Ilya Sutskever：非常感謝。
Dwarkesh Patel：Ilya，非常感謝。
Ilya Sutskever：好的。很感激。
Dwarkesh Patel：這太棒了。
Ilya Sutskever：是的，我很享受。
Dwarkesh Patel：是的，我也是。