機(jī)器心臟報(bào)告

今天，OpenAI 聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever 在Twitter 上宣布辭職。

在OpenAI 工作近10 年后，我做出了離開的決定。 OpenAI 的發(fā)展軌跡堪稱奇跡，我相信OpenAI 在Sam Altman、Greg Brockman 和Mira Murati 的領(lǐng)導(dǎo)下，以及Jakub Pachocki 杰出的研究領(lǐng)導(dǎo)力下，將構(gòu)建安全且有益的AGI。

能夠一起工作是一種榮幸，我會(huì)非常想念你們。已經(jīng)過去這么久了，謝謝大家所做的一切。我對(duì)接下來的事情感到很興奮，下一個(gè)項(xiàng)目的工作對(duì)我來說非常有意義，我將在適當(dāng)?shù)臅r(shí)候分享細(xì)節(jié)。

Ilya Sutskever 還分享了與Sam Altman、Greg Brockman 和Mira Murati 等人的照片。 OpenAI CEO Altman 在推特上表示，Ilya 和OpenAI 的分道揚(yáng)鑣令人非常難過。

伊利亞無疑是我們這一代最偉大的思想家之一，是我們領(lǐng)域的指路明燈，也是一位親愛的朋友。他的才華和遠(yuǎn)見是眾所周知的。他的溫暖和同情心不太為人所知，但同樣重要。

沒有他，OpenAI 就不會(huì)是今天的樣子。盡管他要做的事情對(duì)他個(gè)人來說意義重大，但我永遠(yuǎn)感激他在這里所做的事情，并致力于完成我們共同開始的使命。我很高興在這么長的時(shí)間里我能夠如此接近這樣一位真正非凡的人才和一個(gè)如此專注于為人類創(chuàng)造最好的未來的人。

Jakub Pachocki 將成為我們新任首席科學(xué)家。雅庫布無疑也是我們這一代最偉大的思想家之一。我很高興他能來這里接過接力棒。他負(fù)責(zé)了我們?cè)S多最重要的項(xiàng)目，我堅(jiān)信他將帶領(lǐng)我們快速、安全地實(shí)現(xiàn)我們的使命，即確保通用人工智能(AGI) 惠及每個(gè)人。

即將成為OpenAI下一任首席科學(xué)家的Jakub Pachocki也表達(dá)了對(duì)前任Ilya的感謝。

Ilya 將我?guī)肓松疃葘W(xué)習(xí)研究的世界，多年來一直是我的導(dǎo)師和偉大的合作者。他對(duì)深度學(xué)習(xí)的令人難以置信的愿景成為OpenAI 和當(dāng)今人工智能領(lǐng)域的基礎(chǔ)。我非常感謝他與我們進(jìn)行的無數(shù)次對(duì)話，從有關(guān)人工智能未來進(jìn)步的高層討論，到深入的技術(shù)白板會(huì)議。伊利亞，我會(huì)想念和你一起工作的。

據(jù)OpenAI官網(wǎng)介紹，新任OpenAI首席科學(xué)家Jakub Pachocki擁有卡內(nèi)基梅隆大學(xué)理論計(jì)算機(jī)科學(xué)博士學(xué)位，自2017年以來一直領(lǐng)導(dǎo)OpenAI的變革性研究舉措。此前他曾擔(dān)任OpenAI的研究總監(jiān)，是該領(lǐng)域的領(lǐng)導(dǎo)者。 GPT-4和OpenAI Five的開發(fā)，包括大規(guī)模強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)優(yōu)化的基礎(chǔ)研究。

OpenAI 表示：“他在重新調(diào)整公司擴(kuò)展深度學(xué)習(xí)系統(tǒng)的愿景方面發(fā)揮了重要作用?！敝链?，Ilya Sutskever 與OpenAI 的八年故事結(jié)束了。事實(shí)上，即使在沒有OpenAI 的世界里，Ilya Sutskever 仍然會(huì)載入人工智能史冊(cè)。

他有一個(gè)動(dòng)蕩的童年，本科期間成為辛頓的學(xué)生。伊利亞·蘇茨克韋爾(Ilya Sutskever) 是出生于前蘇聯(lián)的以色列裔加拿大人。他五歲時(shí)隨家人移民到耶路撒冷（因此他精通俄語、希伯來語和英語），并于2002 年移居加拿大。在多倫多大學(xué)學(xué)習(xí)本科期間，Ilya Sutskever 開始與Geoffrey Hinton 一起研究一個(gè)名為“改進(jìn)的隨機(jī)鄰域嵌入算法”的項(xiàng)目，后來在攻讀博士學(xué)位期間正式加入了Hinton 的團(tuán)隊(duì)。接下來發(fā)生的事情我們都熟悉了：2012 年，Hinton 帶著Ilya Sutskever 和另一位研究生Alex Krizhevsky 構(gòu)建了一個(gè)名為AlexNet 的神經(jīng)網(wǎng)絡(luò)，其識(shí)別照片中物體的能力遠(yuǎn)遠(yuǎn)超過了當(dāng)時(shí)的其他系統(tǒng)。

Ilya Sutskever（左）、Alex Krizhevsky（中）、Geoffrey Hinton（右）Geoffrey Hinton、Yann LeCun、Yoshua Bengio 成為深度學(xué)習(xí)三巨頭，榮獲2018 年圖靈獎(jiǎng)。獲獎(jiǎng)理由是“因?yàn)樗麄兊?dāng)Ilya Sutskever 在2000 年代初加入Hinton 的團(tuán)隊(duì)時(shí)，大多數(shù)人工智能研究人員認(rèn)為神經(jīng)網(wǎng)絡(luò)是一個(gè)死胡同，“由于我與Geoffrey 的合作，我有機(jī)會(huì)研究一些最重要的成果。 Ilya Sutskever 后來在接受采訪時(shí)表示：“我們致力于解決我們這個(gè)時(shí)代的重要科學(xué)問題，并追求大多數(shù)科學(xué)家強(qiáng)烈反對(duì)的想法，但事實(shí)證明這是絕對(duì)正確的。”AlexNet 是深度學(xué)習(xí)的突破時(shí)刻。在經(jīng)歷了多年的失敗之后，他的團(tuán)隊(duì)第一個(gè)證明了模式識(shí)別問題是可以解決的，——的秘密是用大量數(shù)據(jù)和計(jì)算能力訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，這個(gè)想法從計(jì)算機(jī)視覺延伸到了自然語言處理領(lǐng)域。這也是ChatGPT目前取得成就的重要因素，包括Sora在視頻生成領(lǐng)域的成功。這兩點(diǎn)也是密不可分的。 2012年畢業(yè)后，Ilya Sutskever在斯坦福大學(xué)跟隨Andrew Ng做了兩個(gè)月的博士后，然后回到多倫多大學(xué)并加入了Hinton研究小組的衍生公司DNNResearch。 2013 年3 月，Google 收購了DNNResearch，并聘請(qǐng)Ilya Sutskever 擔(dān)任Google Brain 的研究科學(xué)家。 “伊利亞一直對(duì)語言感興趣，”現(xiàn)任谷歌首席科學(xué)家杰夫迪恩說。 “他對(duì)事物的發(fā)展方向有很強(qiáng)的直覺?！痹贕oogle，Ilya Sutskever 展示了如何將深度學(xué)習(xí)的模式識(shí)別功能應(yīng)用于數(shù)據(jù)序列。包括單詞和句子。他與Oriol Vinyals 和Quoc Le 合作創(chuàng)建了序列到序列（Seq2seq）學(xué)習(xí)算法，深入?yún)⑴cTensorFlow 研究，并且是AlphaGo 論文的眾多作者之一。

加入OpenAI并主導(dǎo)GPT系列研發(fā)。 Ilya Sutskever 對(duì)語言的濃厚興趣可能促使他加入OpenAI。 2015 年7 月，Ilya Sutskeve 參加了Y Combinator 總裁Sam Altman 在Sand Hill Road 一家餐廳舉辦的晚宴，在那里他結(jié)識(shí)了埃隆·馬斯克和格雷格·布羅克曼。從那次晚餐開始，OpenAI 誕生了。與會(huì)者一致同意一件事：它需要成為一個(gè)非營利組織，沒有任何競爭性激勵(lì)措施來淡化其使命，并且需要擁有世界上最好的人工智能研究人員。 2015年底，Ilya Sutskever開始以“研究總監(jiān)”的頭銜領(lǐng)導(dǎo)OpenAI的研究和運(yùn)營。該組織還吸引了多位世界知名的人工智能研究人員，包括“GAN之父”Ian Goodfellow、加州大學(xué)伯克利分校的Pieter Abbeel和Andrej Karpathy。這家新公司得到了Sam Altman、Elon Musk、Peter Thiel、微軟、Y Combinator 等10 億美元資金的支持，從一開始就將目光投向了AGI，盡管當(dāng)時(shí)很少有人認(rèn)真對(duì)待它的前景。然而，最初的OpenAI 卻舉步維艱。 Ilya Sutskever 表示：“當(dāng)我們創(chuàng)辦OpenAI 時(shí)，有一段時(shí)間我不確定我們將如何繼續(xù)取得進(jìn)展。但我有一個(gè)非常明確的信念，那就是你不能反對(duì)深度學(xué)習(xí)。不知何故每次遇到障礙，研究人員都會(huì)在半年或一年之內(nèi)找到解決方法?！?016年，OpenAI第一個(gè)GPT大規(guī)模語言模型問世。從GPT-2到GPT-3，模型的能力越來越強(qiáng)大，證明了這條路線的實(shí)際正確性，OpenAI的每一次發(fā)布都在不斷挑戰(zhàn)人們的想象力極限，但I(xiàn)lya Sutskever透露，當(dāng)真正讓OpenAI走出圈子的ChatGPT發(fā)布時(shí)，公司內(nèi)部對(duì)它的期望很低：“當(dāng)你問它一個(gè)事實(shí)問題時(shí)，它會(huì)給你一個(gè)錯(cuò)誤的答案，我認(rèn)為這會(huì)很平淡，人們會(huì)說：你為什么要這樣做？”將GPT 模型封裝在一個(gè)易于使用的界面中并免費(fèi)提供，讓數(shù)十億人第一次了解OpenAI 正在構(gòu)建的內(nèi)容，在此之前，ChatGPT 背后的大型語言模型已經(jīng)存在了幾個(gè)月。 ChatGPT 的成功為創(chuàng)始團(tuán)隊(duì)帶來了前所未有的關(guān)注。 2023 年，OpenAI 首席執(zhí)行官Sam Altman 花了大部分時(shí)間進(jìn)行了為期一周的外展巡演——，與世界各地的政界人士交談，并在擠滿人的禮堂發(fā)表演講。保持低調(diào)的作風(fēng)，他不像公司其他創(chuàng)始成員那樣經(jīng)常接受采訪，而是更關(guān)注GPT-4，他沒有興趣談?wù)撟约旱膫€(gè)人生活：“我的生活是。很簡單。我去上班然后回家。我不做任何其他事情。一個(gè)人可以參加很多社交活動(dòng)，一個(gè)人可以參加很多活動(dòng)，但我不去。 ”

ChatGPT 的工作為他帶來了什么今年早些時(shí)候，Hinton 公開表達(dá)了他對(duì)他幫助發(fā)明的技術(shù)的恐懼：“我從未見過任何具有更高智能水平的東西被低得多智能水平的東西控制。作為Hinton 的學(xué)生，Ilya Sutskever 并未對(duì)這一說法發(fā)表評(píng)論，但他對(duì)超級(jí)智能負(fù)面影響的擔(dān)憂表明他們是同一立場的。隨著GPT-4 的更新以及后續(xù)一系列更強(qiáng)大的更新大語言模型方面，以Ilya Sutskever 為代表的一些OpenAI 成員越來越擔(dān)心AI 的可控性，在OpenAI 激烈的“宮斗”事件之前，Ilya 就曾接受《麻省理工科技評(píng)論》記者采訪，他表示自己的關(guān)注點(diǎn)已經(jīng)不再是構(gòu)建了。下一代GPT 或圖像制作機(jī)器DALL-E，但如何防止人工智能失控，他認(rèn)為人工智能是一種假想的未來技術(shù)，具有先見之明?！盨utskever 還告訴我很多其他內(nèi)容。 ——，他認(rèn)為ChatGPT 可能是有意識(shí)的（如果你瞇起眼睛的話），”記者寫道。Ilya Sutskever 認(rèn)為世界需要認(rèn)識(shí)到OpenAI 和其他公司正在努力創(chuàng)造的技術(shù)的真正力量。他還相信有一天人類會(huì)選擇與機(jī)器融合。一旦人工智能水平超過人類，人類將如何監(jiān)管比自己聰明得多的人工智能系統(tǒng)？ OpenAI于2023年7月成立了“Superalignment”團(tuán)隊(duì)，目標(biāo)是在四年內(nèi)解決超智能AI的對(duì)準(zhǔn)問題。 Ilya Sutskever 是該項(xiàng)目的領(lǐng)導(dǎo)者之一，OpenAI 表示將投入20% 的算力用于該項(xiàng)目的研究。在接受采訪時(shí)，Ilya Sutskever 大膽預(yù)測，如果模型能夠很好地預(yù)測下一個(gè)單詞，就意味著它能夠理解導(dǎo)致該單詞產(chǎn)生的深刻現(xiàn)實(shí)。這意味著，如果AI繼續(xù)沿著目前的道路發(fā)展下去，或許在不久的將來，超越人類的人工智能系統(tǒng)就會(huì)誕生。但更令人擔(dān)憂的是，“超級(jí)人工智能”可能會(huì)帶來一些意想不到的負(fù)面后果。這就是“對(duì)齊”的意義。該團(tuán)隊(duì)的第一個(gè)成果于2023年12月發(fā)布：使用小型GPT-2級(jí)別模型監(jiān)督大型GPT-4級(jí)別模型，可以達(dá)到接近GPT-3.5級(jí)別的性能，開辟了超人模型的實(shí)證研究領(lǐng)域。新的研究方向一致。與此同時(shí)，OpenAI 宣布與Eric Schmidt 合作推出1000 萬美元的資助計(jì)劃，用于支持技術(shù)研究，以確保超人類人工智能系統(tǒng)的一致性和安全性。

與OpenAI 創(chuàng)始團(tuán)隊(duì)決裂但從今天的結(jié)果來看，Ilya Sutskever 應(yīng)該與以Sam Altman 為代表的派別有著無法解決的分歧。因?yàn)閷?duì)于“宮斗事件”的過程，OpenAI董事長兼聯(lián)合創(chuàng)始人Greg Brockman表示：

周五中午，Sam 收到了首席科學(xué)家Ilya Sutskever 發(fā)來的短信，要求進(jìn)行溝通。 Sam 使用Google Meet 參加了會(huì)議，會(huì)議包括除Greg 之外的整個(gè)董事會(huì)。伊利亞·蘇茨克維爾(Ilya Sutskever) 告訴山姆，他將被解雇，消息很快就會(huì)發(fā)送。

當(dāng)天中午，12:19，Greg收到了Ilya Sutskever發(fā)來的短信，要求盡快打電話。 12:23，Ilya Sutskever 收到了Google Meet 會(huì)議鏈接。格雷格被告知他將被從董事會(huì)中除名（但他對(duì)公司至關(guān)重要并且將保留他的職位），而薩姆已被解雇。大約在同一時(shí)間，OpenAI 發(fā)布了公告。

OpenAI 在其聲明中表示，奧特曼對(duì)董事會(huì)的態(tài)度不夠積極。有人將此解讀為：OpenAI內(nèi)部可能實(shí)現(xiàn)了AGI，但沒有及時(shí)將信息同步給更多人。為了防止該技術(shù)在沒有安全評(píng)估的情況下大規(guī)模應(yīng)用，伊利亞等人按下了緊急停止按鈕。據(jù)The Information 報(bào)道，在OpenAI 當(dāng)天的全體員工大會(huì)上，Ilya Sutskever 承認(rèn)了員工所說的“政變”。 “你可以說它（政變），但我認(rèn)為這只是董事會(huì)履行職責(zé)，”他說。當(dāng)然，這一切都只是猜測。 11月底，Sam Altman正式回歸OpenAI。大局已定。 Ilya Sutskever 并沒有立即離開OpenAI，但他也沒有再次出現(xiàn)在OpenAI 的舊金山辦公室。 Sam Altman表達(dá)了對(duì)Ilya Sutskever的感謝，并希望繼續(xù)他們的工作關(guān)系：“我尊重并熱愛Ilya，我認(rèn)為他是這個(gè)領(lǐng)域的指路明燈，是人類的瑰寶。我對(duì)他沒有惡意?！绷?。”

Y Combinator 投資董事總經(jīng)理Dalton Caldwell 曾回憶道：“我記得Sam Altman 說Ilya 是世界上最受尊敬的研究人員之一，他相信Ilya 能夠吸引很多頂尖的人工智能人才。他甚至提到，世界頂級(jí)人工智能學(xué)者Yoshua Bengio認(rèn)為，不可能找到比Ilya更好的人選來擔(dān)任OpenAI的首席科學(xué)家。 “最終接任的Jakub Pachocki 可能也是OpenAI 董事會(huì)經(jīng)過深思熟慮的選擇。Jakub 于2017 年加入OpenAI，這是他離開學(xué)校后的第一份工作。

Ilya 看到了什么關(guān)于Ilya 離開OpenAI 的傳聞其實(shí)已經(jīng)流傳很長時(shí)間了。當(dāng)OpenAI 發(fā)生“宮斗”、Sam Altman 被踢出OpenAI 時(shí)，有傳言稱Ilya“看到了一些強(qiáng)大到足以讓他擔(dān)心AI 未來并重新思考AI 發(fā)展的東西”。但他究竟看到了什么，目前還沒有人知道。

事實(shí)上，Ilya 的擔(dān)憂在ChatGPT 出來后并不新鮮。在2016年至2019年拍攝的一段視頻中，伊利亞表示，在AGI實(shí)施的那天，AI不一定會(huì)討厭人類，但它們可能會(huì)像人類對(duì)待動(dòng)物一樣對(duì)待人類。人們也許無意傷害動(dòng)物，但如果你想修一條城際高速公路，你就不用咨詢動(dòng)物的意見，你就去做吧。面對(duì)這種情況，AI自然可能會(huì)做出類似的選擇。這就是Ilya 的AI 理念。這解釋了為什么Ilya始終擔(dān)心AI的進(jìn)展，并專注于AI對(duì)齊（alignment AI with human value）工作。

伊利亞接下來要去哪里？作為中途離開的OpenAI創(chuàng)始成員，馬斯克向Ilya Sutskever伸出了橄欖枝，表示Ilya Sutskever應(yīng)該加入特斯拉或者xAI。這會(huì)是他的下一步行動(dòng)嗎？由于加州沒有競業(yè)禁止條款，Ilya Sutskever 可以立即去另一家公司工作或創(chuàng)辦另一家公司。另一位OpenAI知名員工安德烈·卡帕蒂(Andrej Karpathy)在離開OpenAI后加入特斯拉，隨后又從特斯拉回到OpenAI，不久前再次宣布離職。 2023年底“宮斗事件”發(fā)生時(shí)，卡帕蒂正在休假，完全是一個(gè)“局外人”，但他卻比伊利亞更早完成了辭職手續(xù)。真相是什么？我們不知道我們是否能找到答案。 Ilya Sutskever說的很多話可能有點(diǎn)狂野，但此時(shí)此刻，感覺已經(jīng)不再像一兩年前那樣“瘋狂”了。正如他所說，ChatGPT改寫了很多人對(duì)未來的預(yù)期，將“永遠(yuǎn)不會(huì)發(fā)生”變成“會(huì)比你想象的更快發(fā)生”。

參考鏈接：

https://twitter.com/sama/status/1790518031640347056

https://twitter.com/ilyasut/status/1790517455628198322