美國(guó)留學(xué)選擇什么專業(yè)好?留學(xué)美國(guó)熱門專業(yè)推薦
2019-06-26
更新時(shí)間:2024-08-08 01:13作者:小樂(lè)
喬治·穆瑟編劇
探索人工智能的夢(mèng)想從來(lái)不是創(chuàng)建一個(gè)可以擊敗國(guó)際象棋大師的程序或構(gòu)建一個(gè)試圖破壞婚姻的聊天機(jī)器人。事實(shí)上,它讓我們以科技為鏡子來(lái)反思自己,更深入地了解自己。研究人員追求的不僅僅是人工智能,而是具有類人適應(yīng)性和創(chuàng)造力的通用人工智能(AGI)。
1. 邁向通用人工智能
大型語(yǔ)言模型(LLM)所展示的解決問(wèn)題的能力遠(yuǎn)遠(yuǎn)超出了研究人員的預(yù)期。然而,他們?nèi)匀粫r(shí)不時(shí)地犯一些可笑的錯(cuò)誤,缺乏開放學(xué)習(xí)的能力:一旦他們完成了基于書籍、博客和其他材料的培訓(xùn),他們的知識(shí)庫(kù)就被凍結(jié)了。他們也無(wú)法通過(guò)專家設(shè)計(jì)的“機(jī)器人大學(xué)考試”:無(wú)法完成大學(xué)教育,甚至無(wú)法完成幼兒園教育。
這些系統(tǒng)真正解決的唯一AGI 問(wèn)題是語(yǔ)言。他們擁有所謂的“形式表達(dá)能力”:LLM可以解析你提供的任何句子,即使它只是一個(gè)片段或俚語(yǔ),并且它可以用類似于維基百科的標(biāo)準(zhǔn)英語(yǔ)進(jìn)行回應(yīng)。然而,他們不具備幫助我們處理日常生活的思維能力。 “我們不應(yīng)該指望他們會(huì)思考,”麻省理工學(xué)院的神經(jīng)科學(xué)家南?!た簿S舍爾說(shuō)。 “它們是語(yǔ)言處理器?!狈▽W(xué)碩士擅長(zhǎng)處理文本,但除了他們已經(jīng)知道的之外,他們對(duì)文本了解不多。與現(xiàn)實(shí)沒(méi)有互動(dòng)。
從這個(gè)意義上說(shuō),大型語(yǔ)言模型只是模仿了大腦的語(yǔ)言能力,而缺乏感知、記憶、導(dǎo)航和社會(huì)判斷等能力。我們大腦的灰質(zhì)執(zhí)行著既復(fù)雜又完整的重疊功能。它們要么廣泛分布在多個(gè)大腦區(qū)域,要么僅限于特定的大腦區(qū)域。例如,大腦語(yǔ)言區(qū)中風(fēng)的患者可能無(wú)法說(shuō)話,但他們?nèi)匀豢梢韵褚郧耙粯舆M(jìn)行加減法、創(chuàng)作交響樂(lè)、下棋、通過(guò)手勢(shì)進(jìn)行交流。人工智能開發(fā)人員正在將此類功能模塊引入他們的系統(tǒng)中,希望使它們變得更加智能。
OpenAI 是生成式預(yù)訓(xùn)練變壓器(GPT) 的創(chuàng)建者,它使用插件幫助付費(fèi)用戶完成數(shù)學(xué)運(yùn)算、互聯(lián)網(wǎng)搜索和其他查詢?nèi)蝿?wù)。每個(gè)插件都有一個(gè)專門的、經(jīng)過(guò)預(yù)先培訓(xùn)的專業(yè)知識(shí)庫(kù)可供調(diào)用。事實(shí)上,GPT的核心語(yǔ)言系統(tǒng)從某種意義上來(lái)說(shuō)也是模塊化的。 OpenAI 對(duì)GPT 的架構(gòu)嚴(yán)格保密,但許多AI 研究人員推測(cè)GPT 由多達(dá)16 個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)或“專家”組成,通過(guò)匯集其輸出來(lái)回答用戶詢問(wèn),但匯集的工作機(jī)制尚不清楚。 2023年12月,總部位于法國(guó)巴黎的AI公司Mistral也發(fā)布了基于“混合專家”架構(gòu)(MoE)的開源模型,引起了巨大轟動(dòng)。這種簡(jiǎn)單的模塊化架構(gòu)的主要優(yōu)點(diǎn)是計(jì)算效率:訓(xùn)練和運(yùn)行16 個(gè)較小的(神經(jīng))網(wǎng)絡(luò)比運(yùn)行一個(gè)大型(神經(jīng))網(wǎng)絡(luò)更容易。英國(guó)愛丁堡大學(xué)人工智能研究員Edoardo Ponti 表示:“這種‘MoE 架構(gòu)’實(shí)現(xiàn)了兩全其美。” “我們可以獲得一個(gè)具有大量參數(shù)的系統(tǒng),同時(shí)保持小模型的效率。”
然而,模塊化也帶來(lái)了問(wèn)題。沒(méi)有人確切地知道大腦的各個(gè)區(qū)域如何協(xié)同工作來(lái)創(chuàng)造和諧的自我,更不用說(shuō)機(jī)器如何模仿這一點(diǎn)了。 “語(yǔ)言系統(tǒng)如何將信息傳遞給邏輯推理系統(tǒng)或社會(huì)推理系統(tǒng)?”麻省理工學(xué)院的神經(jīng)科學(xué)家安娜·伊萬(wàn)諾娃對(duì)此非常好奇。 “這仍然是一個(gè)懸而未決的問(wèn)題?!?
一個(gè)大膽的假設(shè)是意識(shí)是這一切的基礎(chǔ)。根據(jù)“全局工作空間理論”(GWT),意識(shí)就像是公司員工的大腦會(huì)議,是各個(gè)模塊共享信息并提供幫助的地方。當(dāng)然,GWT 并不是唯一的意識(shí)理論,但人工智能研究人員對(duì)它特別感興趣,因?yàn)樗岢隽艘庾R(shí)對(duì)于高級(jí)智能至關(guān)重要的大膽假設(shè)。當(dāng)完成簡(jiǎn)單或熟練的任務(wù)時(shí),大腦可以自動(dòng)運(yùn)作。然而,當(dāng)出現(xiàn)超出單個(gè)模塊范圍的新任務(wù)或復(fù)雜任務(wù)時(shí),我們需要意識(shí)到我們?cè)谧鍪裁础?
Goetzel 等學(xué)者已將GWT 的工作空間集成到他們的AI 系統(tǒng)中。 “我認(rèn)為全球工作空間模型的核心理念將以多種不同的形式出現(xiàn),”他說(shuō)。研究人員在人工智能系統(tǒng)中使用GWT 并不是為了創(chuàng)造有意識(shí)的機(jī)器。相反,他們只需在硬件上實(shí)現(xiàn)GWT 即可實(shí)現(xiàn)類人智能。
但是,在這個(gè)過(guò)程中,他們是否會(huì)無(wú)意中創(chuàng)造出一個(gè)有感情和動(dòng)機(jī)的有意識(shí)的存在?加利福尼亞州拉霍亞神經(jīng)科學(xué)研究所的Bernard Bales 提出了GWT,他認(rèn)為這不太可能。 “意識(shí)計(jì)算是一個(gè)沒(méi)有任何證據(jù)的假設(shè),”他說(shuō)。但如果人工智能研究人員確實(shí)成功創(chuàng)建了通用人工智能,他們可能會(huì)為智能本身的架構(gòu)和功能提供重要的見解。
2. 意識(shí)模型
GWT 長(zhǎng)期以來(lái)一直是神經(jīng)科學(xué)和人工智能研究如何相互促進(jìn)的典型例子。這一理論可以追溯到20世紀(jì)50年代計(jì)算機(jī)科學(xué)家奧利弗·塞爾弗里奇提出的“鬼域”圖像識(shí)別系統(tǒng)。他將系統(tǒng)的模塊比作米爾頓《失樂(lè)園》 地獄中那些尖叫著尋求關(guān)注的惡魔。塞爾弗里奇的當(dāng)代研究員艾倫·紐厄爾選擇了一個(gè)更安靜的比喻,即一群數(shù)學(xué)家聚集在黑板前解決問(wèn)題。這些隱喻后來(lái)被認(rèn)知心理學(xué)家所使用。 20世紀(jì)80年代,Baars提出用GWT來(lái)解釋人類意識(shí)。 “在我的職業(yè)生涯中,我從人工智能領(lǐng)域?qū)W到了很多東西,因?yàn)樗旧鲜俏覀儞碛械奈ㄒ豢尚械睦碚撈脚_(tái),”他說(shuō)。
巴爾斯的GWT 啟發(fā)了孟菲斯大學(xué)計(jì)算機(jī)科學(xué)家斯坦利·富蘭克林(Stanley Franklin) 建造一臺(tái)有意識(shí)的計(jì)算機(jī)。無(wú)論富蘭克林的機(jī)器是否真的產(chǎn)生了意識(shí),正如巴爾斯和富蘭克林本人所懷疑的那樣,它至少再現(xiàn)了人類心理的一些獨(dú)特的怪癖。例如,當(dāng)它的注意力從一件事轉(zhuǎn)移到另一件事時(shí),它會(huì)丟失一些關(guān)鍵信息,因此計(jì)算機(jī)在多任務(wù)處理方面與人類一樣糟糕。從20 世紀(jì)90 年代開始,法國(guó)巴黎法蘭西學(xué)院的神經(jīng)科學(xué)家Stanislas Dehaene 和Jean-Pierre Change 試圖揭示GWT 的神經(jīng)連接模式。
在德哈內(nèi)和變革的模型中,大腦的功能模塊大部分時(shí)間都是獨(dú)立運(yùn)作的。但每隔十分之一秒左右,他們就會(huì)召開一次“員工會(huì)議”。會(huì)議是一場(chǎng)遵循既定規(guī)則的喊叫比賽:每個(gè)模塊都有一些信息需要提交,對(duì)這些信息越有信心,例如——,刺激與預(yù)期越接近,它喊的聲音就越大。一旦一個(gè)模塊占據(jù)上風(fēng),其他模塊就會(huì)在下一刻安靜下來(lái),獲勝者將該信息放入一組公共變量中,即工作區(qū)。其他模塊決定信息本身的有用性。 “這是一個(gè)有趣的過(guò)程,模塊之間既合作又競(jìng)爭(zhēng),每個(gè)模塊都是解決問(wèn)題不可或缺的一部分,”巴爾斯說(shuō)。
工作空間不僅允許模塊之間進(jìn)行交流,而且還提供了一個(gè)“論壇”,即使某些信息不再呈現(xiàn)給感官,不同的模塊也可以集體思考。 “你可以從外部世界得到一些可能是轉(zhuǎn)瞬即逝的感覺(jué),盡管它從感官中消失,但它仍然在工作空間中回響,”德哈內(nèi)說(shuō)。這種深思熟慮的能力對(duì)于解決涉及多個(gè)步驟或跨越一段時(shí)間的問(wèn)題至關(guān)重要。德阿恩在實(shí)驗(yàn)室對(duì)人類受試者進(jìn)行了實(shí)驗(yàn),發(fā)現(xiàn)當(dāng)人類受試者面臨上述問(wèn)題時(shí),他們必須有意識(shí)地思考。
GWT 取消了在模塊之間分配任務(wù)的老板,因?yàn)榉峙淙蝿?wù)很難正確完成。在數(shù)學(xué)中,授權(quán)(或在不同參與者之間分配責(zé)任以實(shí)現(xiàn)最佳性能)是所謂的NP 難題,解決起來(lái)可能非常耗時(shí)。在很多有“老板”的系統(tǒng)中,比如OpenAI可能采用的混合專家架構(gòu),有一個(gè)“門控”網(wǎng)絡(luò)負(fù)責(zé)分配任務(wù),但它必須和模塊一起訓(xùn)練,這個(gè)訓(xùn)練過(guò)程很容易崩潰。首先,它遇到了Ponti 所說(shuō)的“先有雞還是先有蛋的問(wèn)題”:因?yàn)槟K依賴于門,而門又依賴于模塊,因此訓(xùn)練可能會(huì)陷入循環(huán)。其次,即使訓(xùn)練成功,門控分配機(jī)制也是一個(gè)黑匣子,其工作原理不透明。
2021 年,卡內(nèi)基梅隆大學(xué)數(shù)學(xué)家、名譽(yù)教授Manuel Bloom 和Lenore Bloom 詳細(xì)闡述了全球工作空間注意力的競(jìng)爭(zhēng)機(jī)制。這種機(jī)制保證了模塊不會(huì)過(guò)度自信地提供信息,從而防止“吹牛者”長(zhǎng)時(shí)間占據(jù)工作空間。同時(shí),可以在模塊之間建立繞過(guò)工作區(qū)的直接連接。這條“捷徑”可以解釋我們學(xué)習(xí)騎自行車或演奏樂(lè)器時(shí)的認(rèn)知處理:一旦我們學(xué)會(huì)騎自行車或演奏樂(lè)器,參與的模塊是直接連接的,它們離線處理任務(wù),不需要更長(zhǎng)需要有意識(shí)的參與。 “它將需要短期記憶的過(guò)程轉(zhuǎn)變?yōu)闊o(wú)意識(shí)的過(guò)程,”萊諾·布魯姆說(shuō)。
這是因?yàn)橛幸庾R(shí)的注意力是一種稀缺資源。工作區(qū)中的信息存儲(chǔ)容量是有限的,因此獲勝模塊必須非常有選擇性地傳輸?shù)狡渌K的信息。這聽起來(lái)像是一個(gè)有缺陷的設(shè)計(jì)。 “為什么大腦同時(shí)思考的事情數(shù)量如此有限?”加拿大蒙特利爾大學(xué)人工智能研究員Joshua Bengio 提出了這個(gè)問(wèn)題。但他認(rèn)為這種限制是一件好事:它強(qiáng)化了認(rèn)知的規(guī)律和紀(jì)律。 —— 由于世界的復(fù)雜性很難全面追蹤,因此我們的大腦必須認(rèn)識(shí)到復(fù)雜現(xiàn)象背后的簡(jiǎn)單規(guī)則。 “這個(gè)瓶頸迫使我們了解世界是如何運(yùn)作的,”他說(shuō)。
對(duì)于Bengio 來(lái)說(shuō),GWT 對(duì)于AI 的重要啟發(fā)是,如今的人工神經(jīng)網(wǎng)絡(luò)過(guò)于強(qiáng)大,不利于自身發(fā)展。它們擁有數(shù)十億甚至數(shù)萬(wàn)億的參數(shù),足以容納海量的互聯(lián)網(wǎng)內(nèi)容;然而,他們有一種陷入細(xì)節(jié)的傾向,而忽略了從中提煉出更普遍的機(jī)制。如果它們更像人類意識(shí)思維那樣運(yùn)作,通過(guò)狹窄的漏斗傳遞其龐大的知識(shí)庫(kù),也許會(huì)更好。
3.讓AI“學(xué)習(xí)”選擇
Bengio 在接觸GWT 之前,就已經(jīng)開始努力將這種“類意識(shí)瓶頸”融入到AI 系統(tǒng)中。 2010 年代初期,我們的大腦傾向于選擇性地關(guān)注一條信息并暫時(shí)忽略其他所有信息,受到啟發(fā),Bengio 和他的同事在神經(jīng)網(wǎng)絡(luò)中構(gòu)建了類似的過(guò)濾器。例如,當(dāng)語(yǔ)言模型(例如GPT)遇到代詞時(shí),它需要找到該詞的所指,通常是通過(guò)突出顯示附近的名詞并抑制具有其他詞性的詞來(lái)實(shí)現(xiàn)。實(shí)際上,它“吸引”了理解文本所需的關(guān)鍵詞。當(dāng)然,代詞也可能與形容詞、動(dòng)詞等相關(guān)聯(lián),神經(jīng)網(wǎng)絡(luò)的不同部分可以同時(shí)關(guān)注不同的詞關(guān)系。
但本吉奧發(fā)現(xiàn)這種注意力機(jī)制產(chǎn)生了一個(gè)小問(wèn)題。如果神經(jīng)網(wǎng)絡(luò)完全忽略某些單詞,它會(huì)根據(jù)該過(guò)程將這些單詞對(duì)應(yīng)的權(quán)重重置為零。這種突變就像向正在運(yùn)轉(zhuǎn)的發(fā)動(dòng)機(jī)扔扳手一樣,破壞了反向傳播(訓(xùn)練神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)程序)。反向傳播通過(guò)神經(jīng)網(wǎng)絡(luò)的輸出來(lái)追溯產(chǎn)生它的計(jì)算,如果輸出錯(cuò)誤,則可以糾正產(chǎn)生錯(cuò)誤的計(jì)算。然而,權(quán)重重置為零引起的突變會(huì)干擾可追溯性。
基于此,Bengio 和他的同事發(fā)明了具有選擇性但不做出極端選擇的“軟注意力機(jī)制”—— 神經(jīng)網(wǎng)絡(luò)。當(dāng)決定代詞可能與哪些單詞相關(guān)時(shí),該機(jī)制會(huì)為不同的選項(xiàng)賦予非零權(quán)重。盡管某些單詞的權(quán)重會(huì)高于其他單詞,但不會(huì)消除任何單詞。 “你會(huì)得到這個(gè)的80% 和那個(gè)的20%,而且由于這些注意力分配的權(quán)重是連續(xù)的,所以它不會(huì)影響反向傳播的微積分運(yùn)算,”Bengio 解釋道。這種軟注意力機(jī)制是轉(zhuǎn)換器架構(gòu)——GPT 中“T”的關(guān)鍵創(chuàng)新。
近年來(lái),本吉奧重新審視了這種方法,以創(chuàng)造更嚴(yán)格的“瓶頸”。他認(rèn)為這一步對(duì)于網(wǎng)絡(luò)獲得真正的理解至關(guān)重要。真正的全球化工作空間必須做出艱難的選擇,因?yàn)樗鼪](méi)有足夠的容量來(lái)跟蹤所有選項(xiàng)。 2021 年,本吉奧和他的同事設(shè)計(jì)了一個(gè)名為“生成流”的網(wǎng)絡(luò),該網(wǎng)絡(luò)定期從可用選項(xiàng)中進(jìn)行選擇,每個(gè)選項(xiàng)被選擇的概率由其注意力權(quán)重決定。它通過(guò)前向或反向傳播來(lái)訓(xùn)練網(wǎng)絡(luò),而不是僅僅依賴反向傳播。這樣,即使權(quán)重突然發(fā)生變化,網(wǎng)絡(luò)仍然可以返回并糾正產(chǎn)生錯(cuò)誤輸出的計(jì)算。通過(guò)一系列實(shí)驗(yàn),本吉奧表明,該系統(tǒng)可以生成類似于我們大腦生成的輸入數(shù)據(jù)的高級(jí)表示。
4. 跨模態(tài)對(duì)話
實(shí)施全球工作空間的另一個(gè)挑戰(zhàn)是高度專業(yè)化。就像大學(xué)不同系的教授一樣,大腦的各個(gè)模塊創(chuàng)造出彼此無(wú)法理解的術(shù)語(yǔ)。視覺(jué)模塊生成抽象概念,使其能夠處理來(lái)自眼睛的輸入;聽覺(jué)模塊產(chǎn)生與內(nèi)耳振動(dòng)信號(hào)相匹配的表征。那么他們?nèi)绾蜗嗷贤兀克麄儽仨氄业侥撤N通用語(yǔ)言或亞里士多德所說(shuō)的“常識(shí)”——,這也是現(xiàn)代英語(yǔ)中“常識(shí)”一詞的原始含義。在大型科技公司最近推出的“多模式”網(wǎng)絡(luò)中,這種需求尤其迫切,因?yàn)槿斯ぶ悄苣P蛯⑽谋九c圖像和其他形式的數(shù)據(jù)相結(jié)合。
在Dehaene 和Change 的GWT 版本中,模塊依靠神經(jīng)元在彼此之間形成連接,從而調(diào)整其突觸以將輸入轉(zhuǎn)換為當(dāng)?shù)胤窖浴?“他們將輸入轉(zhuǎn)換成自己的代碼,”德阿恩說(shuō)。但細(xì)節(jié)仍然模糊。事實(shí)上,他希望人工智能研究人員在用人工神經(jīng)網(wǎng)絡(luò)解決類似問(wèn)題時(shí)能夠?yàn)樯窠?jīng)科學(xué)提供線索。 “工作空間與其說(shuō)是一種理論,不如說(shuō)是一種想法。我們正試圖將其轉(zhuǎn)變?yōu)橐环N理論,但仍有很多我們不了解的地方。工程師擁有將其轉(zhuǎn)變?yōu)楣ぷ飨到y(tǒng)的非凡才能。 ”。德哈娜說(shuō)道。
2021年,位于日本東京的AI公司Araya的創(chuàng)始人、神經(jīng)科學(xué)家Ryota Kanai和來(lái)自法國(guó)圖盧茲大學(xué)跨學(xué)科進(jìn)入AI領(lǐng)域的神經(jīng)科學(xué)家Luffin Wanglulan提出了一種新方法人工神經(jīng)網(wǎng)絡(luò)來(lái)完成翻譯。方法。他們從谷歌翻譯等語(yǔ)言翻譯系統(tǒng)中獲得靈感,這是迄今為止人工智能最令人印象深刻的成就之一。他們無(wú)需外界幫助即可完成工作。例如,我們不需要告訴這些系統(tǒng)英語(yǔ)中的“l(fā)ove”和法語(yǔ)中的“amour”具有相同的含義;相反,他們獨(dú)立學(xué)習(xí)英語(yǔ)和法語(yǔ),然后用所學(xué)的語(yǔ)言來(lái)推斷哪個(gè)單詞在法語(yǔ)中與英語(yǔ)中的“l(fā)ove”起著相同的作用。
假設(shè)您用英語(yǔ)和法語(yǔ)訓(xùn)練了兩個(gè)神經(jīng)網(wǎng)絡(luò),每個(gè)神經(jīng)網(wǎng)絡(luò)都學(xué)習(xí)各自語(yǔ)言的結(jié)構(gòu)。在網(wǎng)絡(luò)內(nèi)部,將構(gòu)建一個(gè)稱為潛在空間的內(nèi)部表示,即“詞云”。在詞云中,具有相似含義的單詞聚集在一起,而無(wú)關(guān)的單詞則被分開,形成該語(yǔ)言中所有單詞的關(guān)聯(lián)圖。顯然,詞云有著獨(dú)特的形狀,但對(duì)于不同的語(yǔ)言來(lái)說(shuō)都是一樣的,因?yàn)樗鼈冏罱K都是用來(lái)描述同一個(gè)世界的。因此,您需要做的就是旋轉(zhuǎn)英語(yǔ)和法語(yǔ)詞云直到它們對(duì)齊。此時(shí),你會(huì)發(fā)現(xiàn)“愛”與“戀情”是一致的。 “我們不需要字典,我們只需要找到正確的旋轉(zhuǎn)來(lái)對(duì)齊所有點(diǎn),我們就可以得到每種語(yǔ)言中所有單詞在潛在空間中的位置,”卡奈說(shuō)。
由于此過(guò)程不僅適用于單詞,而且適用于整個(gè)段落,因此它可以處理含義上有細(xì)微差別且在另一種語(yǔ)言中沒(méi)有直接對(duì)應(yīng)項(xiàng)的單詞。因此,它可以翻譯英語(yǔ)和漢語(yǔ)等不相關(guān)的語(yǔ)言,甚至可以用于動(dòng)物之間的交流。
Wanglulang和Kanai認(rèn)為,這個(gè)過(guò)程不僅可以用于語(yǔ)言之間的翻譯,還可以用于不同感官和描述方式之間的翻譯。 “通過(guò)獨(dú)立訓(xùn)練圖像處理系統(tǒng)和語(yǔ)言處理系統(tǒng),然后通過(guò)對(duì)齊潛在空間將它們?nèi)诤显谝黄?,”卡奈解釋道。與語(yǔ)言類似,跨模態(tài)翻譯之所以成為可能,是因?yàn)閳D像系統(tǒng)和語(yǔ)言系統(tǒng)基本上指向同一個(gè)世界。而這種見解正是Dehaene 所希望的:人工智能研究能夠?yàn)榇竽X如何工作提供線索。 “神經(jīng)科學(xué)家從未想象過(guò)對(duì)齊潛在空間的可能性,”卡奈說(shuō)。
為了了解如何將這些原則付諸實(shí)踐,Kanai 與現(xiàn)任微軟的Arthur Iuliani 以及Araya 的Shuntaro Sasai 合作,研究Google DeepMind 于2021 年發(fā)布的感知器模型。該模型旨在融合來(lái)自文本、圖像、音頻和其他內(nèi)容的數(shù)據(jù)。模式進(jìn)入一個(gè)共同的潛在空間。 2022年,谷歌將其集成到自動(dòng)生成短視頻內(nèi)容描述的系統(tǒng)中。 Araya 的團(tuán)隊(duì)進(jìn)行了一系列實(shí)驗(yàn)來(lái)探索感知器模型的工作原理。他們發(fā)現(xiàn),盡管感知者沒(méi)有在系統(tǒng)中專門設(shè)計(jì)一個(gè)全局工作空間,但它具有全局工作空間的特征:獨(dú)立的模塊、在模塊之間進(jìn)行選擇的過(guò)程以及工作記憶,即工作空間本身。
一個(gè)值得特別關(guān)注并實(shí)現(xiàn)類似工作空間功能的程序是位于捷克共和國(guó)布拉格的人工智能公司GoodAI制作的游戲AI People。這款即將推出的游戲與我去年夏天看到的版本《模擬人生》類似,故事背景是一座監(jiān)獄,里面擠滿了囚犯、腐敗的看守和一位熱心的精神病醫(yī)生,但該公司還計(jì)劃提供一個(gè)更加和平的環(huán)境。游戲使用GPT作為游戲角色的大腦。 GPT不僅控制他們的談話,還控制他們的行為和情緒,賦予他們一定的心理活動(dòng);同時(shí),系統(tǒng)會(huì)跟蹤他們是否生氣、悲傷或焦慮,并據(jù)此選擇相應(yīng)的行為。開發(fā)人員添加了其他模塊,例如短期記憶形式的全局工作空間,以使游戲角色具有連貫的心理并允許他們?cè)谟螒颦h(huán)境中行動(dòng)。
5. 提取抽象表示
AI領(lǐng)域另一個(gè)可能的重大突破來(lái)自Meta研究員楊立坤。雖然他沒(méi)有直接引用全局工作空間作為靈感來(lái)源,但在挑戰(zhàn)生成模型——GPT中“G”的霸權(quán)時(shí),他以自己的方式得出了與GWT類似的想法。 “我反對(duì)當(dāng)前人工智能或機(jī)器學(xué)習(xí)界非常流行的一系列概念,”楊立坤說(shuō)。 “我告訴大家:放棄生成模型?!?
生成神經(jīng)網(wǎng)絡(luò)之所以如此命名,是因?yàn)樗鼈兏鶕?jù)訓(xùn)練內(nèi)容生成新的文本和圖像。為了實(shí)現(xiàn)這一目標(biāo),神經(jīng)網(wǎng)絡(luò)必須極其關(guān)注細(xì)節(jié):它們必須知道如何拼寫句子中的每個(gè)單詞,如何放置圖像中的每個(gè)像素。然而,智能的本質(zhì)是選擇性地忽略細(xì)節(jié)。因此,楊立坤主張研究人員回歸現(xiàn)在已經(jīng)不流行的“判別式”神經(jīng)網(wǎng)絡(luò)技術(shù),例如通過(guò)感知輸入之間的差異來(lái)識(shí)別圖像的技術(shù)。這些網(wǎng)絡(luò)本身并不構(gòu)建圖像,而是簡(jiǎn)單地處理現(xiàn)有圖像并分配標(biāo)簽。
基于此,楊立坤創(chuàng)建了一種特殊的訓(xùn)練方案,使判別網(wǎng)絡(luò)能夠提取文本、圖像和其他模態(tài)數(shù)據(jù)的關(guān)鍵特征。它可能無(wú)法自動(dòng)完成句子,但它可以創(chuàng)建類似于我們大腦產(chǎn)生的抽象表征,這正是楊所希望的。例如,如果輸入信號(hào)是汽車在道路上行駛的視頻,則生成的抽象表示應(yīng)捕獲汽車的品牌、型號(hào)、顏色、位置和速度,同時(shí)忽略路面上的凹坑、波紋,和水坑。路邊草葉上的燈光—— 除非我們特別注意它們,否則我們的大腦會(huì)自動(dòng)忽略這些無(wú)關(guān)緊要的細(xì)節(jié)。 “那些不相關(guān)的細(xì)節(jié)都被消除了?!睏铥惱そ忉尩?。
這些簡(jiǎn)化的表示本身并沒(méi)有用,但它們實(shí)現(xiàn)了AGI 所需的一系列認(rèn)知功能。楊立坤將判別網(wǎng)絡(luò)嵌入到一個(gè)更大的系統(tǒng)中,使其成為類腦架構(gòu)的一個(gè)模塊。該架構(gòu)包括GWT 的關(guān)鍵功能,例如短期內(nèi)存和協(xié)調(diào)模塊并確定工作流程的“配置器”。 “心理學(xué)的底層知識(shí)給了我很大啟發(fā)?!睏铥惱ふf(shuō)。正如人腦可以進(jìn)行思維實(shí)驗(yàn)并想象人們?cè)诓煌闆r下會(huì)有不同的感受一樣,配置器可以多次運(yùn)行判別網(wǎng)絡(luò)以列出一系列可能的操作,以找到能夠?qū)崿F(xiàn)預(yù)期結(jié)果的最佳操作。最優(yōu)解。
楊立坤表示,他寧愿避免對(duì)“什么是意識(shí)”下結(jié)論,但他提出了他所謂的意識(shí)“流行理論”:配置者的工作就是意識(shí),它所扮演的角色與巴爾斯的理論類似中的全局工作區(qū)。
6.尋找真正的情報(bào)
如果研究人員成功地在人工智能系統(tǒng)中建立一個(gè)真正的全球工作空間,這會(huì)讓人工智能有意識(shí)嗎? Dehaena 對(duì)此持積極態(tài)度,尤其是當(dāng)GWT 包含自我監(jiān)控功能時(shí)。但Baars 并不這么認(rèn)為,部分原因是他仍然沒(méi)有完全相信自己的理論:“我一直對(duì)GWT 是否真的那么好持懷疑態(tài)度?!痹谒磥?lái),意識(shí)是生物的獨(dú)特功能。僅存在于具有特定生物結(jié)構(gòu)的生物體中。富蘭克林在幾年前接受我采訪時(shí)也表達(dá)了類似的懷疑。他相信全球工作空間是大自然對(duì)身體需求的回應(yīng)。大腦依靠意識(shí)從經(jīng)驗(yàn)中學(xué)習(xí)來(lái)快速解決復(fù)雜的生存問(wèn)題,但這種能力與AI通常需要處理的問(wèn)題類型無(wú)關(guān)。 “它必須是一個(gè)具有真實(shí)思想和控制結(jié)構(gòu)的自主代理。”他告訴我。 “那個(gè)智能體必須體驗(yàn)生命本身。這并不意味著它不能成為一個(gè)機(jī)器人,但它必須經(jīng)歷成長(zhǎng),而不是成為這個(gè)世界的全知全能?!?
英國(guó)蘇塞克斯大學(xué)神經(jīng)科學(xué)家阿尼爾·賽斯也有類似的觀點(diǎn)。 “意識(shí)不僅僅是聰明,”他說(shuō)。 “這也是為了活著。無(wú)論AGI 多么聰明,如果它們沒(méi)有生命,就不可能有意識(shí)。”
塞斯更喜歡支持一種稱為預(yù)測(cè)處理(也稱為預(yù)測(cè)編碼)的意識(shí)理論。該理論強(qiáng)調(diào)意識(shí)試圖通過(guò)預(yù)測(cè)即將發(fā)生的事情來(lái)為未來(lái)做好準(zhǔn)備。 “理解有意識(shí)的自我應(yīng)該從理解控制身體的預(yù)測(cè)模型開始,”他說(shuō)。塞斯主要研究意識(shí)的信息整合理論,這是與GWT競(jìng)爭(zhēng)的主流意識(shí)理論。該理論并未將意識(shí)與大腦的功能聯(lián)系起來(lái),而是與復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)聯(lián)系起來(lái),即具有同樣復(fù)雜結(jié)構(gòu)的機(jī)器也能產(chǎn)生意識(shí)。根據(jù)這一理論,意識(shí)并不是智力的組成部分,而是為了提高生物效率而產(chǎn)生的。
人工智能是一個(gè)創(chuàng)意豐富的領(lǐng)域,工程師已經(jīng)掌握了許多可以追蹤的線索,而無(wú)需等待神經(jīng)科學(xué)的新發(fā)現(xiàn)。 “他們做得足夠好,”哥倫比亞大學(xué)神經(jīng)科學(xué)家Nikolaus Kriegscott 說(shuō)。但大腦仍然是一般智能的現(xiàn)實(shí)證明,至少目前是人工智能研究人員所擁有的。最佳模型。 “人類大腦中隱藏著一些工程尚未破解的秘密,”克里格-斯科特說(shuō)。
在過(guò)去的幾十年里,對(duì)通用人工智能的不懈探索讓我們對(duì)自己的智能有了很多了解。我們現(xiàn)在意識(shí)到,我們認(rèn)為簡(jiǎn)單的任務(wù)(例如視覺(jué)信息處理)實(shí)際上需要大量計(jì)算,而我們認(rèn)為困難的任務(wù)(例如數(shù)學(xué)和國(guó)際象棋)實(shí)際上很簡(jiǎn)單。我們還認(rèn)識(shí)到,大腦幾乎不需要“預(yù)裝”知識(shí)。它可以通過(guò)經(jīng)驗(yàn)學(xué)習(xí)幾乎所有需要知道的東西。現(xiàn)在,通過(guò)理解模塊化的重要性,我們開始理解一個(gè)古老的智慧:不存在智能這樣的東西。它只是一個(gè)工具箱,充滿了從抽象思維到導(dǎo)航、從適應(yīng)復(fù)雜社會(huì)到處理視覺(jué)和聲音的能力。正如戈澤爾所說(shuō),通過(guò)混合和匹配這些不同的技能,我們的大腦可以在我們以前從未遇到過(guò)的領(lǐng)域取得成功。我們創(chuàng)造了新的音樂(lè)流派并解決了上一代人難以想象的科學(xué)謎團(tuán)?,F(xiàn)在,我們進(jìn)入了一片新的未知土地——。也許有一天,我們的AI表兄弟會(huì)互相幫助,共同前進(jìn)。
圖片及文字由《環(huán)球科學(xué)》雜志社提供
(本文譯者劉佳,清華大學(xué)社會(huì)科學(xué)學(xué)院心理學(xué)系與腦與智能實(shí)驗(yàn)室基礎(chǔ)科學(xué)講座教授、北京致遠(yuǎn)人工智能研究院首席科學(xué)家)
《光明日?qǐng)?bào)》(2024年6月27日第14版)
來(lái)源:光明網(wǎng)-《光明日?qǐng)?bào)》