在過去的一兩年里，大型模型受到了很多關(guān)注，特別是它們在解決算術(shù)問題方面的性能。事實(shí)上，早在2022年，谷歌研究團(tuán)隊的研究人員就提出了思想鏈（CoT）提示，這是一種提示工程方法，可以有效提高大型模型的數(shù)學(xué)推理能力，并在少樣本環(huán)境下進(jìn)行學(xué)習(xí)。其有效性已得到驗證[1]。盡管該方法很快得到廣泛應(yīng)用，但該領(lǐng)域的研究人員仍然對其如何在大型模型中激發(fā)算術(shù)推理知之甚少。此前，相關(guān)探索主要集中在實(shí)驗觀察CoT提示句中不同成分對大型模型算術(shù)推理效果的影響。具體來說，嘗試替換或刪除CoT提示語句中的組件，例如刪除CoT樣本中的言語推理部分，只留下關(guān)鍵的數(shù)學(xué)公式，并觀察現(xiàn)有算術(shù)中替換或刪除前后的大模型。通過推理基準(zhǔn)測試上的性能差異來判斷替換或去除部分是否對激發(fā)大模型的算術(shù)推理能力有重要貢獻(xiàn)。盡管該領(lǐng)域的研究人員從這些研究中發(fā)現(xiàn)了一些有趣的現(xiàn)象，但他們?nèi)匀粺o法從神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制解釋CoT如何激發(fā)大型模型的算術(shù)推理能力。與此同時，這些研究提出了更多問題。例如，為什么CoT的不同組成部分對大型模型的算術(shù)推理有不同的影響。為了解決上述問題，美國喬治梅森大學(xué)姚子宇教授及其團(tuán)隊從“模型可解釋性”的角度對開源Llama2模型展開了一系列探索，提出利用“神經(jīng)元激活”來系統(tǒng)地解釋了對CoT上觀察到的現(xiàn)象進(jìn)行了研究。

圖丨課題組成員（來源：課題組）

近日，計算語言學(xué)協(xié)會（ACL）年會發(fā)表了題為《探究神經(jīng)元激活作為一種統(tǒng)一視角，以解釋大型語言模型中的鏈?zhǔn)剿伎家l(fā)算術(shù)推理》（An Investigation of Neuron Activation as a Unified Lens to Understanding Chain-of-Thought Eliciting Arithmetic Reasoning of LLMs）的相關(guān)論文。 )2024 年收到[2]。喬治梅森大學(xué)博士生Daking Rai 為第一作者，姚子宇為通訊作者。

圖丨相關(guān)論文（來源：ACL 2024）

在研究中，他們首先重點(diǎn)探索Transformer 前饋層是否表達(dá)了算術(shù)推理神經(jīng)元的概念。相關(guān)概念包括加、減、乘、除等算術(shù)運(yùn)算的概念、算術(shù)推理過程中邏輯環(huán)節(jié)的概念（如“.so”“.next”）以及其他算術(shù)計算概念（例如“百分比”、“算法”和“公式”）。因此，為了發(fā)現(xiàn)每個神經(jīng)元所代表的概念，他們將神經(jīng)元映射到大模型的詞匯空間，并通過神經(jīng)元映射后標(biāo)記每個詞匯中概念的比例來總結(jié)神經(jīng)元的含義。研究小組提出使用GPT-4來讀取和理解神經(jīng)元的詞匯映射，以自動化神經(jīng)元標(biāo)記和挖掘過程。實(shí)驗表明，Transformer 前饋層中確實(shí)存在代表算術(shù)概念的神經(jīng)元。當(dāng)這些神經(jīng)元受損時，大型模型的算術(shù)推理能力就會受到損害。同時，研究人員還觀察到，這些神經(jīng)元的活動與大模型的算術(shù)推理能力呈正相關(guān)。這種正相關(guān)性解釋了為什么不同的提示語句會給大型模型的算術(shù)推理帶來不同的效果?；谶@些神經(jīng)元，研究小組系統(tǒng)地解釋了之前研究中觀察到的四種與CoT相關(guān)的現(xiàn)象。首先，當(dāng)從CoT樣本中去掉數(shù)學(xué)公式，只留下運(yùn)算結(jié)果時，大型模型的算術(shù)推理能力將會受到損害。其次，當(dāng)CoT樣本中去除言語推理而只剩下數(shù)學(xué)公式時，模型能力也會受到損害。第三，當(dāng)CoT樣本失去操作多樣性時，例如所有樣本僅涉及加法操作，模型能力就會受到損害。第四，當(dāng)CoT樣本的運(yùn)算結(jié)果錯誤但推理過程正確時，模型能力不會受到顯著影響。 “我們看到這些現(xiàn)象基本上可以用神經(jīng)元的激活程度來解釋。例如，在去除數(shù)學(xué)公式之前和之后，激活的神經(jīng)元數(shù)量減少，這解釋了為什么模型的算術(shù)推理能力受損?！毖芯咳藛T解釋了道路。從應(yīng)用角度來看，該成果將在兩個方面具有應(yīng)用前景。首先，預(yù)測大型模型的能力。在實(shí)驗中，研究人員已經(jīng)能夠看到，代表算術(shù)推理的神經(jīng)元的激活水平與Llama2模型的算術(shù)推理能力呈正相關(guān)。這意味著未來可能不需要基準(zhǔn)來直接預(yù)測大型模型在特定任務(wù)中的能力。同時，由于基準(zhǔn)測試需要大量的人力和物力，例如數(shù)據(jù)集注釋和計算資源，因此通過了解其內(nèi)在機(jī)制來直接預(yù)測大型模型的能力也有助于節(jié)省成本。此外，該領(lǐng)域的從業(yè)者希望大型模型能夠在不久的將來執(zhí)行超人的任務(wù)。但受限于人的能力，無法為這些任務(wù)建立基準(zhǔn)。通過大模型的固有機(jī)制來預(yù)測模型能力，可以很好地避免這個問題。其次，通過控制大型模型的內(nèi)部機(jī)制，可以增強(qiáng)或削弱模型的能力。 “我們相信這一應(yīng)用將成為未來提高大型模型安全性的重要方法之一。同時，它還有潛力實(shí)現(xiàn)更高效的大模型訓(xùn)練，比如通過小數(shù)據(jù)定位神經(jīng)元，然后控制神經(jīng)元的激活。模型訓(xùn)練的目的。”研究團(tuán)隊表示。事實(shí)上，2023年下半年，OpenAI就提出了“超對齊”提案[3]，旨在通過鼓勵科研創(chuàng)新，幫助人類監(jiān)督和控制超人的AI模型預(yù)測和控制模型能力是實(shí)現(xiàn)這一目標(biāo)的兩項重要任務(wù)。”這個成果是我們在這個方向上的初步探索。我們希望我們或其他研究人員未來能夠繼續(xù)朝這個方向探索?！痹搱F(tuán)隊表示。

這項研究的靈感來自于“機(jī)制可解釋性”。這是模型可解釋性的一個子領(lǐng)域，近年來迅速興起并受到廣泛關(guān)注。與以往的可解釋性方法不同，機(jī)制可解釋性試圖通過對神經(jīng)網(wǎng)絡(luò)進(jìn)行逆向工程來理解模型的行為機(jī)制。目前，此類方法已應(yīng)用于解釋大型模型的行為和結(jié)構(gòu)功能。 “給我們很大啟發(fā)的研究之一是來自美國艾倫人工智能研究所和以色列巴伊蘭大學(xué)的研究人員對Transformer 前饋層的探索[4]。”研究人員表示。研究發(fā)現(xiàn)，當(dāng)大型模型預(yù)測下一個詞匯單元時，模型的Transformer 前饋層通過不斷強(qiáng)化詞匯空間中的相關(guān)概念來構(gòu)建預(yù)測。這個概念強(qiáng)化是通過激活Transformer 前饋層中的神經(jīng)元來實(shí)現(xiàn)的。 “這一機(jī)制層面的發(fā)現(xiàn)啟發(fā)了我們的猜想：CoT 之所以能夠激發(fā)大型模型在算術(shù)推理方面的能力，可能是因為它能夠有效激活Transformer 前饋層中表示算術(shù)推理概念的神經(jīng)元，而這些神經(jīng)元有助于強(qiáng)化大型模型的算術(shù)推理能力?！毖芯繄F(tuán)隊表示?；诖?，研究小組想知道是否有一種機(jī)制可以直接增強(qiáng)大型模型，特別是小規(guī)模大型模型的算術(shù)推理能力。團(tuán)隊指出： “這是一件非常有意義的事情，因為小規(guī)模的大型模型享有獨(dú)特的計算效率、經(jīng)濟(jì)效率和安全性，而且，在同一時期，他們也看到了一些通過收集高質(zhì)量數(shù)據(jù)或修改訓(xùn)練目標(biāo)函數(shù)來提高的研究?！比欢瑱C(jī)械可解釋性在這方面的應(yīng)用仍處于新興階段。盡管如此，團(tuán)隊的科研進(jìn)程并非一帆風(fēng)順，甚至在一開始就面臨“卡殼”。其中，最大的困難在于，他們沒有完全理解大型模型進(jìn)行算術(shù)推理的內(nèi)部機(jī)制，自然無法實(shí)現(xiàn)理想的模型控制。 “因此，我和論文第一作者賴同學(xué)決定先重點(diǎn)講解大型模型的算術(shù)推理?！币ψ佑裾f道。但他們很快就遇到了下一個困難。 “算術(shù)推理”是一個高度抽象的概念，大型模型的預(yù)測是在特定詞匯單元的層面上進(jìn)行的。如果我們想從“詞匯空間中神經(jīng)元的概念強(qiáng)化”的角度來理解大模型的算術(shù)推理能力，首先必須將這個高度抽象的概念實(shí)現(xiàn)為具體的詞匯層面的概念。為了彌補(bǔ)這一差距，課題組首先總結(jié)了一些與算術(shù)推理相關(guān)的底層概念，包括算術(shù)運(yùn)算符、算術(shù)推理中的邏輯語言表達(dá)式以及其他算術(shù)計算概念。并通過使用GPT-4 高效注釋和搜索表達(dá)這些低級概念的神經(jīng)元。然后，他們參考了之前的研究來驗證這些搜索到的神經(jīng)元。 “實(shí)驗結(jié)果證明這些神經(jīng)元確實(shí)在我們實(shí)驗的大型模型Llama2 中發(fā)揮著重要作用?！毖芯啃〗M說。這也讓他們更有信心繼續(xù)朝這個方向探索。他們想到利用這些神經(jīng)元的激活狀態(tài)來統(tǒng)一CoT 對大型模型中算術(shù)推理能力的影響，包括解釋在之前的幾項工作中觀察到的現(xiàn)象。結(jié)果基本驗證了他們的猜想，即CoT不同成分對大型模型算術(shù)推理能力的刺激作用可以通過相關(guān)神經(jīng)元的激活來解釋。不過，研究也指出，神經(jīng)元激活并不能解釋大型模型的所有算術(shù)推理性能。

同時，研究人員在Llama2上的發(fā)現(xiàn)是否適用于其他大型模型群體也需要進(jìn)一步驗證。另據(jù)悉，姚子瑜實(shí)驗室目前有多個全學(xué)術(shù)博士職位可供2025年秋季招生。詳情請查看團(tuán)隊網(wǎng)站https://ziyuyao.org/并通過電子郵件查詢。參考文獻(xiàn)： 1. Wei、Jason、Xuezhi Wang、Dale Schuurmans、Maarten Bosma、Fei Xia、Ed Chi、Quoc V. Le 和Denny Zhou。思維鏈提示引發(fā)大型語言模型中的推理。神經(jīng)信息處理系統(tǒng)的進(jìn)展35 (2022): 24824-24837.https://doi.org/10.48550/arXiv.2201.119032。 Daking、Rai、Ziyu、Yao，神經(jīng)元激活作為統(tǒng)一透鏡來解釋法學(xué)碩士引發(fā)算術(shù)推理的思想鏈的研究。 arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.122883.OpenAI。介紹超級對齊。 https://openai.com/index/introducing-superalignment/。 2023.4.Geva、Mor、Avi Caciularu、Kevin Wang 和Yoav Goldberg。Transformer Feed-For Ward 層通過提升詞匯空間中的概念來構(gòu)建預(yù)測。2022 年自然語言處理經(jīng)驗方法會議論文集，第30-45 頁。 2022.https://arxiv.org/abs/2203.14680排版：褚嘉石