近日，美國羅格斯大學(xué)博士生金明宇及其團(tuán)隊通過引入思想鏈（CoT）的概念，提高了大型語言模型（LLM）在算術(shù)等復(fù)雜推理任務(wù)上的性能。推理、常識推理、符號推理等。

圖片|金明玉（來源：金明玉）

CoT 的原則是通過提供推理過程的示例來教會模型處理推理，詳細(xì)說明導(dǎo)致最終答案的每個步驟。這種提示方法可以有效教會模型不要急于完成推理過程，而是逐步解決問題。這與人類自然解決問題的方式一致，即將復(fù)雜的任務(wù)分解為更簡單、更易于管理的步驟。與直接將輸入映射到輸出的指令跟蹤模型不同，CoT 將中間推理步驟合并到導(dǎo)致最終輸出的線索中。這種方法在涉及常識、算術(shù)和符號推理的任務(wù)中顯示出顯著的性能改進(jìn)。 CoT 通過將復(fù)雜的推理分解為逐步的過程來促進(jìn)工作流程，幫助模型按順序解決問題的每個部分，這對于深思熟慮的推理任務(wù)至關(guān)重要。研究發(fā)現(xiàn)，CoT 提示對于較大的模型特別有效，當(dāng)模型參數(shù)達(dá)到至少100 億時，性能開始顯著提高，在1000 億參數(shù)時觀察到最明顯的好處。然而，較小的模型似乎并沒有從CoT 中受益那么多，通常會產(chǎn)生平滑但不合邏輯的推理鏈，從而導(dǎo)致錯誤的結(jié)果。在研究過程中，研究團(tuán)隊還發(fā)現(xiàn)，大型模型的推理能力與推理步驟數(shù)之間存在絕對的線性關(guān)系。演示中的推理步驟越多，模型在推理或邏輯問題上的準(zhǔn)確性就越高。這個能力可以解決一些問題，比如人們在設(shè)計提示時不注意步驟等。這種方法可以讓人們更加規(guī)范地設(shè)計提示，從而改善大型模型的推理步驟。 CoT 的工作原理是將復(fù)雜的推理任務(wù)分解為更小、更易于管理的步驟，模仿人類解決問題的方式。這種分步過程對于需要詳細(xì)和細(xì)致理解的任務(wù)特別有益，例如算術(shù)推理、常識推理和符號推理。它通過鼓勵模型不僅得出答案，而且還顯示得出該結(jié)論所采取的路徑，從而提供決策過程的透明度。此外，CoT 示例中提供的模型推理能力與推理步驟數(shù)之間的線性關(guān)系是一個重要發(fā)現(xiàn)。這種關(guān)系表明，隨著提示中推理步驟數(shù)量的增加，模型在推理或邏輯任務(wù)中的準(zhǔn)確性也會增加。這對提示的設(shè)計方式有影響，并表明更加結(jié)構(gòu)化和分步的方法可以提高法學(xué)碩士在復(fù)雜推理中的表現(xiàn)。然而，CoT的應(yīng)用并非沒有挑戰(zhàn)。雖然它在任務(wù)性能方面提供了相當(dāng)大的改進(jìn)，但它需要仔細(xì)的平衡。此外，使用太多步驟使模型過載可能會使模型混亂或?qū)е率找孢f減。同時，CoT 的有效性也部分取決于所提供示例的質(zhì)量。推理步驟越清晰、越符合邏輯，模型就能更好地學(xué)習(xí)并將這種推理應(yīng)用于新問題。而這不僅有助于更準(zhǔn)確地解決問題，還有助于以人類可以理解的方式解釋模型的推理。在研究過程中，團(tuán)隊還發(fā)現(xiàn)增加推理步驟數(shù)量可以線性提高性能。這一發(fā)現(xiàn)解決了該領(lǐng)域之前的一個問題：缺乏標(biāo)準(zhǔn)化的提示設(shè)計方法。有了CoT，人們現(xiàn)在有了一個框架可以為復(fù)雜的推理任務(wù)創(chuàng)建更有效的提示。這種增強的解決數(shù)學(xué)問題的能力可以幫助用戶更好地解決數(shù)學(xué)問題。此外，CoT 可以通過允許搜索引擎理解和處理多步驟查詢來增強搜索引擎的功能，從而不僅為用戶提供答案，還為用戶提供這些答案背后的推理。

最近，arXiv[1]上發(fā)表了一篇相關(guān)論文，標(biāo)題為《推理步長對大型語言模型的影響》（The Impact of Reasoning Step Length on Large Language Models）。金明宇為第一作者，美國新澤西理工學(xué)院杜夢楠教授為通訊作者。

圖|相關(guān)論文（來源：arXiv）

金明宇說：“但是我們需要了解cot 的一些基本性質(zhì)，才能確認(rèn)它是否能夠幫助其他人的研究。目前我們對cot 的研究還不夠系統(tǒng)，我們覺得應(yīng)該給出更多的基礎(chǔ)見解?！?”未來，研究團(tuán)隊計劃研究大模型內(nèi)部來解決這個問題，即分析LLM推理的長推理步驟和短推理步驟，以及大模型內(nèi)部的神經(jīng)元過程。他們的最終目標(biāo)：他們希望確定較長的推理步驟是否與更廣泛的神經(jīng)元參與相關(guān)。因此，他們打算使用可視化技術(shù)來分析長推理和短推理之間的激活模式。參考：1.https://arxiv.org/abs/2401.04925 操作/排版：何晨龍