據(jù)韓聯(lián)社3月6日?qǐng)?bào)道，韓國(guó)科學(xué)技術(shù)信息通信部6日宣布，PIM半導(dǎo)體研究中心和人工智能半導(dǎo)體研究生院柳會(huì)俊教授研究團(tuán)隊(duì)韓國(guó)科學(xué)技術(shù)院（KAIST）通過(guò)了三星電子的28納米工藝。開(kāi)發(fā)了核心人工智能（AI）半導(dǎo)體技術(shù)“Complementary-Transformer”，可以超高速處理大型語(yǔ)言模型（LLM），同時(shí)最大限度地降低功耗。

圖片來(lái)自：韓聯(lián)社

此次開(kāi)發(fā)的AI半導(dǎo)體硬件單元是DNN和SNN相結(jié)合的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以降低輸出單元的功耗，并采用LLM參數(shù)的壓縮技術(shù)。 GPT-2巨型模型的參數(shù)從7.08億減少到1.91億，用于翻譯的T5模型的參數(shù)從4.02億減少到7600萬(wàn)。通過(guò)這種壓縮，從外部存儲(chǔ)器加載語(yǔ)言模型參數(shù)的功耗已成功降低了70%。其功耗是NVIDIA A100 GPU的1/625，同時(shí)實(shí)現(xiàn)了使用GPT-2模型的語(yǔ)言生成0.4秒和使用T5模型的語(yǔ)言翻譯0.2秒的高速運(yùn)行。生成語(yǔ)言的準(zhǔn)確度降低了1.2個(gè)分支系數(shù)。 （較低意味著語(yǔ)言模型學(xué)得更好）。

Hoejun Yoo教授表示：“神經(jīng)擬態(tài)計(jì)算是設(shè)備端人工智能的核心技術(shù)，這是一項(xiàng)連IBM、英特爾等公司都無(wú)法實(shí)現(xiàn)的技術(shù)。我們很自豪能夠成為世界上第一個(gè)使用超低功耗的技術(shù)運(yùn)行大型模型的神經(jīng)形態(tài)計(jì)算?！?

（編譯：天榮）