如今，在高科技實驗室里，每天都在進行人機交互的過程。最常見的是，殘疾人訓練他們的思維來控制機器人的四肢。人類希望有一天能夠用我們的思想控制宇宙飛船，將我們的大腦下載到計算機上，并最終創(chuàng)造出機器人。特斯拉和SpaceX 的首席執(zhí)行官收購了Neuralink，一家旨在建立大腦和計算機之間直接聯(lián)系的公司。隨著過去幾十年技術(shù)的快速發(fā)展，人類和機器之間的界限開始縮小。在機器的幫助下，科幻小說中壯觀的精神控制世界正在慢慢接近現(xiàn)實。目前這些新技術(shù)的前沿是腦機接口（BCI）和人工智能（AI），盡管BCI和AI過去一直是相互獨立開發(fā)和應(yīng)用的。然而，現(xiàn)在越來越多的科學家希望將兩者結(jié)合起來，使用腦電信號操縱外部設(shè)備的過程更加高效。

文章來源：腦機接口社區(qū)

ID：BCI-Hub

腦機接口BCI，有時也稱為直接神經(jīng)接口或BMI（腦機接口），是一種使人腦與外部設(shè)備能夠相互通信的技術(shù)。通過將神經(jīng)元信息轉(zhuǎn)換為指令，可以控制外部軟件或硬件，因此允許人類直接控制機器而不受物理限制。腦機接口通常用于幫助日常生活中有運動或感覺障礙的人。

大腦與腦機接口（雙向接口）之間的雙向連接，一個方向是腦機接口將大腦活動發(fā)送給計算機，計算機將大腦活動轉(zhuǎn)化為被動運動指令，另一個方向是計算機將大腦活動發(fā)送到計算機。將信息直接發(fā)送到BCI 用戶的大腦。與被動非侵入式腦機接口不同，主動腦機接口直接與大腦相連。

BCI 是如何工作的？人類大腦充滿了神經(jīng)元，每當我們思考、移動、感覺或記憶時，這些神經(jīng)元就會被激活。神經(jīng)元以物理或電信號的形式將信息從身體的一個部位傳遞到另一部位。這些電信號有時以高達150 m/s 的速度傳播。信號路徑大部分是相互絕緣的，但仍然存在一些泄漏。這些泄漏的電信號就是BCI 設(shè)備可以檢測和處理的腦電圖(EEG)。腦電圖讀取來自人腦的信號并將其發(fā)送到放大器。放大的信號由BCI計算機程序進行處理和識別，并根據(jù)識別結(jié)果控制設(shè)備。

為什么BCI 對現(xiàn)代社會如此重要？英國埃塞克斯大學腦機接口博士后研究員戴維德·瓦萊里亞尼表示，人類與技術(shù)結(jié)合可以實現(xiàn)比人工智能更強大的功能。例如，當我們根據(jù)感知與推理相結(jié)合做出決策時，使用神經(jīng)技術(shù)可以改善我們的感知。這可以幫助我們在某些情況下做出更好的決策，例如從安全攝像頭看到非常模糊的圖像并決定是否進行干預(yù)。

腦機接口的分類基于用于測量大腦活動的電極，分為三種類型的腦機接口：侵入式、部分侵入式和非侵入式。侵入式腦機接口

侵入式腦機接口在神經(jīng)外科中，侵入式腦機接口通常以芯片的形式直接植入大腦灰質(zhì)。這些芯片有數(shù)百根短針，可以刺穿大腦皮層，使科學家能夠讀取大腦中數(shù)百個神經(jīng)元的放電情況。然后，神經(jīng)信號被發(fā)送到計算機轉(zhuǎn)換器，計算機轉(zhuǎn)換器使用特殊算法將神經(jīng)信號解碼為計算機可以理解的語音。另一臺計算機接收解碼后的信息并相應(yīng)地向機器發(fā)送指令。侵入式設(shè)備可以獲得最高質(zhì)量的神經(jīng)信號，但它們往往會在灰質(zhì)中形成疤痕組織，導致信號因身體排斥而變?nèi)跎踔羴G失。局部侵入式腦機接口局部侵入式腦機接口裝置植入顱骨內(nèi)，但位于大腦皮層內(nèi)。與非侵入性腦機接口相比，它們可以產(chǎn)生更高分辨率的信號，避免顱骨組織使信號偏轉(zhuǎn)和變形，并且不像侵入性腦機接口那樣容易在大腦中形成疤痕組織。皮質(zhì)電圖（ECoG）以與非侵入性腦電圖方法相同的方式從顱骨下方測量大腦的電活動，但電極嵌入在皮質(zhì)上方的薄塑料墊中。無創(chuàng)腦機接口

非侵入性BCI 也稱為腦電圖(EEG)。腦電圖是最簡單、侵入性最小的BCI 方法。常見的設(shè)備是一組全腦電極。其他包括腦磁圖(MEG) 或磁共振斷層掃描。掃描（捷運）。電極可以讀取大腦信號。無論電極位于何處，基本機制都是相同的：電極測量神經(jīng)元之間的微小電壓差異，然后對信號進行放大和過濾。這些信號由計算機程序解釋，可以在繪圖上以線條的形式呈現(xiàn)信號的時序變化。盡管頭骨阻擋了很多電信號并且會使接收到的信號失真，但這對于大多數(shù)人來說是最能接受的形式。

腦電圖(EEG) 腦電圖(EEG) 通過附著在頭皮上的小金屬盤（電極）檢測大腦的電活動。我們的腦細胞通過電脈沖進行交流，即使在睡眠期間，它們也保持電活動狀態(tài)。此活動在腦電圖記錄上顯示為波浪線。

BCI的組成

BCI的基本組成部分是大腦活動通過一系列過程轉(zhuǎn)換成可以被外部設(shè)備識別和控制的信號。該設(shè)備將信號反饋回人體，從而閉合回路。

信號產(chǎn)生產(chǎn)生腦信號的方式有兩種： 1、主動刺激受試者產(chǎn)生誘發(fā)電信號（圖片、聲音、視頻等）或讓受試者主動想象動作； 2.直接獲取實驗對象的自發(fā)腦電信號。 Quintiq 軟件工程師Sjoerd Lagarde 表示，“刺激誘發(fā)信號的優(yōu)點是信號檢測更容易，因為您可以控制刺激的強度和時間。單獨讀取受試者的EEG 信號更加困難。”

信號檢測神經(jīng)活動信號檢測有多種方式，其中最熟悉的是腦電圖和功能磁共振成像(fMRI)。腦電圖檢測大腦的電活動，功能磁共振成像通過檢測大腦血流相關(guān)的變化間接獲得神經(jīng)活動信號。這些方法各有優(yōu)點和缺點。腦電圖具有更高的時間分辨率（可以直接檢測神經(jīng)活動的瞬間變化），而功能磁共振成像具有更好的空間分辨率（圖片數(shù)據(jù)可以顯示活動發(fā)生的位置）。時空分辨選擇的思想對于其他類型的測量技術(shù)來說本質(zhì)上是相同的。

信號處理最初測量到的神經(jīng)信號數(shù)據(jù)往往包含大量噪聲，主要包括一些運動偽影和儀器噪聲。為了后續(xù)的處理和識別，需要濾除這些噪聲。當實驗對象產(chǎn)生主動信號時，我們一般已經(jīng)知道我們想要檢測的信號類型，例如P300波事件相關(guān)電位。當與任務(wù)相關(guān)的刺激出現(xiàn)時，大腦會產(chǎn)生P300誘發(fā)電位。這個波在腦電圖中顯示為一個大峰值，可以使用不同的機器學習技術(shù)來檢測這些峰值。

信號解釋當我們檢測到感興趣的信號時，我們通常希望利用它們來生成有效的反饋來幫助人類。例如，受試者可以使用腦機接口通過運動想象來控制小鼠活動。此過程通常主要涉及盡可能高效地使用您獲取的數(shù)據(jù)并最大限度地減少BCI 系統(tǒng)中的錯誤。目前的腦機接口系統(tǒng)的準確度相對較低，并且偶爾會出錯（例如，計算機錯誤地認為您正在想象左手運動，而實際上，您正在想象右手運動）。

人工智能如何輔助BCI？首先，腦信號的準確性很容易受到各種生理（如眨眼、肌肉偽影、疲勞和注意力水平）和環(huán)境偽影（如環(huán)境噪聲）的影響，這使得腦電信號的解碼和識別非常困難。由于BCI的主要任務(wù)是神經(jīng)信號的識別，因此判斷式深度學習模型是目前最流行、最強大的信號處理算法。通常腦電圖數(shù)據(jù)非常嘈雜，因為很難獲得清晰且特定的信號。神經(jīng)細胞相互通信，通過頭骨和頭皮傳輸?shù)侥X電圖傳感器的大腦活動很難直接解釋。因此，從受損的神經(jīng)信號中提取有用的信息數(shù)據(jù)并建立適合不同工作條件的魯棒腦機接口系統(tǒng)非常重要。另外，由于腦電生理信號的非平穩(wěn)特性，BCI的信噪比較低。 BCI 中腦電圖數(shù)據(jù)分類的準確性取決于測量通道的數(shù)量、用于訓練分類器的數(shù)據(jù)量以及信噪比(SNR)。在所有這些因素中，SNR是實際情況中最難調(diào)整的。盡管已經(jīng)開發(fā)了一些預(yù)處理和特征工程方法來降低噪聲，但這些方法（例如時域和頻域特征選擇和提取）非常耗時。如果更長，提取的特征信息可能會丟失。此外，特征工程高度依賴于人類在特定領(lǐng)域的專業(yè)知識。人類經(jīng)驗可能有助于捕捉特征的某些方面，但在更一般的情況下還不夠。因此，需要一種算法來自動提取代表性特征。人工智能（AI），特別是深度學習算法，為自動提取可識別特征提供了更好的選擇。然而，目前的人工智能研究主要集中在靜態(tài)數(shù)據(jù)上，因此無法對快速變化的大腦信號進行準確分類。 BCI系統(tǒng)中往往需要新的學習方法來處理動態(tài)數(shù)據(jù)流，例如代理梯度算法、神經(jīng)形態(tài)模擬算法等。到目前為止，深度學習已廣泛應(yīng)用于BCI應(yīng)用中，并成功解決了上述問題。深度學習具有三個優(yōu)勢。首先，它跳過耗時的預(yù)處理和特征工程步驟，直接處理原始大腦信號，并通過反向傳播學習可識別信息。此外，深度神經(jīng)網(wǎng)絡(luò)可以通過深度架構(gòu)捕獲代表性的高級特征及其底層依賴關(guān)系。最后，許多研究證明深度學習算法比支持向量機（SVM）和線性判別分析（LDA）等傳統(tǒng)分類器更強大。這對于BCI系統(tǒng)具有相當大的意義，因為幾乎所有的BCI問題都可以被視為分類問題。

BCI 中使用的深度學習算法——卷積神經(jīng)網(wǎng)絡(luò)（CNN）是BCI 研究中最流行的深度學習模型，它可以利用輸入神經(jīng)活動信號（例如fMRI 圖像、自發(fā)腦電圖等）之間潛在的空間依賴性。 CNN 在某些研究領(lǐng)域的成功證明了它具有極高的可擴展性和可行性（通過可用的公共代碼）。因此，BCI 研究人員有更多機會將CNN 應(yīng)用到他們的工作中。

基于腦電數(shù)據(jù)網(wǎng)格化的級聯(lián)CNN-GRU/LSTM模型的實現(xiàn)是將多通道腦電信號轉(zhuǎn)換為二維圖像序列的第一步。二維網(wǎng)格時間序列通過CNN和遞歸層串聯(lián)進行訓練。驗證和測試。生成式深度學習模型主要用于生成訓練樣本或數(shù)據(jù)增強。換句話說，生成深度學習模型通過提高訓練數(shù)據(jù)的質(zhì)量和數(shù)量來協(xié)助BCI 系統(tǒng)。在BCI領(lǐng)域，生成算法主要用于重建或生成一批大腦信號樣本以增強訓練集。 BCI 中常用的生成模型包括變分自動編碼器（VAE）、生成對抗網(wǎng)絡(luò)（GAN）等。越來越多的研究報告關(guān)注使用CNN 或混合模型進行特征學習。而分類，例如RNN和CNN都具有良好的時空特征提取能力，人們很自然地將它們結(jié)合起來進行時空特征學習。

基于人工智能的腦機接口應(yīng)用

基于人工智能的腦機接口示意圖描述隨著人工智能的信號處理，腦機接口的應(yīng)用范圍得到了極大的擴展，包括光標控制、聽覺控制、肢體控制、拼寫設(shè)備、體感和視覺假肢。其流程主要如下。首先，微電極檢測來自人類大腦皮層的信號并將其發(fā)送到AI系統(tǒng)。其次，AI負責信號處理，包括特征提取和分類，然后輸出處理后的信號以實現(xiàn)上述功能。最后將反饋信息發(fā)送至大腦皮層，調(diào)節(jié)功能。 BCI 的其他一些應(yīng)用包括：睡眠模式分析；疲勞和精神負荷分析；情緒檢測，例如監(jiān)測用戶大腦活動并根據(jù)溫度、濕度、光線等因素調(diào)整空間的系統(tǒng)。最近，日產(chǎn)與Bitbrain 合作推出了首款腦車接口原型；情緒分析；控制裝置（機械臂等）；使用腦電波的身份識別系統(tǒng)；利用經(jīng)顱直接刺激來改善身體運動和反應(yīng)時間；工作分析/最大化生產(chǎn)力，目前正在開發(fā)可以分析操作人員的認知狀態(tài)、精神疲勞、壓力等的應(yīng)用程序，例如飛行員疲勞狀態(tài)認知網(wǎng)絡(luò)識別系統(tǒng)；營銷領(lǐng)域：有研究指出，腦電圖可以用來評估不同媒體對商業(yè)和政治廣告所產(chǎn)生的關(guān)注程度。 BCI還可以對這些廣告造成的印象程度提供解釋，理論上可以用來優(yōu)化在線廣告或電視廣告；在教育領(lǐng)域：BCI可以幫助識別每個學生學習信息的清晰度，教師可以根據(jù)個性化結(jié)果定制每個學生的學習信息。學生之間有效互動；娛樂：例如，BCI 可以用于視頻游戲，因此玩家有一天可以僅使用BCI 來控制他們的角色。在電影行業(yè)，腦機接口可以協(xié)助制作基于觀眾大腦活動的互動電影。未來，觀眾有可能通過共同的大腦活動來共同控制電影，實現(xiàn)完全沉浸式的體驗。軍事領(lǐng)域：目前BCI已被美國國防高級研究計劃局（DARPA）用于士兵駕駛無人機。

BCI應(yīng)用的機遇與挑戰(zhàn)1、人類思維的物質(zhì)基礎(chǔ)非常復雜。將所有思想或行為視為大腦中簡單電信號的結(jié)果是一種非常有限的理解。人腦中大約有1000 億個神經(jīng)元。每個神經(jīng)元都通過復雜的連接網(wǎng)絡(luò)不斷發(fā)送和接收信號，并且存在一些腦電圖無法識別的微妙化學過程。隨著現(xiàn)代工具不斷推動腦科學的發(fā)展，大腦活動的物質(zhì)規(guī)律逐漸被揭示，這也為人們未來實施更高效、更準確的BCI系統(tǒng)（更接近類腦智能的算法）提供了堅實的基礎(chǔ)。 2、信號弱，易受干擾。腦電圖測量微小（微伏級）電壓，但受試者只需眨眼即可產(chǎn)生更強的干擾信號。讀取大腦信號就像電話連接斷開一樣。未來，隨著電子材料技術(shù)和人工智能算法的發(fā)展，腦電圖和植入物的改進可能會在一定程度上克服這個問題。 3. 大多數(shù)BCI設(shè)備不便于攜帶。目前大多數(shù)腦機接口仍然需要與設(shè)備進行有線連接，而那些無線通信的腦機接口則要求受試者攜帶一臺重約10 磅的計算機。但隨著各學科的交叉發(fā)展，這在未來必將實現(xiàn)更好的便攜功能。