人工智慧讀心術

大資料文摘出品

編譯：張秋玥、笪潔瓊

對於許多無法發出聲音的人來說，他們想說的話會通過某種訊號隱藏在大腦中。

人類無法直接破譯這些訊號。但是，最近有三個研究小組在“破譯”這種大腦語言密碼上取得了一定進展。

Science雜誌最新報導了哥倫比亞大學（Columbia University）、德國不萊梅大學（Bremen）和加州大學舊金山分校的三個研究小組的相關研究：通過手術，他們在大腦上放置電極，蒐集電極產生的資料，再將其通過計算機變成語音資訊；接著通過神經網路模型，他們重建了在某些情況下，可以被人類聽眾所理解的單詞和語句。

通過計算機讓失去語言能力的人表達自己並不罕見，物理學家斯蒂芬·霍金在世時，就會通過拉緊他的臉頰肌肉，以觸發安裝在眼鏡上的開關。對於經歷中風或其他疾病失去說話能力的人，他們可以使用他們的眼睛或做出其他小幅動作用來控制游標或選擇螢幕上的字母。

但是，如果腦機介面直接重塑語音，這樣的患者可能會重新獲得更多曾經喪失的能力：例如，控制音調變化，或者介入一個快速的對話。

研究該問題的道路困難重重。哥倫比亞大學（Columbia University）電腦科學家Nima Mesgarani說：“我們正試圖找出在不同時間點開啟與關閉神經元的模式，並由此推斷語音內容。” “神經元間的對映並不淺顯直白。” 這些訊號如何轉換為語音聲音因人而異，因此模型必須針對每個人進行獨特“訓練”。

這些模型將在非常精確的資料上表現最好——而蒐集這些精準的資料需要開啟我們的頭蓋骨。

研究人員只能在極少數情況下才會進行此類危險性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產生的電讀數能夠幫助外科醫生定位以避開關鍵的語音及運動區；另一種情況是在手術前為癲癇患者植入電極並保持數天以確定癲癇發作起因。

瑞士日內瓦大學神經工程師Stephanie Martin表示說，“我們最多隻有20分鐘，最多30分鐘來收集資料——真的非常非常受限。”

新論文背後的研究組儘量最大化利用資料、將資訊提供給神經網路；神經網路通過將資訊傳遞到計算“節點”層來處理複雜的行為模式。網路通過調整節點之間的連線來學習。本實驗則使用人類產生或聽到的語音以及與此同時大腦活動的資料來訓練神經網路。

Mesgarani的團隊的研究使用了五名癲癇患者的資料。

隨著病人們聽到故事錄音以及0至9數字錄音，他們的神經網路同步分析其聽覺皮層（該皮層在語音和聽力過程中都很活躍）活動。隨後計算機僅根據神經資料來重新生成數字。有一組聽眾會在計算機“說出”數字同時對其進行評估；其精確度大約為75%。

由德國不萊梅大學（Bremen）電腦科學家Tanja Schultz領導的另一個團隊使用了六名接受腦腫瘤手術的人的資料。

他們讓被測試者朗讀單音單詞，用麥克風捕捉他們的聲音。同時，大腦的語音規劃區和運動區產生的電極會被記錄下來（這些電極向聲道傳送命令以清楚地表達單詞）。

現在正與馬斯特裡赫特大學（Maastricht）合作的電腦科學家Miguel Angrick和Christian Herff訓練了一個將電極讀數對映到錄音然後從以前看不見的大腦資料中重建單詞神經網路。根據一項計算機評分系統，大約40％的計算機生成單詞是可以理解的。

最後，加州大學舊金山分校的神經外科醫生Edward Chang和他的團隊根據由三名癲癇患者大聲朗讀語音引起的、從語言及運動區域捕獲的大腦活動，重建了整個句子。

線上上測試中，有166人聽懂了其中一個句子，並從10項文字選項中進行選擇。超過80％的情況下模型都能夠正確識別句子。研究人員還進一步改進了模型：他們使用它根據人類的脣語來重新建立句子。Herff說，這是一項重要的結果——“離我們所有人都設想到的‘語言修復’更近了一步。”

然而，“我們真正想知道的是當患者不能說話時，（這些方法）將能夠如何起作用”，加州聖地亞哥州立大學研究語言生成的神經科學家Stephanie Riès說。

一個人默默說話或在自己腦中聽到自己聲音時的訊號，與真正說話或聽到某些內容時產生的訊號並不是完全相同的。如果沒有外部聲音來匹配大腦活動，計算機甚至可能連理清內部語音開始與結束位置這種任務都很難完成。

奧爾巴尼紐約州衛生部國家自適應神經技術中心的神經工程師Gerwin Schalk說，解碼大腦中的演講將需要“科學大躍進”：“根本不清楚如何做到這一點。”

Herff說，有一種可能的方法，是向大腦-計算機互動介面的使用者提供反饋：如果他們能夠實時聽到計算機的語音解釋，他們可能能夠即時調整他們的想法以獲得理想結果。

通過對使用者和神經網路的充分訓練，大腦和計算機可能最終能達成一致。

相關報導：

https://www.sciencemag.org/news/2019/01/artificial-intelligence-turns-brain-activity-speech?fbclid=IwAR0bYvZRQQArCULCmbmboMNUDOw9lONPiJGObWagma6tDNuNQIl5oHhHKw4