華裔教授AI解碼腦電波,上演現實版「讀腦術」

2020-12-14 鈦媒體APP

圖片來源@視覺中國

文｜學術頭條

許多患有神經疾病的患者因喪失語言能力，需要依賴特定的通訊設備進行溝通，這類設備大多利用腦機接口或者頭部、眼睛的動作來控制光標，以選擇屏幕上的字母，從而拼出他們想說的句子。但是，這個蹦單詞的過程，實在無法與人類的正常說話過程相比。

3 月 30 日，《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器，能夠將大腦活動信號直接轉化為句子文本。

具體而言，研究人員首先通過電極記錄受試者說話時的神經活動信號，並用特定語句和神經信號特徵之間的關聯數據訓練 AI 算法，試驗證明，訓練後的機器翻譯算法能夠準確地解碼受試者的神經活動，並將其接近實時地翻譯為句子文本，錯誤率低至 3%。

從大腦「讀取」人的意圖

說話似乎是一件毫不費力的事，但實際上說話卻是人類執行的最複雜的活動之一。十多年前，科學家首次從大腦信號中解碼語言，但是一直以來，語言解碼的準確性和速度遠遠低於自然語言交流。

目前一些用於大腦控制打字的腦機接口技術，其實依賴的是頭部或眼睛的殘餘非語言運動，或者依賴於光標控制以逐個選擇字母並拼出單詞，這種方式目前可以幫助癱瘓的人通過設備每分鐘輸出多達 8 個單詞。

但與流程自然語言交流時每分鐘 150 個單詞的平均速度比起來，現有技術的輸出速度還是太慢了。

理論上來說，腦機接口技術可以通過直接從大腦「讀取」人的意圖，並使用該信息來控制外部設備或移動癱瘓的肢體，來幫助癱瘓的人完成說話或運動。

為了獲得腦機接口直接解碼語言更高的精度，研究人員利用了機器翻譯任務與從神經活動解碼語音到的相似性。也就是說，和機器翻譯類似，解碼語言也是從一種語言到另一種語言的算法翻譯，兩種任務實際上映射到同一種輸出，即與一個句子對應的單詞序列。只不過，機器翻譯的輸入內容是文本，而解碼語言的輸入內容是神經信號。

於是，研究人員盤點了機器翻譯領域的最新進展，並利用這些方法訓練循環神經網絡，然後嘗試將神經信號直接映射為句子。

語言相關的神經活動解碼過程

具體而言，研究人員通過電極記錄四名受試者他們大聲讀出句子時的神經活動。之後，研究人員將這些數據添加到一個循環神經網絡中，從而將規律性出現的神經特徵表示出來，這些神經特徵可能與言語的重複性特徵（比如元音、輔音或發音器官接收的指令）相關。

接著，研究人員通過另一個循環神經網絡逐字解碼這種算法表示，形成句子。研究人員發現，明顯參與言語解碼的腦區，同樣參與言語生成和言語感知。通過這種機器翻譯算法，研究人員在一名受試者身上進行試驗，結果證明通過神經活動解碼為口頭句子的錯誤率低至 3%。

此外，如果利用某人的神經活動和言語對循環網絡進行預訓練後再在另一名受試者身上進行訓練，最終的解碼結果有所改善，這意味著這種方法在不同人員之間或許是可轉移的。但是，還需要開展進一步的研究來更加完整地調查這個系統的功能，將解碼範圍擴展到研究所限語言之外。

腦機接口+AI 合成語音

直接通過解碼大腦活動信號來合成文本或語音，不只是一項科幻般的「讀心術」，更是一種頗有前景的治療方案。

控制光標進行單詞拼寫，只是離散字母的連續串聯，而解碼語言則是一種高效的通信形式。與基於拼寫的方法相比，直接語音或文本合成具有諸多優點，除了以自然語速傳遞無約束詞彙的能力之外，直接語音合成還能捕獲語音的韻律元素，例如音調、語調等。

此外，對於由肌萎縮性側索硬化或腦幹中風引起的癱瘓患者，通過直接記錄來自大腦皮層的神經控制信號來合成語音，是實現自然語言高通信速率的唯一手段，也是最直觀的方法。

去年 4 月，Edward Chang 等人還在 Nature 雜誌發表了開發出一種可以將腦活動轉化為語音的解碼器。這套人類語音合成系統，通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關的腦信號，併合成出受試者想要表達的語音。

Edward Chang

為了重建語音，研究人員設計了一種循環神經網絡（RNN），首先將記錄的皮質神經信號轉化為聲道咬合關節運動，然後將這些解碼的運動轉化為口語句子。

整個過程分為兩個步驟，第一步，將神經信號轉換成聲道咬合部位的運動（紅色），這其中涉及語音產生的解剖結構（嘴唇、舌頭、喉和下頜）。而為了實現神經信號到聲道咬合部位運動的轉化，就需要大量聲道運動與其神經活動相關聯的數據。但研究人員又難以直接測量每個人的聲道運動，因此他們建立了一個循環神經網絡，根據以前收集的大量聲道運動和語音記錄資料庫來建立關聯。第二步，將聲道咬合部位的運動轉換成合成語音。

研究人員的這種兩步解碼方法，產生的語音失真率明顯小於使用直接解碼方法所獲得的語音。在包含 101 個句子的試驗中，聽者可以輕鬆地識別並記錄下合成的語音。

在科幻世界裡，通過意念信號控制外界設備十分酷炫，實際上，在現實世界中，其背後的腦機接口技術已有近百年的歷史。

隨著腦機接口領域科學研究與應用技術的不斷突破，尤其是 AI 算法的加持，為許多當前仍無法解答的難題提供更好了的探索工具，不僅能夠幫助人類進一步了解自己的大腦，更重要的是為診斷、治療腦部及其它嚴重疾病提供了解決方案，甚至廣泛應用於睡眠管理、智能生活和殘疾人康復等領域。

參考資料：https://nature.com/articles/s41593-020-0608-8 https://www.nature.com/articles/s41586-019-1119-1https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ

相關焦點

  • 現實版「讀腦術」;衰老細胞可以恢復年輕狀態!
    1，華裔教授AI解碼腦電波，上演現實版「讀腦術」，大腦所想直接合成文本或語音！來源：學術頭條3 月 30 日，《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器，能夠將大腦活動信號直接轉化為句子文本。
  • 把你的腦電波變成語音或文字,現實版「讀腦術」來了
    3 月 30 日，《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器，能夠將大腦活動信號直接轉化為句子文本。為了獲得腦機接口直接解碼語言更高的精度，研究人員利用了機器翻譯任務與從神經活動解碼語音到的相似性。也就是說，和機器翻譯類似，解碼語言也是從一種語言到另一種語言的算法翻譯，兩種任務實際上映射到同一種輸出，即與一個句子對應的單詞序列。只不過，機器翻譯的輸入內容是文本，而解碼語言的輸入內容是神經信號。
  • 圖靈周報|AlphaGo背後男人獲ACM計算獎、讀腦術有望實現、阿里雲再...
    04 美國科學家用AI解碼腦電波，上演現實版「讀腦術」美國加州大學舊金山分校的科研團隊使用人工智慧（AI）解碼系統，把人的腦電波轉譯成英文句子，最低平均錯誤率只有3%。這項研究3月30日發表在《自然·神經科學》雜誌上。
  • 華裔科學家成功解碼腦電波什麼情況 什麼是腦電波有什麼用
    海峽網訊 近日，美國加州大學舊金山分校的神經外科華裔教授Edward Chang研發出一種可將腦電波轉為語音的解碼器。通過解碼與人類下頜、喉頭、嘴唇和舌頭動作，相關的腦電波信號，合成想表達的語言。什麼是腦電波腦電波（Electroencephalogram,EEG）是一種使用電生理指標記錄大腦活動得方法，大腦在活動時，大量神經元同步發生的突觸後電位經總和後形成的。
  • 美科學家研製讀腦裝置 可將腦電波翻譯成語音
    這種新穎獨特的讀腦術意味著未來有一天通過接入大腦電子信號，可以傾聽那些無法說話人群的思想。大腦以不同的語音來表達獨特的電子活動性，通過觀看人類大腦電子活動性圖形，科學家能夠揭曉該大腦活動性所表達的單詞，這是一項重大研究，能夠「傾聽」無法說話群體的思想。
  • 華裔科學家研製出「腦電波解碼器」,真實版「讀心術」正式面試
    近日，來自美國加州大學舊金山分校的科學家們經過自己的不斷攻關研究，竟然研發出了能夠識別腦電波並將其轉化為語言的編碼器。這套「腦」「機」對接系統，經過解碼與人體舌頭、嘴唇、下頜和喉頭動作的相關的腦電波信號，經過計算機的處理和合成之後，生成出人想表達的語音。為了完成這項研究科學家們首先招募了5位志願者。讓他們說出幾百個語句，同時記錄下他們在說話的過程當中腦電圖高密度信號，並跟蹤了他們控制發聲和發聲器官的大腦區域活動。
  • 腦電波被美科學家成功解碼,但這與意識永生完全兩碼事!
    剛剛收到朋友發過來的一篇文章《腦電波被美科學家成功解碼，人類意識在電腦世界永生或成可能？》。該文作者在文中的喜悅心情溢於言表，以為人類可以通過該技術可以實現意識永生了。這其實是現代科學的一個很大誤區，發軔於西方的現代科技再次向世界傳達了荒謬的理念。該文發表了兩則消息。
  • 腦電波技術新突破 讀心術/腦控將成真
    （原標題：腦電波技術新突破 讀心術/腦控將成真）
  • 日本科學家的AI讀心術,解碼腦電波,還原人眼所見
    大數據文摘公眾號後臺對話框內回復「腦電波」即可下載以上兩篇論文。 還原效果還不錯　　不過這次，京都的這些科學家們開發了一種新技術，利用人工智慧中的深度神經網絡（deep neural networks） 來「解碼」思想。
  • 腦洞科學:催眠術與腦電波是何種關係?
    卡爾在心理治療上倡導催眠術，而弗洛伊德主張徹底禁止催眠術。為何二人如此大分歧？心理上上有二個比較普遍的術語叫：意識、潛意識。這是弗洛伊德心理學的產物。我們每天接觸大量信息，能被大腦所接受的，為意識。沒有被大腦及時處理的，稱為潛意識。意識和潛意識就像是一座漂浮在海面上的冰山，冰面上一角的是意識，冰面下面更多的是潛意識。我們的夢正是夜晚大腦整理這些潛意識的隨機播放。
  • 《三體》進入現實!《Nature》子刊發文,將腦電波翻譯成句子,錯誤率...
    策劃&撰寫：韓璐 《三體》中的橋段正在成為現實。 在腦機接口賽道上，此前國內清華大學腦機接口實驗室曾經讓人們成功通過外接設備實現「腦電波打字」，浙大團隊也藉助顱內腦機接口設備讓中風患者控制機械臂做到喝可樂等。
  • 人類的腦電波可以解讀?現代版讀心術上線,人類世界或不再有謊言
    實際上，科學家通過對腦電波的收集也可以實現讀心術的能力。 根據最新的《自然神經科學》發表的一篇文章，研究人員可以把腦電波進行轉換，然後通過AI系統把腦電波翻譯成人類的語言，這樣人類就可以檢測人腦信息。
  • AI學會讀心術?分析腦電波就能猜出你正在觀看的視頻
    「我們已經證明，觀察不同內容的視覺場景會影響人的腦電波，因此我們可以通過分析相應的EEG(腦電圖)信號來區分不同場景類別。」神經機器人實驗室的工程師Anatoly Bobe說道，「然後，[我們] 創建了一個系統，從腦電圖信號特徵重建圖像。」研究人員通過向人工智慧展示不同物體的視頻剪輯，以及觀看者的腦電波記錄，來訓練它。
  • 什麼是腦電波?意念控制,離我們還有多遠?
    該遊戲方式是：通過佩戴在頭上的傳感器，採集比試者的腦電波信號加以放大（據說是要放大10000倍以上），以此來控制小球的運動，腦電波信號的強弱，作用在小球上的力也就不同，於是球就會向弱者的方向滾動。其實這個遊戲主要靠集中注意力來增加腦電波的強度，算是【意念控制】最初級的應用了。
  • 英破解部分腦電波含義 頻率與臉部位置相關聯
    只要測量你的腦電波就能知道你在想什麼，這聽起來像是科幻小說，不過英國一項最新研究已經在這方面取得了一些進展，可以初步解碼具備某些屬性的腦電波所代表的意義。英國格拉斯哥大學的研究人員在新一期美國學術刊物《科學公共圖書館生物卷》上報告說，他們請6名志願者參與試驗。
  • 研究探索從腦電波中分析大腦所想信息
    只要測量你的腦電波就能知道你在想什麼，這聽起來像是科幻小說，不過英國一項最新研究已經在這方面取得了一些進展，可以初步解碼具備某些屬性的腦電波所代表的意義。
  • 《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄
    《三體》中的橋段正在成為現實。在腦機接口賽道上，此前國內清華大學腦機接口實驗室曾經讓人們成功通過外接設備實現「腦電波打字」，浙大團隊也藉助顱內腦機接口設備讓中風患者控制機械臂做到喝可樂等。而現在，最新《自然·神經科學》的一篇論文顯示了腦機接口領域的一項新突破，來自美國加州大學舊金山分校的神經外科教授Edward Chang及其同事，讓機器能夠將腦電波信號直接翻譯為文字語句，意味著人不張口就能「說出」心中所想。
  • 用腦電波定製衣服音樂成時髦
    除了日內瓦大學的研究有突破性進展外，在國內，很多高校研究所也都在這個方面取得了不錯的進展，不久前，華南理工大學李遠清教授團隊就在多模態腦機接口方面，以及腦機接口輪椅等方面取得了很多成果。從腦波控制機械臂到意念控制輪椅，再到腦控滑鼠，「腦機交互」這個概念讓普通人聽起來感覺很專業，距離日常生活也很遙遠。但是，科學界對腦電波的研究卻一直在向我們的日常靠近，腦科學的前景讓人充滿了期待。
  • 腦電波在現實生活中的應用?
    近期看到一篇作者陽光寫的《腦波控制萬物 一次奇幻的揭秘腦科學之旅》文章，裡面列舉了腦電波在現實生活中的應用，供參考。導讀：隨著網際網路的發展以及觸角的延伸，大腦——這個人體中最神秘的器官正逐漸展現出其更新奇的一面。本文作者，就在近期訪問一家腦電波高科技應用公司時，通過腦電波的測試和體驗，揭開了一部分腦電波如何指揮人的自主意念，在大腦皮層、網際網路、伺服器、機器人之間自由穿梭的秘密，描述了腦電波在醫療健康領域的應用場景，並對人機互動的未來做了大膽的猜想。