華裔教授AI解碼腦電波,上演現實版「讀腦術」

2020-12-23 鈦媒體APP

圖片來源@視覺中國

文｜學術頭條

許多患有神經疾病的患者因喪失語言能力，需要依賴特定的通訊設備進行溝通，這類設備大多利用腦機接口或者頭部、眼睛的動作來控制光標，以選擇屏幕上的字母，從而拼出他們想說的句子。但是，這個蹦單詞的過程，實在無法與人類的正常說話過程相比。

3 月 30 日，《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器，能夠將大腦活動信號直接轉化為句子文本。

具體而言，研究人員首先通過電極記錄受試者說話時的神經活動信號，並用特定語句和神經信號特徵之間的關聯數據訓練 AI 算法，試驗證明，訓練後的機器翻譯算法能夠準確地解碼受試者的神經活動，並將其接近實時地翻譯為句子文本，錯誤率低至 3%。

從大腦「讀取」人的意圖

說話似乎是一件毫不費力的事，但實際上說話卻是人類執行的最複雜的活動之一。十多年前，科學家首次從大腦信號中解碼語言，但是一直以來，語言解碼的準確性和速度遠遠低於自然語言交流。

目前一些用於大腦控制打字的腦機接口技術，其實依賴的是頭部或眼睛的殘餘非語言運動，或者依賴於光標控制以逐個選擇字母並拼出單詞，這種方式目前可以幫助癱瘓的人通過設備每分鐘輸出多達 8 個單詞。

但與流程自然語言交流時每分鐘 150 個單詞的平均速度比起來，現有技術的輸出速度還是太慢了。

理論上來說，腦機接口技術可以通過直接從大腦「讀取」人的意圖，並使用該信息來控制外部設備或移動癱瘓的肢體，來幫助癱瘓的人完成說話或運動。

為了獲得腦機接口直接解碼語言更高的精度，研究人員利用了機器翻譯任務與從神經活動解碼語音到的相似性。也就是說，和機器翻譯類似，解碼語言也是從一種語言到另一種語言的算法翻譯，兩種任務實際上映射到同一種輸出，即與一個句子對應的單詞序列。只不過，機器翻譯的輸入內容是文本，而解碼語言的輸入內容是神經信號。

於是，研究人員盤點了機器翻譯領域的最新進展，並利用這些方法訓練循環神經網絡，然後嘗試將神經信號直接映射為句子。

語言相關的神經活動解碼過程

具體而言，研究人員通過電極記錄四名受試者他們大聲讀出句子時的神經活動。之後，研究人員將這些數據添加到一個循環神經網絡中，從而將規律性出現的神經特徵表示出來，這些神經特徵可能與言語的重複性特徵（比如元音、輔音或發音器官接收的指令）相關。

接著，研究人員通過另一個循環神經網絡逐字解碼這種算法表示，形成句子。研究人員發現，明顯參與言語解碼的腦區，同樣參與言語生成和言語感知。通過這種機器翻譯算法，研究人員在一名受試者身上進行試驗，結果證明通過神經活動解碼為口頭句子的錯誤率低至 3%。

此外，如果利用某人的神經活動和言語對循環網絡進行預訓練後再在另一名受試者身上進行訓練，最終的解碼結果有所改善，這意味著這種方法在不同人員之間或許是可轉移的。但是，還需要開展進一步的研究來更加完整地調查這個系統的功能，將解碼範圍擴展到研究所限語言之外。

腦機接口+AI 合成語音

直接通過解碼大腦活動信號來合成文本或語音，不只是一項科幻般的「讀心術」，更是一種頗有前景的治療方案。

控制光標進行單詞拼寫，只是離散字母的連續串聯，而解碼語言則是一種高效的通信形式。與基於拼寫的方法相比，直接語音或文本合成具有諸多優點，除了以自然語速傳遞無約束詞彙的能力之外，直接語音合成還能捕獲語音的韻律元素，例如音調、語調等。

此外，對於由肌萎縮性側索硬化或腦幹中風引起的癱瘓患者，通過直接記錄來自大腦皮層的神經控制信號來合成語音，是實現自然語言高通信速率的唯一手段，也是最直觀的方法。

去年 4 月，Edward Chang 等人還在 Nature 雜誌發表了開發出一種可以將腦活動轉化為語音的解碼器。這套人類語音合成系統，通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關的腦信號，併合成出受試者想要表達的語音。

Edward Chang

為了重建語音，研究人員設計了一種循環神經網絡（RNN），首先將記錄的皮質神經信號轉化為聲道咬合關節運動，然後將這些解碼的運動轉化為口語句子。

整個過程分為兩個步驟，第一步，將神經信號轉換成聲道咬合部位的運動（紅色），這其中涉及語音產生的解剖結構（嘴唇、舌頭、喉和下頜）。而為了實現神經信號到聲道咬合部位運動的轉化，就需要大量聲道運動與其神經活動相關聯的數據。但研究人員又難以直接測量每個人的聲道運動，因此他們建立了一個循環神經網絡，根據以前收集的大量聲道運動和語音記錄資料庫來建立關聯。第二步，將聲道咬合部位的運動轉換成合成語音。

研究人員的這種兩步解碼方法，產生的語音失真率明顯小於使用直接解碼方法所獲得的語音。在包含 101 個句子的試驗中，聽者可以輕鬆地識別並記錄下合成的語音。

在科幻世界裡，通過意念信號控制外界設備十分酷炫，實際上，在現實世界中，其背後的腦機接口技術已有近百年的歷史。

隨著腦機接口領域科學研究與應用技術的不斷突破，尤其是 AI 算法的加持，為許多當前仍無法解答的難題提供更好了的探索工具，不僅能夠幫助人類進一步了解自己的大腦，更重要的是為診斷、治療腦部及其它嚴重疾病提供了解決方案，甚至廣泛應用於睡眠管理、智能生活和殘疾人康復等領域。

參考資料：https://nature.com/articles/s41593-020-0608-8 https://www.nature.com/articles/s41586-019-1119-1https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ

相關焦點

  • 現實版「讀腦術」;衰老細胞可以恢復年輕狀態!
    1，華裔教授AI解碼腦電波，上演現實版「讀腦術」，大腦所想直接合成文本或語音！來源：學術頭條3 月 30 日，《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器，能夠將大腦活動信號直接轉化為句子文本。
  • 日本科學家的AI讀心術,解碼腦電波,還原人眼所見
    大數據文摘公眾號後臺對話框內回復「腦電波」即可下載以上兩篇論文。 還原效果還不錯　　不過這次，京都的這些科學家們開發了一種新技術，利用人工智慧中的深度神經網絡（deep neural networks） 來「解碼」思想。
  • 什麼是腦電波?意念控制,離我們還有多遠?
    該遊戲方式是：通過佩戴在頭上的傳感器，採集比試者的腦電波信號加以放大（據說是要放大10000倍以上），以此來控制小球的運動，腦電波信號的強弱，作用在小球上的力也就不同，於是球就會向弱者的方向滾動。其實這個遊戲主要靠集中注意力來增加腦電波的強度，算是【意念控制】最初級的應用了。
  • 《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄
    《三體》中的橋段正在成為現實。在腦機接口賽道上，此前國內清華大學腦機接口實驗室曾經讓人們成功通過外接設備實現「腦電波打字」，浙大團隊也藉助顱內腦機接口設備讓中風患者控制機械臂做到喝可樂等。而現在，最新《自然·神經科學》的一篇論文顯示了腦機接口領域的一項新突破，來自美國加州大學舊金山分校的神經外科教授Edward Chang及其同事，讓機器能夠將腦電波信號直接翻譯為文字語句，意味著人不張口就能「說出」心中所想。
  • 用腦電波控制無人機!你的智商還夠用嗎?
    無人機競賽近年來比較常見的玩法是FPV（第一人稱視角飛行），而在近日，一場特殊的無人機競賽在佛羅裡達大學籃球場館內上演，因為參賽選手不是靠遙控器讓無人機起飛和飛行
  • 愛因斯坦說「鬼魂」是真實存在的,它就是腦電波!
    他認為所謂的鬼魂，實際上是人的腦電波，當人去世後腦電波會在空間遊蕩。質能守恆告訴我們，這個世界上的任何物質，任何能量，都是不可能消失的。只是從一種形態變成了另一種形態。那麼人的腦電波呢？腦電波是什麼？人的腦電波其實就是一種無線電波，跟正常的電信號沒有什麼區別。這樣說來，腦電波應該也並不會因為人的死亡而消失，依然以某種形式存在著。這就好像用手機打電話，當你的聲音被轉化為電信號在空中擴散發射的這個過程中，它是實際存在的，但是卻是無法被人的五官給感知的，僅僅能夠通過儀器來發現。
  • 展望未來VR世界10年後可能會由我們的腦電波來創造
    隨著虛擬實境走向主流，庫克認為現在是讓腦波讀取技術發揮能力的時候了。他的公司EyeMynd希望創建一個作業系統，將腦電波轉化為VR世界中的行為。沒有手機、沒有控制器——完全依靠靠頭腦中的念頭，你就可以在虛擬世界中漫遊。 　　「十年之後，這一點就會變得顯而易見了，」庫克說。他對自己的發明充滿了信心和熱忱。
  • 乘翼翱翔全記錄,解碼機長煉成術!
    乘翼翱翔全記錄，解碼機長煉成術！喜歡此內容的人還喜歡原標題：《乘翼翱翔全記錄，解碼機長煉成術！》
  • 卡耐基梅隆大學教授談馬斯克腦機接口:沒有體現神經解碼進展
    腦機接口科學家、卡耐基梅隆大學生物醫學工程系主任賀斌教授在接受澎湃新聞（www.thepaper.cn）記者採訪時評價稱，馬斯克演示了在腦機接口設備小型化和無線通信等工程領域的發展，但似乎沒有展現神經解碼方面的「任何重大進展」。8月29日，在超過兩百萬人關注下，馬斯克直播展示了新一代腦機接口植入物、手術機器人和一頭被植入腦機接口設備的小豬。
  • 講述解碼生命的故事!《解碼生命》(第二版)新書發布!
    ：從多視角看生命》（第二版）新書今天（12月30日）正式發布！　　《解碼生命：從多視角看生命》（第二版）一書逾240萬字，由中國科學院院士、上海交通大學Bio-X研究院院長賀林教授領銜主編，雲集了近200位在生命科學研究和應用領域耕耘多年的國內外知名專家和學者。
  • 陝西漢中一景區上演現實版「魚躍龍門」
    陝西漢中一景區上演現實版「魚躍龍門」 近日，陝西漢中黎坪景區上演現實版「魚躍龍門」。
  • 比利時首位華裔王妃,網友:現實版灰姑娘
    比利時首位華裔王妃，網友：現實版灰姑娘對於很多女性都有一個童話夢，也曾經幻想自己就是其中的女主角。當今世界上二十多個國家保留了王室，也有很多平民女子嫁入王室。本期小編為大家介紹的主人公，是比利時王室的李然王妃。二十六歲的廣東美女嫁王子，成為比利時首位華裔王妃，網友紛紛感慨她是現實版灰姑娘。
  • 用腦電波控制無人機辦比賽?可能!
    佛羅裡達大學的一名計算機科學教授 Juan Gilbert 稱，這項腦機接口技術利用腦波探測技術，通過識別人腦想某件具體事情時所形成的特殊腦波圖式來操作無人機。因為它目前的空間感仍然很差，而且由於頭蓋骨的阻礙，探測器所能捕捉到的腦電波訊號並沒有理想中的那麼集中而有效。此外，相較於植入類的腦機接口，操作者需要進行更多的注意力方面的訓練。否則，你用腦波控制的無人機可能會掉下來。
  • |安德烈亞·斯託科|大腦|腦電波|遙控器...
    清華大學神經工程研究所高上凱教授說。「瓦肯人式心靈融合」2013年8月的一天，美國一些科研人員在一次試驗中藉助網際網路把一個人的腦電波信號傳入另一人的大腦運動皮層，嘗試以一人所想「遙控」另一人動作，類似科幻電影《星際迷航》中瓦肯人的特殊能力「心靈融合」。
  • 【案件播報】男子上演現實版「偷菜」
    【案件播報】男子上演現實版「偷菜」 2020-12-23 17:49 來源：澎湃新聞·澎湃號·政務
  • 腦電圖,腦電波,腦磁圖,科學還是忽悠?
    在臨床上，腦電既可用於功能性疾病（如癲癇、精神分裂症、帕金森、阿爾茲海默症等）的診斷，也可協助評價療效和判斷預後，在最近十分熱門的腦機接口方面，也得到了應用，比如可以解碼用戶意願，控制外部環境和設備等；腦磁在臨床的應用主要包括顱內手術靶點定位、癲癇病灶定位、腦功能區定位、腦功能損害程度判斷等，相比之下，由於腦磁設備昂貴不易攜帶，必須安裝在特定的磁屏蔽室，且線圈必須用液氦進行冷卻等
  • 現實版冰雪奇緣正在青島上演
    現實版冰雪奇緣正在青島上演 2021-01-12 18:31 來源：澎湃新聞·澎湃號·政務
  • 中國科學家揭示腦電波調控機制 有望解開精神疾病機理
    對於精神分裂這一疾病產生的原因，至今人類尚不了解，只是通過腦電波的觀察能夠發現他們大腦中存在一些異常放電現象。　　12月20日，國際腦科學研究的頂級學術期刊《神經元》（Neuron）刊發了北京師範大學認知神經科學與學習國家重點實驗室章曉輝教授研究組關於腦電波生成機制的重要發現。他們的研究詳細地闡明了大腦皮層中由不同類型神經元組成的神經環路驅動形成不同頻率腦電波的機理。
  • 現實版《白宮陷落》正在上演!
    電影《白宮陷落》是2013年的好萊塢大片，觀眾不會想到，電影中的狗血劇情，7年後真的要在現實中上演了。美國華盛頓哥倫比亞特區，因黑人弗洛伊德之死導致的示威遊行持續發酵，民眾的怒火燒向白宮。大概整理了現實版《白宮陷落》的劇情，其緊張激烈程度，主要情節如下。1，聚集從當地時間29日傍晚開始，示威者向白宮聚集，一直到30日凌晨，數百名示威者徹夜在白宮北廣場抗議。
  • 真正ai換臉是對現實行為的一種抽象模擬
    ai換臉技術引起很多人的擔憂，因為現在很多人把換臉技術用於反騙，這對我們有什麼影響呢？帶著這樣的疑問，我們前天晚上請來一位ai換臉專家，給我們分享關於ai換臉的方方面面。他講述的換臉實驗讓我印象很深刻，換的姿勢不同，效果卻完全不同，換臉技術被人類技術迷戀已久，有人說:ai換臉等於自閉智能，我們還只是一些人工智慧，才被人類僅僅掌握，要知道自閉和語言智能是兩個概念，兩者之間最大的區別就是大腦的執行邊界在哪裡，我們又該如何看待ai換臉技術，真正的ai換臉究竟是什麼呢？換臉並不是人類製造出來的。