科學家發明了一種「神經解碼器」,可以將大腦活動轉化為語言

2020-12-05 啾咪科技

讀心術機器的想法可能會讓很多人感到震驚,但一種能將大腦活動轉化為語言的新設備,可能是那些失去聲音功能的病人走向生命線的第一步。

隨著我們記錄腦電波的能力不斷提高,以及機器學習方法使解碼過程變得越來越容易,尋找將我們的思想轉換成機器可讀信號的方法是一個蓬勃發展的研究領域。

最引人注目的用例之一是幫助那些因受傷或疾病而失聲的人重新說話。很長一段時間,我們已經能夠做到的最好的在這方面的著名物理學家史蒂芬·霍金使用的設備,用戶選擇的字母或單詞從屏幕使用運動的肌肉,他們仍然可以控制每分鐘只有幾句話。

但是現在,加州大學舊金山分校的科學家們已經證明了一種方法,可以將大腦記錄的信號轉換成可廣泛理解的句子。

發表在《自然》雜誌上的研究人員採用了一種新的方法來解決這個問題。他們並沒有直接將大腦信號轉換成聲音,而是將其作為控制模擬聲道運動的指令,然後用合成器將這些運動轉換成語音。

這項研究是在癲癇患者的大腦中植入電極來監測癲癇發作的情況下進行的。研究人員讓5名志願者大聲朗讀幾百句話,同時記錄他們在講話過程中控制動作的區域的音頻和神經活動。

培訓系統是一個多階段的過程。首先,研究人員使用之前發表的一個模型來處理音頻,該模型推斷出產生聲音的嘴唇、舌頭或下巴的物理運動。

然後根據該模型的輸出訓練一個神經網絡,患者的神經記錄有效地為每個參與者創建了一個虛擬的聲道,可以將他們的大腦信號映射到言語活動中。然後,他們訓練第二個神經網絡對語音和第一個神經網絡的輸出進行訓練,以了解每組動作對應的聲音。

結果是一個神經解碼器,它可以接收連續的大腦信號,將它們轉換成虛擬聲道中的物理運動,然後解碼這些運動,創造出與語音大致匹配的合成句子。

這個系統並不完美。為了測試這種方法的準確性,研究人員讓來自亞馬遜土耳其機械公司(Amazon Mechanical Turk)的眾包工人來評估輸出結果,但即使讓他們從僅有的25個單詞中選擇,他們成功地轉錄出完整句子的時間也不到一半。然而,大約70%的單詞是可理解的,這比目標受眾目前能理解的0 %的單詞要好得多。

目前最大的限制是,這些測試針對的是那些沒有語言障礙的人。研究小組讓一名參與者在不說話的情況下通過移動嘴巴來模仿句子,結果顯示,解碼器仍然可以合成語音,儘管不那麼準確。

但目前還不清楚這種方法是否適用於那些失去了活動聲道能力的人,或者從來沒有這樣做過的人。雖然這種方法已經產生了迄今為止最令人印象深刻的結果,但從長遠來看,最近嘗試直接從聽覺皮層解碼語音的其他方法可能更有用。

另一個障礙是,這種方法要求人們進行侵入性手術,在大腦中安裝電極,以便這種方法發揮作用。專家們一致認為,使用腦電圖耳機對大腦信號進行外部記錄,根本無法捕捉到足夠詳細的記錄,用於這種應用。

但也有一些資金充足的初創公司,比如Kernel和Neuralink,正在開發新一代更無縫、更靈活的腦機接口。這些最初是針對醫療應用的,但長期目標是把它們變成一種消費設備,因此,讀心術機器可能很快就會成為現實。

相關焦點

  • 英漢雙語-人工智慧可以將人類大腦活動轉化為語言,高科技
    對於許多癱瘓和不能說話的人來說,他們想說的話的信號隱藏在他們的大腦裡。目前還沒有人能夠直接破譯這些信號。但最近,三個研究小組在將電極植入大腦的數據轉化為計算機生成的語音方面取得了進展。他們利用被稱為神經網絡的計算模型,重建了在某些情況下人類聽眾能夠理解的單詞和句子。
  • 科學家利用大腦電極實現將思想直接轉化為語言!
    因為這項實驗的最終目標是將思想直接轉化為語言。在手術臺上,Mehta小心翼翼地在病人大腦的左側表面插入了一組扁平的微電極陣列,覆蓋了大腦聆聽演講和構思演講的區域。當一個人在聽心裡的聲音說他想說的話時(通常速度非常之快,所以幾乎是沒有意識的),通過偷聽他大腦灰質中的電脈衝,然後將這些信號無線傳輸到電腦解碼,電極和系統的其餘部分就將會超越「運動」和「感覺」成為第一個「大腦-計算機接口」。
  • 人類將可能操控AI?神經網絡語言處理工作原理被破解
    這種改進是適度的,但它指出了對神經網絡的分析可能有助於提高人工智慧系統的準確性。「從歷史角度看,在機器翻譯裡,有一個具有不同層次的金字塔,」 CSAIL一位高級研究科學家說。這位科學家在是麻省理工學院電氣工程和計算機科學的畢業生,曾參與Yonatan Belinkov項目。」在最低層有文字,表層形式,金字塔的頂層是一種語際表示,在做語法和語義時會達到不同的層次。
  • 華裔教授AI解碼腦電波,大腦所想直接合成文本或語音
    3 月 30 日,《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器,能夠將大腦活動信號直接轉化為句子文本。從大腦「讀取」人的意圖說話似乎是一件毫不費力的事,但實際上說話卻是人類執行的最複雜的活動之一。十多年前,科學家首次從大腦信號中解碼語言,但是一直以來,語言解碼的準確性和速度遠遠低於自然語言交流。
  • 大腦如何將外部信息轉化為記憶?
    科技日報訊 (記者顧鋼)人類大腦如何將外部信息轉化為自己的記憶?作為「人類大腦計劃」的一部分,來自德國、瑞典和瑞士的科研小組研究了大腦紋狀體中的神經元迴路。研究結果發表在近期的《計算生物學》雜誌上,對理解神經系統的基本功能具有重要意義。
  • 科學家們使用人工智慧神經網絡來翻譯大腦活動中的語言
    然後,所有的數據都被交給一個神經網絡來「學習」如何解釋大腦信號,在此之後,最後的聲音被重建,讓聽者識別。這些結果為腦-計算機接口(BCIs)領域帶來了希望,在這個領域,基於思維的交流正迅速從科幻小說領域轉向現實。把人腦和電腦連接起來的想法並不新鮮。事實上,近年來已經取得了一些相關的裡程碑,包括使癱瘓的人能夠用他們的腦電波操作平板電腦。
  • 「腦活動翻譯機」誕生:將神經信號直接映射為句子
    據英國《自然·神經科學》雜誌30日發表的一項腦機接口最新研究,美國科學家報告了一種能夠以較高準確率解碼神經活動,並將其翻譯為句子的機器翻譯算法。通過該算法,可將神經信號直接映射為句子。當人類思考時,大腦皮層中的神經元會產生微小的電流,不同的思考活動,激活的神經元也不同——這就是腦機接口技術所依靠的原理。但一直以來,腦機接口在解碼神經活動方面只取得了有限的成功,其準確率依然遠遠低於解碼自然言語——過去的腦機接口只能解碼口頭詞語的片段或口頭詞組中不到40%的詞語。
  • 科學家研發出「讀心術」,直接將腦電波翻譯成文本,錯誤率低至 3%
    美國加州大學舊金山分校的科學家,已經訓練出一種算法,可以直接將受試者的腦電波實時翻譯成句子,錯誤率僅為 3% 。這項研究發表在《自然神經科學》(Nature Neuroscience)雜誌上,他們招募了 4 位志願者,這些志願者被要求多次朗讀 30-50 個固定句子,而電極記錄下他們的大腦活動。
  • 大腦如何將外部信息轉化為記憶?新研究破譯突觸可塑性機制
    科技日報訊 人類大腦如何將外部信息轉化為自己的記憶?作為「人類大腦計劃」的一部分,來自德國、瑞典和瑞士的科研小組研究了大腦紋狀體中的神經元迴路。研究結果發表在近期的《計算生物學》雜誌上,對理解神經系統的基本功能具有重要意義。
  • ACL論文 | 深度學習大神新作,神經網絡的自然語言翻譯應用
    Manning進行了關於神經機器翻譯(NMT)的講座。神經機器翻譯是一種簡單的新架構,可以讓機器學會翻譯。該方法雖然相對較新,已經顯示出了非常好的效果,在各種語言對上都實現了最頂尖的表現。神經網絡在自然語言處理方面,未來有巨大的應用潛力。
  • 科學家成功將腦信號直接轉換為語音,特殊群體的福音
    紐約哥倫比亞大學的神經工程師說:他們已經創建了一個系統,可以將人類的思想轉化為可識別的語音,這不僅會改變醫學,而且還將徹底改變交流。該成果已經發表在《Scientific Reports》上​。​大腦思維行為研究所的研究人員通過監視受試者的大腦活動,能夠訓練人工智慧,將思維模式轉化為可理解的句子。研究員將患有疾病或外傷的言語患者視為最早採用這項技術的使用者。
  • 語言是如何把信息塞進大腦裡的?-虎嗅網
    最近他的實驗室完成一項基於自然行為設計的腦活動研究,在語言神經學領域發現了一些超出預期的結果。和珀佩爾的批評類似的觀點可以回溯到數十年前。在70年代,頗具影響力的計算神經科學家大衛·馬爾表示,要想了解行為產生的原因,我們需要研究大腦和其他信息處理系統面臨的具體問題和產生的具體解決方案。他稱其為計算層分析。
  • 湖州市民知識小課堂丨大腦如何將外部信息轉化為記憶?
    人類大腦如何將外部信息轉化為自己的記憶?作為「人類大腦計劃」的一部分,來自德國、瑞典和瑞士的科研小組研究了大腦紋狀體中的神經元迴路。研究結果發表在近期的《計算生物學》雜誌上,對理解神經系統的基本功能具有重要意義。大腦信息處理發生在通過突觸連接的神經迴路內,突觸的任何變化都會影響我們記憶事物,或對某些刺激做出反應的方式。
  • 孤獨感可以被關閉?科學家或已找到相應大腦神經迴路
    ,我們就可以識別出那些有風險的人,並為新的幹預措施做好準備。這項技術需要向大腦中注射蛋白質,還需要將光纖穿過頭骨,直接植入大腦,由於侵入性太強,目前不能用於人體,但研究人員可以在活動自如的齧齒動物體內調節神經元,然後觀察它們的行為。於是,泰伊開始在齧齒動物身上展開研究。
  • 一種新神經遞質可降低神經元活動
    他們的研究有可能促進更深入地了解從藥物成癮到抑鬱症等許多腦疾病,這些疾病共享了某些參與調解大腦活動的信號分子。 由哈佛大學醫學院神經生物學教授Bernardo Sabatini領導的研究小組利用小鼠模型研究了紋狀體(與運動和學習有關的大腦區域)中的多巴胺神經元。在人體,這些神經元釋放一種稱作多巴胺的神經遞質,使得我們能夠行走、說話、甚至在鍵盤上打字。
  • 香港大學科學家發明可以將廢熱轉化為電能的回收裝置
    【能源人都在看,點擊右上角加'關注'】香港大學(HKU)的工程師剛剛發明了直接熱充電電池(DTCC)並申請了專利,該設備是一種可以將低級熱量轉化為可用電能的回收裝置。從家中的燈,空調和烤箱到辦公室的計算機,到處都會產生低級熱量。
  • 研究比較了成年人的神經活動和語言理解能力
    赴美治療服務機構和生元國際了解的,在以後的生活中學習一種語言會改變大腦的兩個半球的作用。根據發表在《JNeurosci》上的一項新研究,隨著技能的提高,語言理解能力改變了大腦半球的專門化,但其產生卻沒有改變。大腦的兩側並不是平均分配每項功能的工作量。對大多數人來說,語言依賴於左半球,但右半球可以在左半球受傷後接管工作。
  • 基於VHDL語言的卷積碼編解碼器的設計
    在某擴頻通信系統中,我們使用VHDL語言設計了(2,1,6)卷積碼編解碼器,並經過了在FPGA晶片上的驗證實驗。 2 卷積編碼器卷積碼通常記作(n0,k0,m),其編碼效率為k0/n0,m稱為約束長度。
  • 孤獨感可以被關閉?科學家或已找到相應大腦神經迴路,原理竟與飢餓...
    戴瑟羅斯是光遺傳學的先驅,光遺傳學是一項將基因工程的光敏蛋白植入腦細胞的技術;然後,研究人員只需通過光纖把光照在神經元上,就可以打開或關閉單個神經元。這項技術需要向大腦中注射蛋白質,還需要將光纖穿過頭骨,直接植入大腦,由於侵入性太強,目前不能用於人體,但研究人員可以在活動自如的齧齒動物體內調節神經元,然後觀察它們的行為。
  • 為大腦降溫!科學家提出帕金森症新療法 或將於2020年進行臨床試驗
    為大腦降溫!「這種疾病的特徵是產生多巴胺的腦細胞減少(多巴胺是一種協調運動控制的化學物質),並伴有大腦的慢性炎症。」「我們發現了一種關鍵的免疫系統靶點,叫做NLRP3炎性小體,在帕金森患者的大腦中甚至血液中都能發現這種信號。」「每天口服一次MCC950,可以阻斷NLRP3在大腦中的激活,防止腦細胞的損失,從而顯著改善運動功能。」