科學家研發出「讀心術」,直接將腦電波翻譯成文本,錯誤率低至 3%

2020-12-01 雷鋒網

美國加州大學舊金山分校的科學家，已經訓練出一種算法，可以直接將受試者的腦電波實時翻譯成句子，錯誤率僅為 3% 。

這項研究發表在《自然神經科學》（Nature Neuroscience）雜誌上，他們招募了 4 位志願者，這些志願者被要求多次朗讀 30-50 個固定句子，而電極記錄下他們的大腦活動。[1]

【 雷鋒網註：人類對大腦所知甚少。圖片來源：Pixabay所有者：Gerd Altmann 】

這些數據隨後被輸入到機器學習算法，它將每個句子的大腦活動數據轉換成一串數字和字符串。

系統從這些大腦活動數據再推導出聲音，並和實際記錄的音頻進行比較。數字和字符串則被再次輸入到系統，轉換成一個單詞序列。

起初，系統會吐出毫無意義的句子。但是當系統將每個單詞序列與實際朗讀的句子進行比較時，它得到了改進，學會了數字字符串與單詞的關係，以及哪些單詞是有上下文關係的。

算法不斷的訓練，直到從說話時的大腦活動中產生書面文本，類似機器翻譯。

新系統的準確性遠遠高於以前的方法。雖然準確性因人而異，但對於其中一位志願者來說，平均每個句子只有 3% 需要糾正，高於速記員 5% 的單詞錯誤率。

當然，目前這個系統還是有很大局限，算法還只能處理少量的句子。系統也不能用於嚴重殘疾失去語言能力的患者，因為它依賴於記錄大聲說出句子的人的大腦活動。

然而，每個志願者只用了不到 40 分鐘來訓練，在有限的小數據集情況下，達到了迄今為止最大的精確度。

腦機接口

從人類大腦信號到外部設備之間建立連接通路並不是新鮮事，腦機接口的研究已持續了 30 年。

【 雷鋒網註：腦機接口近30年來一直是研究熱點。圖片來源：Pixabay所有者：aytuguluturk 】

在過去的十年，我們已經能夠解碼語音信號，但是局限於孤立音素或者單音節詞，在一段 100 個單詞的連續語音的情況下，解碼正確的單詞少於 40% 。

科學家們此次找到的是一個更直接的方法，就是採取機器翻譯類似的算法。機器翻譯就是將文本從一種語言到另一種語言的算法翻譯，只不過這次輸入的文本變成了腦電波信號。此次發表的論文《使用編碼器-解碼器框架：大腦皮層活動到文本的機器翻譯》，正是詳細描述了這一過程。

在系統對一個志願者進行訓練之後，再對另外一個志願者訓練時，解碼結果得到了改善，這表明該技術可以在人和人之間進行遷移。

在 GitHub 上，放置了論文對應的代碼。

ecog2txt 模塊，用於從神經數據中將語音解碼為文本。它用 Python 代碼實現了跨主題的遷移學習的高級功能。[2]

【雷鋒網註：ecog2txt是論文對應的開源實現模塊】

而訓練本身則是通過另一個 machine_learning 軟體包，它在 TensorFlow 裡實現了一個序列到序列的網絡。[3]

這些軟體包的作者，也是論文的聯合作者之一約瑟夫·馬金（Joseph Makin）博士，他目前是加州大學舊金山分校整合神經科學中心的研究科學家。他的專業是電機工程和計算機科學，專門研究控制理論，包括腦機接口的算法開發。[4]

【雷鋒網註：上圖為張愛德博士】

論文的另外一個聯合作者是張愛德（Edward Chang）博士，他是醫學博士和神經外科醫生，擅長為患有癲癇病，腦瘤，三叉神經痛，面肌痙攣和運動障礙的成年人提供治療。他目前是加州大學舊金山分校威爾神經科學研究所的神經外科教授，還領導了一個神經工程與假肢中心，以恢復癱瘓和言語障礙等神經疾病患者的功能。[5]

網友評論

科學家們曾經認為將大腦信號轉換為可理解的語音可能需要數十年，而現在這個間隔可以用幾年來衡量。在 reddit 的科學板塊，該消息引發了 3 萬多次點讚和上千條評論。[6]

網友 derlumpenhund 評論說，這並不表示思想閱讀機發明出來了。它主要依賴於解碼口舌運動時對應的大腦皮層活動，需要收集給定主題的數據，並且提前進行訓練，並不會直接解碼你的思想活動。話雖這麼說，這一進展也很了不起。

網友 boointhehouse 則說，如果這項技術早點用於史蒂芬·霍金，在他的一生中還能完成更多的工作。

引用來源：

[1] https://www.nature.com/articles/s41593-020-0608-8.epdf

[2] https://github.com/jgmakin/ecog2txt

[3] https://github.com/jgmakin/machine_learning

[4] https://profiles.ucsf.edu/joseph.makin

[5] https://profiles.ucsf.edu/edward.chang

[6] https://www.reddit.com/r/science/comments/fry305/scientists_develop_ai_that_can_turn_brain/

相關焦點

  • 腦電波翻譯成文字,正確率達97%,會「讀心術」的機器人多可怕
    人類是好奇心很重的動物，我們對世間的萬事萬物感到好奇，包括我們自身在內，科學家希望通過研究解開人腦的秘密，不過，受限於目前的醫療技術還不能實現，於是，很多人都將對大腦的好奇和挖掘體現在了科幻電影中。在不少科幻作品中，最少不了的一項超能力就是讀心術，擁有此項超能力的人可以輕鬆看破別人的謊言以及對方內心的真實感受，甚至可以讀取記憶。而更厲害的讀心術者還能將自己的腦電波傳播給他人，做到即使不用開口說話，也能將自己的心聲直接傳遞到對方的大腦裡。
  • 華裔教授AI解碼腦電波,大腦所想直接合成文本或語音
    3 月 30 日，《自然-神經科學》發表了美國加州大學舊金山分校華裔教授 Edward Chang 及同事開發的一款腦電波 AI 解碼器，能夠將大腦活動信號直接轉化為句子文本。，並將其接近實時地翻譯為句子文本，錯誤率低至 3%。
  • 腦波直接轉語音,最強讀心術!
    把大腦活動直接轉化成語音，這項研究潛力炸了。目前，系統只能恢復人類聽覺區信號的簡單詞彙，但研究者最終想找到腦電波與語音的關聯，讓失去語言能力的人重新開口說話。想像一下，失語的漸凍人或中風患者只要頭戴腦機接口設備，就能將所思所想直接轉化為文字語音。
  • 腦機接口利器,從腦波到文本,只需要一個機器翻譯模型
    他們將腦波到文本的轉換視為機器翻譯的過程，腦波為輸入序列，文本為輸出序列。通過讓受試者朗讀文本，收集相應腦區的電波，構成訓練數據集，然後去訓練一個端到端的機器翻譯模型。通過這種方式，他們獲得了一個模型，這個模型能夠將受試者的腦波「準確」、「實時」地轉換為句子文本，而錯誤率僅為3%。
  • 美科學家研製讀腦裝置 可將腦電波翻譯成語音
    通過繪製腦電波所對應的語音，研究小組能夠閱讀人類大腦思想　　【搜狐科學消息】 據美國探索頻道報導，通過匹配與大腦活躍性相一致的聲音，科學家正在進行一項最新研究，可幫助我們傾聽到人們的思想。大腦以不同的語音來表達獨特的電子活動性，通過觀看人類大腦電子活動性圖形，科學家能夠揭曉該大腦活動性所表達的單詞，這是一項重大研究，能夠「傾聽」無法說話群體的思想。　　美國加利福尼亞州大學伯克利分校神經科學家布萊恩-帕斯利說：「如果某人完全處於癱瘓，或者一位患者處於病症狀態無法活動，但只要他的大腦仍處於活躍之中，我們便能夠完全理解他的思想意識。
  • 驚呆 傳說中的「讀心術」真的來了:接上電腦後神奇發生
    △視頻：解碼腦電波 電腦可「讀心」解碼腦電波，實現「讀心術」，美國陸軍位於馬裡蘭州阿伯丁的一個實驗室正在研究這一項目
  • AI學會讀心術?分析腦電波就能猜出你正在觀看的視頻
    每每涉及在適當時機向我們展示正確搜索結果之類的問題時，AI似乎常常無法讀懂人們的想法，從高科技的人工智慧跌落成人工智障。但是，俄羅斯機器人研究公司Neurobotics Lab的工程師表明，確實可以訓練AI學會「讀心術」，並且僅憑腦電波就能以猜測出用戶正在觀看的視頻。「我們已經證明，觀察不同內容的視覺場景會影響人的腦電波，因此我們可以通過分析相應的EEG(腦電圖)信號來區分不同場景類別。」
  • 美研發腦電波「翻譯」設備 「入侵」霍金大腦解讀思維
    目前，霍金正在嘗試iBrain腦電波掃描器。據英國《每日電訊報》6月24日報導，目前，英國著名物理學家史蒂芬·霍金正在同美國史丹福大學的科學家合作，試圖利用一種名為iBrain的腦神經設備來「解讀」失語病患的腦電波，並通過電腦同他們進行交流。在過去的近30年中，霍金因罹患運動神經元疾病而喪失了語言能力，他一直利用電腦語言合成器來繼續自己的科學研究。
  • 如何將輸入文本翻譯成英文?
    我們可能聽說過圖片翻譯，文字翻譯，語音翻譯等等。那麼大家有沒有操作過輸入文本翻譯呢？今天小編就來教給大家兩種輸入文本翻譯英文的操作，辦公中的我們可能會用的到喲！　方法一：使用電腦端軟體在辦公中，我們用的最多的設備還是電腦了。所以呢，電腦端的軟體是我們的首選呀。
  • 科學「讀心術」，當腦電波掃描圖遇到人工智慧
    下圖為德國波恩大學一名女子正在進行腦電波掃描，相信在不久的將來，只要掃描人們的腦電波，就能知道每個人的喜好等信息。來自赫爾辛基大學（University of Helsinki）的研究團隊就研發出一種被稱為「大腦外判」（Brainsourcing）的新技術，讓腦電波圖掃描與人工智慧合而為一，務求直接從人們腦袋中抽取影像和喜好。要訓練準確的人工智慧系統，必先建立可信的資料庫，而根據目前技術，建立的過程需要人工輸入，難以自動化。
  • Google 翻譯的「漢譯英」錯誤率降低 60%,是怎麼算出來的?
    分數為 0~6 的整數，0代表翻譯結果「狗屁不通」，6代表翻譯結果「精彩絕倫」。第五步。出成績了。舊舊機器翻譯每個句子平均得分 3.694，新機器翻譯得到 4.263 分，人工翻譯得分 4.636 分。別忘了滿分是 6 分哦。第六步。分別計算，跟人工翻譯的水平相比，「誤差率」（錯誤率）是多少。第七步。算「錯誤率」降低了多少。
  • 人人都有讀心術
    當然，這只是類似魔術的障眼法，真正的讀心術並不是這樣的，而是真正的人類敏銳的心理活動。日常生活的讀心術心理學將「讀心術」定義為理解他人思想感情，並能站在他人主觀立場思考的能力。我們天天都在使用它。緊隨著「意向讀心術」，我們在嬰兒早起發展出了「眼動讀心術」，追隨別人的目光我們能夠讀懂別人在看什麼。具備這項能力，你可以將同學們的眼球細微的轉動理解為：他們在看你。讀心術隨著年齡成長如果需要心靈上的交流與感應，只有對他人運動和注意的探測是不夠的，還需有對共識的察覺。
  • 「讀心術」時代來臨 人類準備好面對這把雙刃劍了嗎?
    在經典科幻巨著《銀河系漫遊指南》中，作者道格拉斯·亞當斯幻想出了許多有趣的生物，其中之一就是會讀心術的「寶貝魚」。英國《經濟學家》雜誌10月31日報導稱，過去，讀心術或許只存在於科幻小說中。但在不久之後，這種情況就可能被打破。
  • 日本研發出智能口罩 可以將對話翻譯成8種語言
    日本公司「甜甜圈機器人」研發出了一種智能口罩，可以將佩戴者說的話翻譯成8種不同語言。這款名為C-FACE的智能口罩不但可以用來防護新冠病毒，而且可以將佩戴者說的話從日語翻譯成越南語、英語、西班牙語、漢語、韓語、泰語、印尼語和法語。
  • 朝鮮研發出基於AI技術的文本識別器
    韓聯社首爾10月27日電 據朝鮮金日成綜合大學官網27日介紹，該校信息科學部研究團根據韓文的形態學特徵，運用卷積神經網絡（CNN）技術成功研發具備改良型手寫體識別技術的文本分類器。校方稱，運用該技術的文本分類器可實現高達96.8%的準確率，其錯誤率較以往機型降低了19.5%。朝鮮近幾年十分熱衷於研發人工智慧技術，不僅在各大高校開設了人工智慧學科，還積極宣傳相應技術的研發成果。
  • 美軍打造讀心"頭盔" 無需語言手勢直接大腦交流
    五角大樓投入了630萬美元研究「人工心靈感應」，試圖打造一款讀心頭盔，戴上它之後，士兵無需語言和手勢就能通過大腦直接進行交流。雖然這一技術遠未成熟，但已經有人開始擔憂，它將被用於監控操縱公眾的思想，侵犯個人隱私。
  • 殺破天系列之讀心術
    雷飛消化完這段信息後，發現這是地變根據他現在的情況，為他選擇的一個技能，技能名字叫做讀心術，在仙俠位面可能不入流，但是在地球上絕對是神技了。讀心術顧名思義，就是能夠窺探到別人的內心活動，但是地變給的這個讀心術卻是升級版本的，因為施展這個讀心術後，能夠探查到目標某些特定的記憶，至於能夠探查多少，這取決於施術者的精神力。
  • 科學家解碼腦電波 人類離讀心機再近一步(圖)
    人腦如何對視覺信息進行編碼以識別面部和感覺一直是一個未解之謎　　【搜狐科學消息】 據英國《每日郵報》報導，近日有科學家破解了與視覺相關的大腦信號，這意味著人類距研製能夠展現心智圖像的「讀心機器」更近了一步。
  • 開腦洞給豬腦花植晶片馬斯克，周一身價暴漲800億成全球第3富
    當小豬用鼻子嗅東西，植入的Neuralink就能讀取與鼻子上神經有關的信號，展示出一個腦電波高峰。而另一隻豬運動時，屏幕上能顯示運動的信號，甚至預測其關節的活動。　　這些作為實驗展示的小豬，已經在植入情況下生活裡2個月.　　目前Neuralink已經在7月獲得FDA認可。
  • 科學家發明了一種「神經解碼器」,可以將大腦活動轉化為語言
    讀心術機器的想法可能會讓很多人感到震驚，但一種能將大腦活動轉化為語言的新設備，可能是那些失去聲音功能的病人走向生命線的第一步。隨著我們記錄腦電波的能力不斷提高，以及機器學習方法使解碼過程變得越來越容易，尋找將我們的思想轉換成機器可讀信號的方法是一個蓬勃發展的研究領域。最引人注目的用例之一是幫助那些因受傷或疾病而失聲的人重新說話。