科學家開發「腦機語音文本界面」:大腦寫皮膚聽

2020-12-21 人民網

原標題:科學家開發「腦機語音文本界面」:大腦寫皮膚聽

  近期,臉書(Facebook)在F8全球開發者大會上透露,該公司一個60人的工程師團隊,正在開發一個名為「腦機語音文本界面」,即用戶無需說話,也無需手動輸入,就能把用戶大腦中的想法,直接展示在計算機屏幕中。大體而言,就是利用光學成像技術以每秒100次的速度掃描人腦,檢測人們在腦海中默念的信息,並由計算機將其翻譯成文字。

  臉書研發和硬體實驗室Building 8的負責人雷吉娜·杜坎表示,團隊的目標是使人們用意識就可以實現每分鐘輸出100個單詞,比現在在手機上打字的速度快5倍。最終,腦機界面將可以讓人們用意識,而不是通過屏幕或控制器來控制增強現實或虛擬實境體驗。

  ●南方日報駐京記者 王騰騰 王詩堃

  策劃:李江萍

  傳統腦機接口 有相當風險,存在醫學倫理爭議

  在上述開發者大會上,臉書展示了一段視頻。在視頻中,一位在史丹福大學接受試驗的癱瘓病人,使用一個植入大腦的小型電極在鍵盤上移動電腦光標,能夠每分鐘輸入8個英文單詞。視頻中的病人患有肌萎縮側索硬化症,身體完全不能動——既不能行動也不能說話,但是她能夠用自己的意念打字:一系列豌豆大小的電極植入用於控制運動的運動皮層,當她想像自己在移動滑鼠時,電極會記錄她的神經元動作,然後電腦會學著代她移動滑鼠。

  實際上,上述成功的實驗所使用的技術叫做「腦機接口」。目前,腦機接口的方式有植入式和非植入式兩大類。

  植入式腦機接口包括針式與貼片式兩種,兩者都需要進行開顱手術,將電極埋藏在大腦皮層中,繞過頭皮與頭骨的阻礙,直接監測神經元的活動狀況。這樣讀取信號的方式雖然直接,但由於需要用開放性的外科手術將電極植入到腦內神經組織,這不僅會對用戶造成損傷,還要確保傷口長期不被感染,存在一定的技術難度。神經外科專家、中國醫科大學附屬盛京醫院副教授鮑民告訴南方日報記者,腦機接口技術用於健全人,目前還很少有臨床應用。鮑民強調,現有的腦機接口多是長期接口,需要顱內植入,但這類植入對於健全人來說並不適宜。他表示,這種手術對醫生來說也有很大風險,更存在醫學倫理爭議。

  鮑民表示,目前通過腦深部電刺激(deep brain stimulation,DBS)對殘障人士進行功能重建,在臨床上應用得比較多,「利用腦機接口,在大腦上植入晶片,然後幫助肢體的功能重建。比如說有的人手部功能有缺失,原來大腦的信號傳遞到胳膊上需要一個通路,受到損傷以後通路斷了,我們在臨床上通過腦機接口把通路重建。」

  現在對於健康人來說最便利的還是非植入式腦機接口,它可以通過戴在頭上的「頭盔」讀取神經信號。這樣的方式相較於植入式來說不夠直接,需要濾除很多噪聲信號。因為神經細胞的放電信號從皮層經由顱骨傳到頭皮,相關電位會被大大削弱並帶來很大的噪聲幹擾,因而無創傷式採集到的信號解析度較低。

  此前,浙江大學附屬第二醫院成功在一名癲癇患者顱內植入電極,能夠通過意念指揮機械手,做出「剪刀石頭布」的動作,被認為是中國腦機接口研究在運動功能重建應用上的重要進展。但其存在的問題也很明顯:在大腦皮層植入電極可以在相同時間內採集到更多、更準確的信號來反映大腦神經活動,但植入的皮層電極片不能長時間安置於腦內,患者在接受手術後最長一個月必須取出,很難作為「常規動作」進一步應用。鮑民還說,目前臨床上主要進行重建自身肢體功能的研究和應用,而用腦機接口控制「機械臂」乃至電腦,尚需更多的實驗。

  光學神經成像系統 希望實現每分鐘輸出100個單詞

  雖然視頻中的癱瘓病人已經實現了每分鐘輸出8個單詞,這已經是了不起的飛躍,但是,臉書的60人團隊並不滿足於此。雷吉娜·杜坎提出,如果不使用想像中的手臂移動,直接解碼語言呢?也就是說,機器會直接輸出你的想法,並且是只輸出你想表達的部分。這是建立在他們假定你決定要分享的內容才會被傳遞到大腦的語言中樞的前提下。

  在這個想法驅動下,約翰霍普金斯大學的物理學家兼神經科學教授Mark Chevillet帶領超過60名科學家、工程師準備通過構建一套擁有極高的空間和時間解析度的光學神經成像系統,以每秒100次的速度掃描大腦,以檢測大腦中的意識,並將其轉換成文本。

  這套系統不同於以往的腦機接口,首先是無創。目前成功的腦機接口大部分都是有創的,需要在大腦某區域植入電極。除了開顱,電極的損耗、免疫系統的影響體現著植入電極記錄的不足,而這套光學神經成像系統採用無創傳感器。

  另外,時間精度與空間精度都會得以提高。時間精度方面,當前的光學成像主要是功能性核磁共振(FMRI)和近紅外成像(NIRS)。但遺憾的是,這兩種成像原理都只是測量到血氧含量的變化;用來捕捉較快的單詞就會顯得力不從心了。以近紅外成像為例,產生神經活動時,該腦區的血流量和耗氧量都將增加;脫氧血紅蛋白和含氧血紅蛋白對光的吸收程度不同,由此可以通過對光的吸收來反映大腦皮層的血氧代謝情況,從而耦合腦區的活動。而神經活動的基本單位——以毫秒為單位的動作電位,反應的是鈉離子進入細胞、鉀離子排出細胞的過程。這套成像系統的優點在於可以追蹤測量的是動作電位中鈉鉀離子濃度變化時的光學特徵,從而實現毫秒級的時間測量精度。

  空間精度方面,可以測量用小時候玩過的紅色雷射筆來對比分析:雷射筆貼近手指的時候會發紅光,是因為大多數光子在通過手指的時候因為散射而導致成像精度下降。準彈道光子因為不會散射而保持了非常高的精度,因此即使是無創的設備,也能夠通過毛髮、頭皮和1cm厚的頭骨解碼每一個單詞。

  這個實時的無聲語言系統,希望實現每分鐘輸出100個單詞。對於有需要的患者來說,這種神經假體能夠提高增強現實的輸入自然性,也可以無創地測量與語言相關的神經活動,在此基礎上也能夠開發規模化應用的系統。此外,語言的內容不僅包括發音、拼寫,還包括語義。

  通過皮膚聽別人說話 在手部皮膚下植入傳感器來「聽對方說話」

  還有一項技術就是通過觸覺震動傳感器將不同波段的震動編碼語言並被受試者理解,為聾啞盲人服務。

  19世紀法國科學家發明的Braille盲文點字,使得盲人可以通過指尖接觸凸點來閱讀信息。20世紀早期發明的Tadoma識字法,通過與海倫·凱勒的合作,通過植入皮膚的觸覺震動傳感器感知講話時氣流壓力的改變,聲帶的振動,下顎的變化,從而理解複雜的語言輸入,並為盲聾兒童提供一種可規模化應用的溝通方法。

  視頻中,實驗者通過在手部皮膚下植入傳感器,來「聽對方說話」,並且實現處理、理解甚至重現老師所講的話。這些話他無法看見、聽見,僅僅通過觸覺去感知,就重複出「請等一下」「你是不是忘了關燈」的原話。

  大腦關於聽覺的加工大致是通過耳蝸對聲音執行傅立葉變化,將聲音以不同頻域的信息進行編碼,再由神經元進行計算。這項技術就是要實現能夠模仿耳蝸的作用,僅通過皮膚來傳輸分解後的頻率信息。

  雷吉娜·杜坎表示,該技術的目的是打破語言障礙,幫助那些既不能閱讀也不能寫字的人更好地交流。屆時,人們不用說話和寫字就能通過類似可穿戴設備這樣的工具直接交流。「如果我們把這兩個項目放到一起,也許在不久的將來,一個說中文的人就可以直接和一個說西班牙語的人交流了。」

  據介紹,該技術還可能擁有更廣泛的用途,比如可以讓人們在不看手機的情況下就能回復文字信息或電子郵件。

(責編:趙越、楊波)

相關焦點

  • 靠腦機接口「隔空探物」,大腦植入晶片可實現「心靈感應」
    現如今,腦機接口技術成為人類通向「心靈感應」的又一條路徑。這一次,科學家們找到了另一條有足夠的因果鏈條的解決方案,通過讀取大腦中的特定神經信號,建立起與人類認知和行動相關的聯接,從而實現直接用大腦來「操控外物」。關於腦機接口,最近看到一句非常打動人的比喻:「腦機接口是人類往大腦宇宙發射的第一顆人造衛星。」非常有詩意吧。
  • 腦機接口通信:爭議與希望並存 在大腦中裝晶片,你肯嗎?
    一家名叫Neuralink的公司 腦機接口,指在人或動物大腦與外部設備之間創建的直接連接,實現腦與設備的信息交換。這一概念其實早已有之,但直到上世紀九十年代以後,才開始有階段性成果出現。但該公司真正引人注目是從2019年7月開始,馬斯克聲稱,Neuralink將使用一個外科手術機器人把「薄紗細線」植入生物大腦,並與外部計算機處理單元相連接。 專注於研發腦機接口的Neuralink公司其實並不是單打獨鬥。
  • Neuralink 與大腦的神奇未來·第三部分:腦機接口
    科學家們希望通過這個計劃建立一張完整的人類大腦圖譜。人類之前從來沒有涉足過這種規模的大腦圖譜。Human Connectome Project這個計劃需要把人腦——厚度大約為 30納米,相當於 1/33000 毫米。(是一臺機器正在一個鼠腦上切片)。
  • 機器學習實現了腦機語言翻譯,那距離「意念交流」還有多遠?
    首先,我們每個人的大腦都像是一塊白板,任何的數據信息都需要經過大腦的發育和長期的經驗訓練才可能學到一星半點的知識;其次,我們的大腦又仿佛一個神秘黑箱,每個人都只能通過外在的語言、表情、姿態等信號來識別對方的動機,所謂知人知面不知心就是這個意思。再次,我們的數據信號的輸出又非常低效,我們只能以這種每秒鐘幾KB的語音、詞彙等信息來輸出想法,嚴重製約了溝通效率。
  • Facebook 十億美元買腦機接口賽道,國內還有這些公司在做?
    作者 | 童璐瑤、李念真2019年9月23日(美國當地時間),Facebook宣布將收購腦機接口(BCI)創企CTRL-Labs,以開發一種可以與其他設備直觀連接的腕帶。CTRL-Labs成立於2015年,具體來說,它是一家腦機接口控制界面的服務商,主要為AR/VR和機器人研發神經界面。去年,該公司獲得由Alphabet和亞馬遜等公司投資的2800萬美元的A輪融資。今年2月,該公司再次獲得了第二筆2800萬美元的融資,由Alphabet領投。
  • 399美元,出貨數百臺,NextMind腦機接口開發套件來了
    關於腦機接口的討論越來越普遍,一方面,大公司不斷湧入這一領域,例如Facebook、Valve,同時埃隆·馬斯克的Neuralink也公布侵入式腦機研究初步成果;另一方面,隨著AI與計算能力的不斷突破,讓以往未能落地的生物信息相關應用加快落地。
  • 首批腦機接口腦科學課程在三翼鳥智慧客廳誕生,能科學開發智力
    同時,這也是全球第一批通過腦機接口實現的腦科學課程。  頭戴腦科學設備用意念就能拔河比賽  隨著5G時代的到來,人工智慧和腦科學成了科技界的熱門研究方向,從而使得腦機接口成為熱搜。那麼,究竟何為腦機接口?
  • 腦機接口可能存在風險!
    外星人單論腦機接口這個技術,還真的不是胡亂說的。並且是一個已經開發試驗很久的科研項目。智能本質來說腦機接口和智能家居的語音控制沒有技術上的差別。都是基於電子信息的傳輸。問題只在於腦機接口需要給你的腦袋開一個洞。
  • 腦機接口的醫學使命
    如果說未來,只需要在大腦植入一個晶片,藉助其力量就能治癒所有疾病,成為「超級」人類,你覺得是否真實?就好像古人追求「長生不老」那樣,我們在追尋「大腦控制」的道路上付出了很多。也誕生了許許多多新技術,BCI 腦機接口技術應該是目前最有希望應用於臨床的。
  • 世界首個雙邊植入腦機接口!四肢癱瘓者用意念吃蛋糕
    2020年8月,馬斯克的腦機接口公司曾向世界展示了在豬腦中植入晶片並讀取豬活動時的大腦信號波動。如今,來自約翰斯·霍普金斯大學醫學院和該校應用物理實驗室的研究人員已把更強力的腦機接口技術用在了人身上。他們將腦機接口技術應用在一位四肢癱瘓的人身上,讓他能夠用自己的「大腦意念」同時控制兩支機械臂,拿起餐刀、餐叉切下一塊蛋糕,然後把蛋糕送到自己的口中。什麼是腦機接口?所謂腦機接口,就是在大腦和假肢等外部設備之間建立一條直接傳輸大腦指令的通道,實現在脊髓及運動神經通路損壞但大腦皮層功能尚健全的情況下,腦部的信號也能通過計算機解讀,直接控制外部設備。
  • 藉助RNN 從腦電波還原語音,Nature 論文呈上新款「腦機接口」
    雷鋒網 AI 科技評論按:近日,來自加州大學舊金山分校的研究者開發出了一種能將大腦信號轉換為語音的虛擬假體語音系統,可幫助癲癇和其他神經性疾病患者還原語音能力。這項研究成果於 4 月 24 日發表在《自然》雜誌上,並得到了多家媒體的報導,其中就包括《紐約時報》。雷鋒網 AI 科技評論將《紐約時報》的這篇報導編譯如下。
  • 基因編輯與腦機接口,科技和人類的邊界在哪?
    事實上,這個聽起來很時髦的概念並不新穎,它最早可以追溯到上個世紀初期。布朗大學研究團隊在2006年完成首個大腦運動皮層腦機接口設備植入手術;隨後腦機接口技術不斷發展,可以實現收集神經信號、處理轉化為外接設備信號,從而讓癱瘓病人操控機械臂,完成喝水、吃飯、打字等複雜和廣泛的操作。
  • 被科學家證實了的20個已知的大腦秘密是什麼?
    全腦開發在全球發展狀況:腦科學研究開始20世紀60年代日本開始進行腦研究開發。日本「腦科學時代」1996年,日本開始啟動為期20年的「腦科學時代」計劃,還專門組織人力加強對腦機能的研究,要讓日本腦科學達到並超過世界先進水平。2003年1月啟動「腦科學與教育」研究項目,逐步構造理想教學方式和教育體系。
  • 非凡成就:AI將人類的思想活動轉化為文本信息
    在AI領域,或許我們馬上就能達成一項令人印象深刻且難以置信的裡程碑成就——使得我們在語音識別方向上的取得豐碩成果現在就如同小孩子的遊戲:人工智慧(AI)系統可以直接將我們的大腦活動轉化為完整的文本信息。 這不是科幻小說的劇情。
  • 「意念控制」從科幻走向應用 大腦會被控制嗎
    ,來自不同國家的科學家,在美國神經科學學會上展示利用大腦植入設備調控情緒異常的初步人體試驗結果。除了這些國際科研探索,在中國,去年航天員景海鵬和陳冬在天宮二號上開展了由意念控制的航天實驗;11月9日,科大訊飛對外發布了意念控制家居的成果……「意念控制」是科學還是超能力?
  • 科幻大作《阿麗塔》裡的腦機接口技術,其實已經上線了
    腦機交互是?   腦機交互並不難理解,指的是大腦和計算機之間直接的、不依賴於正常神經肌肉組織的交互。腦機交互在一開始更加強調載體,而現在我們更關注的則是人腦和機器雙向交互。   腦機交互的系統包含信號採集模塊、信號分析處理模塊和應用模塊。
  • 《異度神劍2》韋馱天戰鬥後互動語音文本有哪些 語音文本一覽
    導 讀 韋馱天是《異度神劍2》中的一個稀有異刃,可以通過核心水晶獲得,長相十分呆萌,而且初期奶量很足,可以重點培養,下邊就給大家帶來異度神劍2韋馱天戰鬥後互動語音文本
  • NextMind的腦機接口已為開發人員準備就緒
    NextMind是在最新的長 線路的公司試圖利用大腦作為控制我們的數字世界的一種手段。一開始,它看起來很熟悉:戴上將傳感器放在頭後部的耳機,它將檢測到您的腦波,然後將其轉換為數字動作。我嘗試了一個演示(通過開發工具包,該工具包今天以399美元的價格出售),並對整個體驗如此出色感到驚訝。設置僅涉及一項基本的「培訓」練習,然後我就開始並跑步,用自己的思想控制事物。各種各樣的演示清楚地表明,NextMind的思維方式已經超越了簡單的按動按鈕。仍然有輕微的學習曲線得到「訣竅」 -它不會取代滑鼠或鍵盤只是還沒有。
  • 日本科學家的AI讀心術,解碼腦電波,還原人眼所見
    聽起來感覺太遙遠?然而最近,四位來自日本京都大學的科學家的研究成果,讓這樣的想像離落地更進一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上發表了他們利用AI來解碼人類思維的研究成果。