失語者的未來:無聲語音的數字發聲

2020-12-16 電子發燒友

失語者的未來:無聲語音的數字發聲

陳根 發表於 2020-11-30 15:26:26

人工智慧技術的精進與開發無疑對人工智慧的應用至關重要,而人工智慧除了在與生活強關聯方面的應用,回應少數群體的需求也將成為人工智慧發展的必然方向。

近日,加州大學伯克利分校的研究人員表示,他們正在使用無聲語言和收集肌肉活動的傳感器來訓練人工智慧。其中,無聲語言是用肌電圖(EMG)檢測的,電極則放在臉和喉嚨上。研究人員表示,該模型的重點是研究被稱之為「沉默語音」的模型,該模型可以檢測到人們想說、但沒說出聲的話。

研究人員相信,他們的方法可以為那些無法發出聲音的人提供大量的應用,並且可以支持人工智慧助手或其他對語音命令做出響應的設備進行沉默語音檢測。

儘管設想美好,但想真正實現卻並不容易:首先,在收集數據時,研究者會先在實驗者的臉上等部位貼8個貼片,每個貼片都是一個「監視肌肉變化」的傳感器。

隨後,研究人員需要錄製一段實驗者的有聲語音,並與肌電圖進行對應這種方法能夠將肌肉的變化情況、和語音的類型對應起來。然後使用WaveNet解碼器生成音頻語音預測。在記錄數據的過程中,還要再錄製一段「對口型」的肌電圖,但不需要發聲,也就是「沉默語音」。

與用發聲肌電數據訓練的基線相比,該方法在書中句子轉錄的單詞錯誤率下降了64%到4%,錯誤率比基線減少了95%。此外,為了推動這一領域的進一步研究,研究人員還開發了一個由近20小時面部肌電數據組成的數據集。

這項題為「無聲語音的數字發聲」的研究論文,在近日舉行的自然語言處理經驗方法(EMNLP)活動上,獲得了最佳論文獎。

研究小組的論文寫道:「數位化無聲語音有著廣泛的潛在應用。」例如,它可以用來製造一種類似於藍牙耳機的設備,它允許人們在不幹擾周圍人的情況下進行電話交談。而顯然,這種設備在環境噪音太大無法捕捉到可聽語音或保持沉默的環境中將具有重要作用。

責任編輯:xj

打開APP閱讀更多精彩內容

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 解碼大腦信號直接合成語音,Nature新研究拯救失語者
    機器之心報導 機器之心編輯部 為了讓失語者開口「說話」,神經科學家設計了一種可以將大腦信號轉換為語音句子的設備。這項研究發表在4月24日的Nature期刊上。
  • 給失語者尊嚴! 北航清華女學霸研發手語翻譯器
    「手音」是一款針對失語者的小眾產品,預計今年5月下旬上線。普通人可能難以想像這款產品的意義所在——手語是失語者彼此溝通的橋梁,但對於普通人來說是比所有外語都難的語言,「手音」將做潤物細無聲的溝通橋梁。  「手音」的創始人王娜娜和聯合創始人黃爽原是北京航空航天大學2012級的學生,她們是同一個宿舍的閨蜜,兩個充滿活力的女生在2015年開始想為失語者做些什麼。
  • 【全國助殘日】讓手語「發聲」:90後學霸研發手語翻譯器
    在中國,存在語言功能障礙的失語者數量龐大。如何幫助他們交流,是世界上很多研究機構的課題,但成果大多還停留在實驗室階段。王娜娜和黃爽,是北京航空航天大學和清華大學的一年級研究生,一個23歲,一個22歲。大約兩年前,她們開始用業餘時間,為失語者群體,研究一款直接將手語轉化成語音的翻譯臂環。
  • 兩名研究生研製出翻譯臂環 成為失語者與普通人溝通的橋梁
    應用後,可以實現失語者與普通人的流利對話。她們說,團隊從沒想過賺錢,只想幫失語者朋友解決溝通障礙。     「手音」是一款針對失語者的小眾產品,預計今年5月下旬上線。普通人可能難以想像這款產品的意義所在——手語是失語者彼此溝通的橋梁,但對於普通人來說是比所有外語都難的語言,「手音」將做潤物細無聲的溝通橋梁。
  • 北京兩學生研發翻譯臂環 有望使失語者與普通人「對話」
    新京報快訊(記者潘佳錕)北京兩名學生歷時兩年,為失語者群體研究出一款翻譯臂環,可直接將手語轉換成語音,實現失語者與普通人「對話」。今日(5月22日),新京報記者從該團隊獲悉,目前該臂環仍在開發升級中,完成後可滿足失語者群體日常生活所需用語。
  • Neurology:患有非流利性原發性失語症的英語母語者和義大利母語者的口語產出差異
    請點擊上面「思影科技」四個字,選擇關注作者,思影科技專注於腦影像數據處理,涵蓋(fMRI,結構像,DTI,ASL,EEG/ERP,FNIRS,眼動)等,希望專業的內容可以給關注者帶來幫助
  • 失語症評定技術
    3、設備與用具 失語症檢查量表、錄音筆、秒表、鉛筆、橡皮、紙、尺子,或失語症評價計算機輔助系統。4、操作方法與步驟(1)資料收集:收集患者的臨床專科資料及個人史、家庭環境、興趣愛好等。(2)聽理解檢查:1)聽詞-圖匹配:呈現 3~6 張圖片或實物,檢查者說出詞,患者指出相應圖片或實物。
  • 關於《暴烈無聲》失語症張保護人民尋子的故事
    同年另一部以失語症為主角的中國本土尋子懸疑和犯罪電影《暴烈無聲》也上映了。這部電影的故事發生在北方貧瘠的冬天山區,失語症村民張寶民接到妻子打來的電話,得知兒子失蹤後,他從工作場所回來找兒子。正是這樣兩部故事主題和情節不同的電影,兩位主人公的卻出奇地吻合——失語症和底層生存的無奈!然而《暴烈無聲》在沮喪和掙扎的灰色基調中,卻有著沉重的父愛!父愛在《暴烈無聲》裡會給我們帶來什麼?1: 在一地雞毛生活中,如山父愛可以打破所有的怨恨!
  • 卒中後失語患者如何重新開口交流?
    ,其中急性期約35%的腦卒中患者有失語表現,1年後可下降到約30%。◆卒後失語症的評估◆國外常用檢查法日本標準失語症檢查(SLTA)波士頓診斷性失語症檢查(BDAE)西方失語症測驗(WAB)在強化語言治療中,分類尚不明確,約束誘導性失語症治療是最常見的一種形式。強制誘導性失語症訓練(CIAT)鼓勵失語症病人進行口頭強化練習,支持口頭表達,同時禁止使用傳統的補償性溝通策略(如手勢、肢體動作),也被稱為約束誘導性語言訓練。
  • 失語症的AAC溝通輔具設計 | 課程回顧
    AAC的形式溝通有很多種不同的形式,比如說話,即使是無口語的人,還是可以說一些詞,但是對於有言語語言障礙的人,說話並不能滿足他們所有的溝通需求,並不能讓他們成為一個有效的溝通者。行為、表情、手語、溝通設備都是溝通的形式,而 AAC 是一種溝通形式的組合,溝通障礙人群通常需要這些形式的組合來成為有效的溝通者,作為家長和老師,我們更是要鼓勵使用多種溝通方式。語言和口語:AAC可以支持語言和讀寫發展,鼓勵自然說話。研究表明,在使用AAC之後,89%的孩子口語產生量增加了。
  • 失語如何定位?有這 3 張圖就夠了
    其實對於一個患者,通過判斷為何種失語,可以快速定位,再和影像學相互印證。這種印證還能減少漏診的可能 >>差點漏診新發腦梗!幸好查體夠仔細我們先來思考幾個問題失語究竟指什麼,言語不清就是失語嗎?常見的失語症有哪幾種?根據患者失語的檢查,能否準確的定位?
  • 失語症的十大類型
    ,指點了漢語的失語症分類,將失語症分為十大類型。複述和聽寫障礙與對語音理解和語義理解存在障礙一致。命名、朗誦及文字理解存在不同程度障礙。以語音錯語為主,詞義錯語與新語較少。口語理解有輕度障礙,命名及朗誦中出現明顯的語音錯誤,伴有不同程度的書寫障礙。康復師醫考小程序
  • 《中國失語症語言評估量表》簡介
    大約有57%-69%的腦血管病患者都會存在言語障礙,這其中包括失語及構音障礙,或兩種症狀並存。患者面臨的最大問題是言語交流困難。對失語症患者進行正確的評價,依據失語症的類型,制定康復計劃,有利於提高患者的生存質量。失語症是獲得語言能力後, 由於卒中、腦外傷。
  • 失語症評估
    失語症評價的裡程碑:漢語失語症心理語言評價的理論框架 汪潔課件截圖選自張大華《失語症的評估與治療》*傳統的失語症評估方法都採用量表法
  • 喉癌患者努力訓練發聲:向無聲的世界說再見
    這是湖北省腫瘤醫院頭頸外科食管發聲培訓班的第4天培訓現場。此次培訓班由醫院頭頸外科「新聲會」俱樂部舉辦,旨在幫助全喉被切除的喉癌患者學習食管發音技巧,告別無聲世界,提高生活質量。61歲的患者王大爺是恩施人,他於2016年2月在湖北省腫瘤醫院接受了全喉切除術,並從此陷入無聲世界,這讓他一直很沮喪,這次聽說醫院要舉辦食管發聲培訓班,他特意從恩施趕到武漢來參加。經過8、9兩日的刻苦練習,王大爺已經能夠簡單發音,從1數到10,指導老師和其他學員紛紛向他豎起了大拇指。
  • 《暴裂無聲》:不在沉默中爆發,就在沉默中滅亡
    2018年,《暴烈無聲》的海報貼在學校的展示牆上——一個鬍子拉碴的中國男人的半張臉,眼角和嘴角流著深紅的鮮血。他看上去沉默,臉部的輪廓以及抿緊的嘴角又讓人不由的緊張,好像有什麼隱藏的事情蓄勢待發,帶裂紋的「暴烈無聲」四個字安排在人物之下。忻鈺坤?犯罪片?懸疑片?應該是吧。我這麼想著,然後扭頭吃飯去了。然後,就沒有然後了。
  • 一文讀懂失語症的分類及治療策略
    其特點為:自發談話:明顯障礙,呈典型的非流利型口語,表現為語量少,說話費力,呈典型的電報式語言,輕者出現漏字現象,嚴重者只能說「是」或「不是」,甚至完全喪失口語能力。聽理解:相對好,能逐個完成檢查者指令,但無法同時完成多個指令,對有語法詞和秩序詞的句子理解困難。
  • 解放被禁錮的靈魂——臺灣新創研發「眼動科技」軟體,為失語者開啟一扇溝通的窗
    臺灣科技新創團隊森思眼動,研發符合失語者需求的眼動軟體,用科技協助失語者找回話語自主權,更找回生活的色彩。張著口卻發不出聲、聽著話卻無法表達,即使家人朋友都圍繞在身邊,溝通的距離仍十分遙遠。失語者如同被禁錮的靈魂,意識清晰卻困在一具軀殼中無法動彈。
  • 《中國失語症語言評估量表》的設計原理
    為此,北京語言大學和美國西北大學在西北命名成套測驗和西北動詞語句成套測驗基礎上,結合現代漢語語音、詞彙、句法和語義特點以及中國人的認知心理,聯合研發了適用於漢語母語者的失語症語言能力評估成套測驗——《中國失語症語言評估量表(標準版)》。該量表包括命名分量表和動詞語句分量表。