AI人工智慧設備向腦機接口又邁進一步 已能讀懂唇語
網易科技訊11月29日消息,據外媒報導,一種新型的語音合成器可以跳過語音記錄,而直接將說話者嘴部動作轉換為語句。
該設備能「觀看」嘴唇的動作,並利用人工智慧網絡將它們轉換成聲音。
研究人員表示,該設備將能幫助聲帶麻痺患者發聲,向腦機接口又邁進一步。
描述該裝置的研究發表在《PLOS計算生物學》期刊上。
這項研究的作者來自法國國家科學研究中心。文章中提到,「這種語音合成器將人體主要語音發音器(舌,顎,口和嘴唇)的運動轉換成智能語音。「
說話者的發言,以及嘴部各個部位的位置會被同時記錄,然後通過人工智慧網絡算法進行分析。
此處使用的人工智慧算法是基於人類大腦建模的深層神經網絡(DNN)。算法設計針對偏複雜的模式識別。
該深層神經網絡DNN通過測量舌頭、下顎、軟顎和嘴唇的協調動作(又稱為」發音語音信號「)來識別嘴正在發音的某個詞語。
作者解釋道,DNN計算模型對這些測量的數據進行訓練,將」發音語音信號「轉換成」聲學語音信號「。
作者提到,」這項研究中,我們讓用於訓練DNN模型的用戶,以及陌生新用戶都來測試語音合成器的實時控制性能,從而評估它在是否能很好地成為腦機接口的一部分。
「語音腦機接口將能通過解碼皮層的語言相關活動,實時控制語音合成器,從而幫助有嚴重發聲障礙的人恢復交流。
為幫助連聲道都無法震動的患者」說話「,科學家將必須掌握如何解碼大腦信號,並將其翻譯成語音。
使用人工智慧來解碼語音和語言已有先例。
谷歌不久前推出了多語言之間機器翻譯系統。該系統被成為「Zero-Shot翻譯系統「,並具有自我學習能力。它能將未學習過的兩種語言翻譯成一種已經學習過的語言 ——換言之,通過人工智慧訓練學習了如何實現X語言對Y語言的翻譯後,系統就能立即自動掌握從X到Z語言的翻譯。
Google Brain的博文把這項翻譯技術稱為神經機器翻譯系統(Google Neural Machine Translation ,簡稱GNMT)。(盧鑫)
AI人工智慧設備向腦機接口又邁進一步 已能讀懂唇語