能將手語實時翻譯成語音的智能手套|Nat. Electron.

2021-02-13 科研圈

圖片來源：UCLA

來源 UCLA

翻譯 阿金

審校 張之典

加利福尼亞州大學洛杉磯分校（UCLA）的生物工程師們設計出一種手套狀設備，通過手機應用程式，能夠將美式手語實時翻譯成英語語音。他們的研究發表在《自然·電子學》（Nature Electronics）雜誌上。

Jun Chen 是 UCLA 薩穆埃利工程學院（Samueli School of Englineering）的生物工程學助理教授，也是該項目的 PI，他表示：「我們希望為手語使用者打開方便之門，讓其可以直接和非手語人士交談，而不需要第三人做翻譯。此外，我們也希望能幫助更多的人自學手語。」

該系統包括一副手套，和沿著每根手指裝配的一根根纖薄的可伸展式傳感器。這些傳感器由導電的紗線製成，能夠感應代表單個字母、數字、單詞以及短語的手部動作和手指位置。

設備會將手指運動轉化成電子信號，發送到手套腕部位置一個只有一美元硬幣大小的電路板。電路板將這些信號通過無線方式傳送至手機應用以翻譯成語音文字，並以大約每秒 1 個單詞的語速朗讀出來。

研究人員還在受試者臉部貼上了粘貼式傳感器，一個在眉毛之間，另一個則在嘴角一側，以捕捉美式手語中的面部表情 。

Jun Chen 還指出，此前美式手語翻譯穿戴系統受限於笨重的設計方案，或者穿戴後會產生不舒服感。而 UCLA 團隊研發的設備由輕巧廉價且經久耐用的可伸展式聚合物製成。電子傳感器也具備一定柔性和低廉成本。

在測試設備時，研究人員招募了四名使用美式手語的聾啞人士。他們戴上手套後，每一個手勢會重複做 15 遍。機器學習算法將這些手勢轉化成它們所代表的字母、數字以及詞語。這套系統已識別出 660 種手勢，包括 26 個英文字母和從 0 到 9 的數字。

原文連結：

https://eurekalert.org/pub_releases/2020-06/uoc--wgt062620.php

本文來自微信公眾號「科研圈」。如需轉載，請在「科研圈」後臺回復「轉載」，或通過公眾號菜單與我們取得聯繫。原文信息請點擊「閱讀原文」。

論文信息

[論文標題] Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays[論文作者] Zhihao Zhou, Kyle Chen, Xiaoshi Li, Songlin Zhang, Yufen Wu, Yihao Zhou, Keyu Meng, Chenchen Sun, Qiang He, Wenjing Fan, Endong Fan, Zhiwei Lin, Xulong Tan, Weili Deng, Jin Yang & Jun Chen [發表期刊] Nature Electronics[論文編號] 10.1038/s41928-020-0428-6[論文摘要] Signed languages are not as pervasive a conversational medium as spoken languages due to the history of institutional suppression of the former and the linguistic hegemony of the latter. This has led to a communication barrier between signers and non-signers that could be mitigated by technology-mediated approaches. Here, we show that a wearable sign-to-speech translation system, assisted by machine learning, can accurately translate the hand gestures of American Sign Language into speech. The wearable sign-to-speech translation system is composed of yarn-based stretchable sensor arrays and a wireless printed circuit board, and offers a high sensitivity and fast response time, allowing real-time translation of signs into spoken words to be performed. By analysing 660 acquired sign language hand gesture recognition patterns, we demonstrate a recognition rate of up to 98.63% and a recognition time of less than 1 s.

▽精彩回顧▽

相關焦點

  • 神奇傳感器手套化身「手語翻譯機」!實時手語轉語音無壓力
    ，將美國手語實時轉換成英語語音。研究人員希望，這為使用手語的人能提供一種能更加自如與他人交流的簡便方法，同時也能幫助更多人自主學習手語。據研究人員介紹，現有手語翻譯可穿戴設備大多比較笨重，佩戴舒適度較差。相比之下，加州大學洛杉磯分校研發的美國手語翻譯手套由輕質、價格低廉、耐久、有彈性的聚合物製成，並且配備了通過沿著五個手指方向延伸的細長傳感器。
  • 高科技手套翻譯手語，準確度高達99%
    加州大學洛杉磯分校研究人員，開發了一種廉價的高科技手套，該手套可以綁定智慧型手機，當手套做出手語裡面的動作時，會自動把手語翻譯成文字。該手套可以實現，做動作的時候進行實時的翻譯，並且翻譯美國660種手語標誌的精度高達98.63％。未來有一天，它可以用來教更多的人使用手語，也可以幫助聾人與不懂手語的用戶進行交流。 手套具有可拉伸的傳感器，該傳感器由電感應紗線製成，並且該紗線延伸到五個手指中的每個手指上。通過傳感器接收信號後，傳輸到放在手套背面的一美元硬幣大小的電路板上，然後將無線信號傳輸到智慧型手機。
  • 不懂手語？為什麼不問問「神奇的手套」呢
    這是一副神奇的手套可通過智慧型手機將手語實時轉換為語音重量只有半個雞蛋重，成本只需50美元然後，該裝置將手指的運動轉化為電信號，並發送到使用者戴在手腕上的硬幣大小的電路板上。該裝置將這些信號無線傳輸到智慧型手機，智慧型手機以大約每秒一個單詞的速度將其翻譯成口語。
  • 專訪Kinect手語翻譯系統團隊:網狀手語圖模型是實現實時翻譯的關鍵
    十月底的一天，TNW報導了微軟亞洲研究院的一項新研究——基於Kinect的手語翻譯系統，微軟的這個研究讓Kinect化身成了一個手語翻譯器，它可以把手語實時翻譯成口語，當然反之也亦然。微軟的周明老師在項目例會上不斷地給大家鼓勁；聯合大學的學生也是不辭辛苦，每次都要坐1個多小時的地鐵來進行測試；計算所負責算法設計和系統集成的研究人員更是辛苦地加班，將系統結構進行全面的優化，終於使得新的系統取得了令人滿意的精度、速度。基於Kinect的手語翻譯系統項目技術實現過程CSDN：能不能簡單介紹下整個手語翻譯系統的工作原理和過程？
  • Google翻譯將加入拍照、語音實時翻譯
    據國外媒體報導，Google翻譯App將會加入兩項全新功能——拍照翻譯和實時語音翻譯。Google今年5月收購了一款可以實現拍照快速翻譯的應用Word Lens，如今Google打算將這一功能融合到「Google 翻譯」的應用中。
  • 當鍵盤能聽懂人話,咪鼠語音鍵盤KB1評測:語音打字+實時翻譯
    而這件事也已經有人幹了，正是和訊飛來自一個城市咪鼠科技，旗下已經發布多款外設產品，將語音操控、翻譯、ORC等常用高潔功能集成在滑鼠和鍵盤上，在不完全改變用戶使用習慣的同時讓消費者享受到全新的體驗，用做加法的形式來為用戶提供新的選擇，在過渡期這種方式無疑是最優解。
  • 揭秘:搜狗語音實時翻譯是怎麼煉成的
    今年的網際網路大會現場，搜狗 CEO 王小川將自己的演講內容用搜狗語音實時翻譯成中英對照的形式，「技驚四座」的同時，也讓各位看官們覺得代替同傳的工具要來了。雖然搜狗語音實時翻譯將王小川說的「搜索的未來就是人工智慧時代的皇冠」準確翻譯成了「In the future, search will be the Crown of the AI Era」，但王小川坦言，在演示之前沒做預先的試驗，對效果並沒有把握，就連他也是捏著一把冷汗，也不認為機器可以把人幹掉。然而，新技術的突破總會讓人感到興奮。
  • Skype Translator實時語音翻譯技術原理
    自2014年12月Skype Translator 推出英文和西班牙文之間的實時語音翻譯之後，此次在中國市場的發布Skype Translator無疑將微軟語音翻譯技術能力和Skype的未來應用前景推升到新的裡程碑。　　Skype Translator預覽版適用於Windows 8.1或Windows 10技術預覽版的客戶端或平板電腦客戶端。
  • 能實時翻譯的真無線智能耳機,它值199元麼?
    那就接著往下看吧 ~這次小度耳機有別於其它耳機最大的不同，就在於它具備了實時翻譯功能，可以在我們耳朵裡把從歪果仁嘴裡說出來的英語直接翻譯成母語。是的，你沒有聽錯。所以這個時候，就輪到耳機搭載的第二個翻譯模式 —— 「 AI 翻譯機模式 」 派上用場了。這個模式不需要我們摘下兩隻耳機，只需把手機湊到對方面前，然後用中文表達出自己的意思，小度就能把它翻譯成英文並將內容顯示在屏幕上。
  • 休斯敦學生發明手語捕捉器 讓機器人讀你的手語
    ，或者說至少是流行的手語。比如「美國手語」就是美國、加拿大英語地區等其他地區最常用的，估計有20萬至200萬人以其作為母語使用。當然，也不是掌握了手語就能溝通無極限的，因為周圍的大多數人並不懂這些手勢。一個新鮮的小玩意有望改變這種狀況，它將手語者的動作自動轉換到其他人可以理解的有聲話語。
  • 翻譯要失業?微軟「原聲」實時語音翻譯軟體亮相
    今年早些時候，我們報導過微軟正在研發的一款「原聲」語音翻譯軟體，它能把用戶說的話翻譯成其他語言播放出來，同時保留用戶本身的口音、音色和語調，聽上去就像用戶親口說的一樣。今天，微軟發布了該軟體的最新演示視頻，微軟首席研究官瑞克•拉希德（Rick Rashid）在視頻中利用該軟體大秀還算標準的中國普通話。
  • 好用的語音翻譯軟體有哪些?在線語音翻譯成英語,這個方法很好用
    好用的語音翻譯軟體有嗎？其實你可以試試這款：錄音轉文字助手。不僅可以將語音轉文字，還能將英語在線翻譯成中文。操作方法：首先我們打開錄音轉文字助手，可以看到功能項中顯示的有4大功能：錄音實時轉寫、導入外部音頻、語音翻譯以及錄音機，這裡我們選擇的是：語音翻譯。進入頁面之後可以看到底部有選擇語言的功能鍵，支持10多種語言互譯。
  • 谷歌翻譯推出實時語音轉錄功能
    IT之家3月18日消息 據XDA報導，谷歌於幾個月前開始測試一項名為「持續翻譯（Continuous Translation）」的新功能，該功能於今年1月面向公眾，目前該功能名為「轉錄（Transcribe）」，未來幾天將向所有安卓用戶推送。
  • 沒三星S4也能實時翻譯 百度教你裝腔指南
    沒有三星GALAXY S4，使用百度翻譯我們也能教大家演示實時語音翻譯的裝腔指南。    其中的語音實時翻譯和三星S Translator的功能類似，它支持我們通過語音輸入內容，類似三星在發布會上展示的那樣。
  • 搜狗手機瀏覽器新增智能翻譯功能成出境遊必備APP
    然而對於很多英文較差的遊客而言，因語言不通帶來的尷尬總是不能倖免：坐在心儀已久的餐廳點餐卻看不懂菜單，只能吃著盲點的五成熟帶血牛排默默下咽;拿著精心準備的旅遊攻略卻看不懂路上的指示牌，找人問路更是連比劃帶說也講不明白……語言上的交流障礙或多或少會影響出國旅行的體驗，為此搜狗手機瀏覽器安卓版特別推出了智能翻譯功能，集語音對話翻譯、AR實時翻譯、拍照翻譯和全文翻譯四大核心功能於一體，助你輕鬆跨越語言障礙
  • 實時翻譯:英語不好的人你們有福啦
    而毫無疑問，自由交談在一個宣稱自由連接的網際網路時代更能彰顯它的價值——畢竟，同是地球人，同住地球村，當你我覓得彼此，卻聽不懂彼此語言，實在有些尷尬。事實上，與那些讓生活變得複雜的「智能產品」不同，實時翻譯是那種讓人在直覺上理應擁有的技術，正因如此，它也一直存在於《星際迷航》《神秘博士》以及《銀河系漫遊指南》等科幻作品中。
  • 出國旅行必備 可實時翻譯的智能耳機
    提及出國遊，已經成了假期的首選，但對於第一次出行多少有些擔心，不僅僅是語言上存在障礙，還可能有一些突發狀況，這些難以預料的。但針對語言障礙這個難題，美國的一個初創團隊給出了不錯的解決方案，Waverly Labs公司推出了一款名為Pilot的智能耳機，據了解，該設備可實現多種語言實時在線翻譯，有效改善語言障礙等難題。
  • 「實時翻譯耳機」橫空出世,深度剖析三大核心技術|獨家
    不可否認的是，消費者可能每天會戴耳機聽音樂，但不會每天都有跟外國人對話的需求，這讓實時翻譯成為一種有也不錯而非必須性的附加性功能，因此耳機業者多會將其與更多功能結合，包括無線、智能語音助理等，因此實時翻譯耳機雖後端整合了許多深度學習的技術，目前看來仍是話題性遠高於實用性。
  • 語音翻譯器
    、中泰翻譯、韓文翻譯、日語單詞翻譯等語言在線翻譯，成熟的語音識別技術幫助用戶在翻譯時享受良好體驗及翻譯效果. 【功能特點】 *語音直譯：講話實時翻譯，點擊翻譯按鈕後即可翻譯成對應語種； *文本翻譯：輸入要翻譯的文本內容，即可翻譯成對應語種； *語種豐富：全語種翻譯，支持英語、日語、韓語、泰語、俄語、德語、漢語、維語等多國語言； *智能識別：智能語音識別系統，識別正確率高； *語音朗讀：支持系統男/女聲讀出翻譯後的文本；
  • 華為機器學習服務ML Kit,實時語音轉文字,從此溝通無障礙
    畫面中，志願者正在為外國友人指路，打開華為手機一掃外文攻略就能快速翻譯成熟悉的中文，從此語言不再是交流的障礙。其實，這些貼心、實用的手機服務場景背後，離不開華為機器學習服務ML Kit的助力。華為消費者業務雲服務總裁張平安在大會主題演講中提到，Machine Learning Kit能力為開發者提供豐富的文本類、語音語言類、圖像類和人臉人體類服務API等，致力於呈現視覺及語言AI全新體驗。