能將手語實時翻譯成語音的智能手套

2020-12-16 騰訊網

圖片來源：UCLA

來源 UCLA

翻譯 阿金

審校 張之典

加利福尼亞州大學洛杉磯分校（UCLA）的生物工程師們設計出一種手套狀設備，通過手機應用程式，能夠將美式手語實時翻譯成英語語音。他們的研究發表在《自然·電子學》（Nature Electronics）雜誌上。

Jun Chen 是 UCLA 薩穆埃利工程學院（Samueli School of Englineering）的生物工程學助理教授，也是該項目的 PI，他表示：「我們希望為手語使用者打開方便之門，讓其可以直接和非手語人士交談，而不需要第三人做翻譯。此外，我們也希望能幫助更多的人自學手語。」

該系統包括一副手套，和沿著每根手指裝配的一根根纖薄的可伸展式傳感器。這些傳感器由導電的紗線製成，能夠感應代表單個字母、數字、單詞以及短語的手部動作和手指位置。

設備會將手指運動轉化成電子信號，發送到手套腕部位置一個只有一美元硬幣大小的電路板。電路板將這些信號通過無線方式傳送至手機應用以翻譯成語音文字，並以大約每秒 1 個單詞的語速朗讀出來。

研究人員還在受試者臉部貼上了粘貼式傳感器，一個在眉毛之間，另一個則在嘴角一側，以捕捉美式手語中的面部表情 。

Jun Chen 還指出，此前美式手語翻譯穿戴系統受限於笨重的設計方案，或者穿戴後會產生不舒服感。而 UCLA 團隊研發的設備由輕巧廉價且經久耐用的可伸展式聚合物製成。電子傳感器也具備一定柔性和低廉成本。

在測試設備時，研究人員招募了四名使用美式手語的聾啞人士。他們戴上手套後，每一個手勢會重複做 15 遍。機器學習算法將這些手勢轉化成它們所代表的字母、數字以及詞語。這套系統已識別出 660 種手勢，包括 26 個英文字母和從 0 到 9 的數字。

相關焦點

  • 神奇傳感器手套化身「手語翻譯機」!實時手語轉語音無壓力
    ，將美國手語實時轉換成英語語音。研究人員希望，這為使用手語的人能提供一種能更加自如與他人交流的簡便方法，同時也能幫助更多人自主學習手語。據研究人員介紹，現有手語翻譯可穿戴設備大多比較笨重，佩戴舒適度較差。相比之下，加州大學洛杉磯分校研發的美國手語翻譯手套由輕質、價格低廉、耐久、有彈性的聚合物製成，並且配備了通過沿著五個手指方向延伸的細長傳感器。
  • 美國研究人員創造了一種可穿戴手套 可以實時翻譯手語
    本文轉自【cnBeta.COM】；加州大學洛杉磯分校的生物工程師們設計了一款手套，可以利用智慧型手機應用程式將美國手語實時翻譯成英語語音。該項目的目標是方便使用手語的人與不懂手語的人直接交流，而不需要人在那裡翻譯。
  • 聾啞人手語翻譯智能手套亮相世界網際網路大會
    手語一直是聾啞人相互交流的主要方式，但是，遇到不懂手語的正常人，交流就有了障礙。某科技公司在第三屆世界網際網路大會上展示了一款名為聾啞人手語翻譯手套的高科技產品。工作人員帶上特製手套比劃手語，此時，手套上的傳感器將肢體動作第一時間進行分析，將其轉換成語音，在手機端通過APP播放，最終實現聾啞人與外界的正常溝通。
  • 大學生發明一神奇手套,能幫聾啞人將手語翻譯成口語,獲創新大獎
    不過來自華盛頓的兩位大學生卻發明了一雙可以根據手語將其翻譯成聲音和文字的手套。這款手套的手指和手腕部份布滿了各種電線和傳感器，戴上手套後，傳感器能通過檢測到的手腕手指不同的加速度變化，識別出他們正在打的手語單詞，再通過手套上的藍牙裝置傳送到他們編寫的程序裡，再通過語音同步讀出來。
  • 高科技手套翻譯手語,準確度高達99%
    加州大學洛杉磯分校研究人員，開發了一種廉價的高科技手套，該手套可以綁定智慧型手機，當手套做出手語裡面的動作時，會自動把手語翻譯成文字。該手套可以實現，做動作的時候進行實時的翻譯，並且翻譯美國660種手語標誌的精度高達98.63％。
  • 科研人員研發聾啞人手套 可將手語轉換成語音
    來源：環球網記者 張陽近日，科學家研究出一種能將手語實時翻譯為語音的手套，有望使聾啞人群能夠像正常人一樣與他人進行交流。據報導，這種手套的五根手指上置入了傳感器，使其能夠隨著手型的變換識別出美國手語中的單詞、短語或者字母。然後將識別出的信號以無線方式傳輸到手機上，並通過手機以每秒一個單詞的速度翻譯成口語。
  • 專訪Kinect手語翻譯系統團隊:網狀手語圖模型是實現實時翻譯的關鍵
    十月底的一天，TNW報導了微軟亞洲研究院的一項新研究——基於Kinect的手語翻譯系統，微軟的這個研究讓Kinect化身成了一個手語翻譯器，它可以把手語實時翻譯成口語，當然反之也亦然。微軟的周明老師在項目例會上不斷地給大家鼓勁；聯合大學的學生也是不辭辛苦，每次都要坐1個多小時的地鐵來進行測試；計算所負責算法設計和系統集成的研究人員更是辛苦地加班，將系統結構進行全面的優化，終於使得新的系統取得了令人滿意的精度、速度。基於Kinect的手語翻譯系統項目技術實現過程CSDN：能不能簡單介紹下整個手語翻譯系統的工作原理和過程？
  • 這款手套能將手語翻譯成英語 並且朗讀出來
    （原標題：這款手套能將手語翻譯成英語 並且朗讀出來）
  • 美大學生發明「手語翻譯智能手套」
    【環球科技綜合報導】據英國《每日郵報》4月25日報導，美國兩名學生發明了一款名為「SignAloud」的智能手套，該手套可將美國手語翻譯為英語口語。對於生活在無聲世界中的人，手語能讓他們傾訴自己的觀點。但是一旦出了他們自己的圈子，手語表達就失去了意義。這款稱為「SignAloud」的發明正是為了打破交流障礙而設計，包含一副內置傳感器，可以記錄下佩戴者的手部位置和動作。這些數據隨後會通過藍牙被發送到中央計算機當中，以分析它們是否符合美國手語手勢。
  • 兩個19歲大二男生發明了一款能夠翻譯手語並轉化成語音的智能手套
    【獵雲網（微信號：ilieyun）】5月12日報導（編譯：蔡怡然）來自華盛頓大學的兩位本科生製造出了一款能夠將美國手語翻譯成英文並通過揚聲器讀出內容的智能手套而這些傳感器所捕捉到的數據將通過藍牙傳送到附近電腦上，之後再通過一些編碼和算式來將所捕捉的手勢信息轉化成為英文文字並通過語音形式播放出來。不過，這款產品的其中一位發明人Navid Azodi強調，SignAloud系統目前還處於開發階段。他說：「我們現在還遠不能捕捉並轉換全部手勢，甚至可以說還需要很久才能將產品完善到那個高度。
  • 戴上能把手語翻成文字 智能手套成各國研究熱點
    近日，加州大學聖地牙哥分校的研究人員發明出了一種低成本智能手套。這種手套可以自動將美國手語翻譯成能夠顯示在智慧型手機或電腦上的數字和文本。使用這種手套的時候，佩戴者只需要在手語字母表中標記字母，然後通過不同的電阻差異來識別字母。這些差異能夠使計算機識別出不同的字母，然後通過藍牙將信息傳輸出去，整個過程不需要用到攝像頭。據悉，這個手套裡的組件加起來不到100美元。
  • 這隻手套能把手語翻譯成英語 準確率接近99%
    這隻手套能把手語翻譯成英語 準確率接近99% 站長之家(ChinaZ.com) 7月3日 消息:手語跟所有的語言一樣，需要學習才懂得使用和理解它的意思。
  • 有了這個手套 手語就能轉換成可播放的語音
    近日，《自然》雜誌的子刊《自然·電子學》報導了一套可穿戴的「手語翻譯器」，能夠將手勢實時翻譯為語音。這個裝置大約只有半個雞蛋那麼重，成本只要 50 美元。傳感器的拉伸程度不同時，產生的電壓也不同 | 參考文獻隨後，這些信號由手腕處的印製電路板進行調製、處理，並通過藍牙傳輸到手機；手機客戶端則將信號轉換為語音，播放出來
  • 加州大學研究出一款可用於手語教學的高科技手套
    ，該手套可以將手語翻譯成書面和口頭文字並反映在智慧型手機上。據了解，該系統可以實時工作解釋超660種美國手語標誌，精確度高達99%。通過該手套可以教更多的人使用手語，並幫助聾啞人與非手語用戶進行交流。手套上具有可拉伸的傳感器，該傳感器由電感應紗線製成，連接至每個手指上。
  • 英媒:新型手套可將手語轉化為英語口語
    新華社北京7月1日新媒體專電 英媒稱，一種能夠將手語轉化為英語口語的手套形裝置有望為聾啞人提供解決語言障礙的新方法。據英國《泰晤士報》網站6月29日報導，聾啞人之間不存在通用手語。比如，英國手語和美國手語就有很大差別。
  • 手語也能有聲音?谷歌AI人工智慧:我可以!
    在人工智慧博客上，谷歌的兩位研究工程師瓦倫丁 ·巴扎列夫斯基（Valentin Bazarevsky）和Fan Zhang稱，這項免費公開的技術旨在成為「理解手語的基礎」。它是與圖像軟體公司MediaPipe合作打造而成的。「我們很期待開發者會產生什麼樣的點子。
  • 臺灣中正大學實時手語翻譯系統獲獎
    臺灣中正大學實時手語翻譯系統獲獎 2012年11月27日 21:22 來源：中國臺灣網 字號:  小  中  大 轉發 列印
  • 中國壯文智能語音翻譯軟體問世
    當一名壯族姑娘剛說完一句壯語，用語音翻譯成的這句中文隨即在軟體中響起。28日，由中國民族語文翻譯局發布的壯文智能語音翻譯軟體在廣西壯族自治區南寧市正式亮相。　　中國民族語文翻譯局副局長李旭練介紹，壯文智能語音翻譯軟體實現了從語音到語音的實時對話，對降低工作強度、提升工作效率、方便群眾生產生活等方面將發揮重要作用。
  • 谷歌將發新語音實時翻譯系統 接近完美
    上個月微軟的Skype網絡電話推出了一項針對人類交談的實時語音翻譯項目，此舉在於幫助不同語言之間的用戶之間可以正常交流。作為這方面的佼佼者，谷歌也推出了自己的版本，並宣稱這是最「接近完美」的一版。
  • python實現智能語音翻譯
    本接口提供上傳音頻，將音頻進行語音識別並翻譯成文本的服務，目前開放中英互譯的語音翻譯服務。 待識別和翻譯的音頻文件可以是 pcm、mp3和speex 格式，pcm採樣率要求16khz、位深16bit、單聲道，音頻內語音清晰。 如果採用流式傳輸的方式，要求每個分片時長200ms~500ms； 如果採用非流式的傳輸方式，要求音頻時長不...