不懂手語？為什麼不問問「神奇的手套」呢

2020-08-27 科技康養

這是一副神奇的手套


可通過智慧型手機將手語實時轉換為語音


重量只有半個雞蛋重，成本只需50美元



加利福尼亞大學洛杉磯分校的研究團隊研發了一款可「解讀」美國手語的手套。這雙手套可追蹤並解讀手語使用者比劃的內容，並快速在手機端輸出手語內容。該研究發表在《自然 · 電子學》（Nature Electronics）上。



這副手套的關鍵點是將細長的、可伸縮的傳感器嵌入到手套的5個手指中，這些傳感器可以獲取對應每個字母、單詞、數字或短語的手勢。


然後，該裝置將手指的運動轉化為電信號，並發送到使用者戴在手腕上的硬幣大小的電路板上。該裝置將這些信號無線傳輸到智慧型手機，智慧型手機以大約每秒一個單詞的速度將其翻譯成口語。



手語不僅包括手指運動，還有面部表情。由於目前市面上已有的商業化設備不夠柔性，無法做到識別。為了捕捉手語者的面部表情，研究人員在受試者的面部（眉毛和嘴巴之間）粘上傳感器。同時，採用了機器學習機制來訓練設備，目前已經達到了識別美國手語（ASL）系統中的660個符號，識別率高達98.63％，識別時間短於1秒的階段性成果。



在測試這個裝置時，研究人員與四個使用美國手語的聾啞人合作。佩戴者將每個手勢重複15次，配合著一種定製的機器學習算法將這些手勢轉換成它們所代表的字母、數字和單詞。


研究人員透露，其實這個翻譯有兩個層次的標準：其一是普適性的，翻譯對應標準化的手語。其二是個性化的，這是因為在使用這個系統的時候，每個人手語動作各有特色，比如手指的彎曲程度和速度不一樣，這就要讓系統在每個手語使用者身上進行學習，以提高翻譯準確性。



據了解，已有的商用手語翻譯設備往往太重、太笨拙，穿戴不方便，而這套新系統就顯得尤為便攜。這款設備總重量低於25.8克，很容易集成到衣物中，且其實驗室規模下的成本不過50美元。相比之下，已經商用的翻譯系統售價高達數千美元到數萬美元。


此外，該設備裝載了摩擦起電的納米發電機，可以將身體的動能轉換為電能，所以無需電池。



這個課題有來自中國項目的支持，也有重慶大學光電工程學院楊進教授的參與。不過該項目目前選擇的研究對象僅限於美國手語體系，尚未開發中文語境的系統。


當然，語音外放也是該系統需要解決的問題之一。它目前是通過手機終端來外放，如能將外放部件集成到可穿戴設備中，則會讓使用者有更好的體驗。



據估測，該產品的成本在批量生產下還可大幅降低。不過，研究團隊表示產品離量產還差3-5年，他們會繼續擴大手套可解讀的手語類型，服務英語以外的手語。


加州大學洛杉磯分校薩繆利工程學院生物工程助理陳俊教授說：「我們的希望是，這為使用手語的人打開了一條簡單的途徑，讓他們可以直接與非手語人交流，而不需要別人為他們翻譯。此外，我們也希望它能幫助更多學習手語的人。」



相關焦點

  • 高科技手套翻譯手語，準確度高達99%
    加州大學洛杉磯分校研究人員，開發了一種廉價的高科技手套，該手套可以綁定智慧型手機，當手套做出手語裡面的動作時，會自動把手語翻譯成文字。該手套可以實現，做動作的時候進行實時的翻譯，並且翻譯美國660種手語標誌的精度高達98.63％。未來有一天，它可以用來教更多的人使用手語，也可以幫助聾人與不懂手語的用戶進行交流。 手套具有可拉伸的傳感器，該傳感器由電感應紗線製成，並且該紗線延伸到五個手指中的每個手指上。通過傳感器接收信號後，傳輸到放在手套背面的一美元硬幣大小的電路板上，然後將無線信號傳輸到智慧型手機。
  • 神奇傳感器手套化身「手語翻譯機」!實時手語轉語音無壓力
    芯東西（ID：aichip001）編 | 董溫淑芯東西6月30日消息，最近，加州大學洛杉磯分校（UCLA）設計了一種特殊的手套，通過結合更加靈活便宜的傳感器和人工智慧算法，將美國手語實時轉換成英語語音。
  • 你為什麼不問問神奇海螺是什麼梗啥意思 不如問神奇海螺出處
    關於這個「你為什麼不問問神奇海螺呢」，想必大家應該都想知道這句話是什麼意思吧？畢竟這句話在很多地方都有看到過，但是並不知道這個到底是什麼意思，出自哪裡呢？下面就和小編一起來看看。　　你為什麼不問問神奇海螺呢是什麼梗什麼意思　　其實關於這個「你為什麼不問問神奇海螺呢」的梗，就是關於一個動畫裡面的梗，就是出自《海綿寶寶》的第42集裡面海綿寶寶說的話，其實當時的場景就是，章魚哥不知道吃以什麼，於是海綿寶寶就直接對章魚哥說「你為什麼不問問神奇海螺呢」，當時就直接拿起了這個東西。
  • 專訪Kinect手語翻譯系統團隊:網狀手語圖模型是實現實時翻譯的關鍵
    李老師向周明提出，微軟能不能通過技術讓自己的聾啞學生能和不懂手語的老師進行交流。因為這些學生特別渴望聽到名教授講課，但一來他們聽不見聲音，二來那些教授也不懂手語，非常可惜。周明忽然想到自己的師弟、中國科學院計算技術研究所（下稱「中科院計算所」）的陳熙霖教授，他研究手語識別技術已經有十多年歷史。
  • 能將手語實時翻譯成語音的智能手套|Nat. Electron.
    圖片來源：UCLA來源 UCLA翻譯 阿金審校 張之典加利福尼亞州大學洛杉磯分校（UCLA）的生物工程師們設計出一種手套狀設備，通過手機應用程式，能夠將美式手語實時翻譯成英語語音。Jun Chen 是 UCLA 薩穆埃利工程學院（Samueli School of Englineering）的生物工程學助理教授，也是該項目的 PI，他表示：「我們希望為手語使用者打開方便之門，讓其可以直接和非手語人士交談，而不需要第三人做翻譯。此外，我們也希望能幫助更多的人自學手語。」該系統包括一副手套，和沿著每根手指裝配的一根根纖薄的可伸展式傳感器。
  • 為什麼不看看神奇的材料呢
    為什麼不看看神奇的材料呢 小編發現了一些神奇的材料 他們的技能超乎你的想像 一起來看看吧~ 前方多圖預警！
  • 39歲大猩猩夏特克去世,會手語懂英文
    39歲大猩猩夏特克去世，會手語懂英文
  • 最聰明的猩猩:懂2000字的英語口語,會用手語表達情感
    當時，弗朗辛·帕特森正在研究與猩猩手語有關的學術課題，Koko被她選為了研究和培養對象，在未來的兩年時間裡，弗朗辛·帕特森將以導師和飼養員的雙重身份與Koko共同生活。1974年，弗朗辛·帕特森和Koko一起搬到了伍賽德聖克魯斯山的大猩猩基金會保育中心內。在那裡，Koko認識了雄性伴侶麥可，並與麥可一起繼續在弗朗辛·帕特森的帶領下學習人類的語言。
  • 醫生、護士不懂手語 榕8萬聾啞人看病難(圖)
    日前，福州籍聾人阿力（化名）因肚子痛到某省級醫院檢查，由於醫生不懂手語，他忍痛掏出紙筆寫下症狀，費了近一個小時，醫生才弄明白他得了痢疾。因為耗時過長，阿力受盡了候診患者的白眼……　　阿力的求醫遭遇只是一個縮影。
  • 那個在曼德拉葬禮上胡亂比劃,自稱有病的手語翻譯,後來如何了
    ——曼德拉提到南非，有一個繞不開的人物，他就是有著「南非國父」的曼德拉。這位被認為是歷史上最偉大的南非人，一生充滿了傳奇色彩。他一生中有50年的時間，致力於領導反種族隔離運動，為此曾有28年時間身陷囹圄。最終，曼德拉憑藉超人的毅力和頑強的意志，以勝利者的身份，開創了南非的新局面，深受人民愛戴，在世界範圍內也贏得了廣泛的讚譽。
  • 懂手語的大猩猩「可可」去世:享年46歲!
    據英國《每日郵報》6月21日報導，會使用1000個手語單詞與人溝通，並能理解2000個英語口語表達的大猩猩可可(Koko)，於19日在加州伍德賽德去世
  • 做學生的「拐棍」 他用手語教英語
    他鼓勵學生們用各種方式和他互動——練習過說話和發音的，可以在座位上大聲「接下茬」；主要依靠手語交流的，就做個手勢。「有些孩子比較害羞，我就觀察他們的表情，不自覺地笑了，那就是明白了。」 　　除了看表情，還要透過眼神來「讀心」。
  • 猩猩手語訴心事
    元旦結束了，三天假期過後，大家是不是又回到了工作狀態呢？
  • 他用手語教英語,讓聽障生過四級
    他鼓勵學生們用各種方式和他互動——練習過說話和發音的，可以在座位上大聲「接下茬」；主要依靠手語交流的，就做個手勢。「有些孩子比較害羞，我就觀察他們的表情，不自覺地笑了，那就是明白了。」除了看表情，還要透過眼神來「讀心」。
  • 休斯敦學生發明手語捕捉器 讓機器人讀你的手語
    ，或者說至少是流行的手語。比如「美國手語」就是美國、加拿大英語地區等其他地區最常用的，估計有20萬至200萬人以其作為母語使用。當然，也不是掌握了手語就能溝通無極限的，因為周圍的大多數人並不懂這些手勢。一個新鮮的小玩意有望改變這種狀況，它將手語者的動作自動轉換到其他人可以理解的有聲話語。
  • 騰訊優圖實驗室AI手語識別研究白皮書
    對於用戶而言，不需要攜帶任何額外裝置，只要面對攝像頭完成正常的手語表達，就能從翻譯機中得到反饋回來的識別結果。因此，之前的很多產品或方法往往需要藉助於一些額外的設備，例如使用Kinect攝像機的多種傳感器來提前獲取手語表達者的肢體關節點信息，又例如在手上攜帶傳感器手套、或配備EMG、IMU傳感器的手環來獲取手臂和手掌的活動信息。這些額外的設備無形之中增加了使用的門檻，同時也帶來了一定的不便利性。
  • 都說女人是水做的,溫柔如水,你怎麼一點也不溫柔呢?
    我們看看最近網絡上流行的一段對話：「都說女人是水做的，溫柔如水，你怎麼一點也不溫柔呢？」「我剛結婚的時候溫柔嗎？」「溫柔啊！」同樣是一根管子出來的自來水，燉骨頭就是高湯，都搶著喝；衝馬桶和屎尿混合的時候，沒有人願意多看一眼，你光知道女人是水做的，還有下半句呢，男人是泥做的，你要是攤爛泥，水怎麼也沒法把你扶上牆，最後還汙染了自己；你要是放蕩不羈、隨波逐流的稀泥，那水還會把你衝的皮毛不生、一乾二淨；水遇上太陽會升華成蒸汽滋潤你，遇上冰箱，那可不就變成頑固不化的冰塊兒，硬邦邦的。所以說，你們男人不要老問女人為什麼不溫柔如水呢？
  • 冬天騎行的時候,為什麼帶了騎行手套還是會冷?剎車都按不下去!
    不知道你在騎行的時候，有沒有這樣的一個現象。無論是自己穿的多厚，就是感覺到冷。在平時的時候，沒錯，是穿得越多就會是越暖的。但是，在騎行的時候，就不是這樣的。在騎行的時候，並不是說穿得越厚或者是穿的越多就會是越暖的，這樣的想法在騎行的時候，是行不通的。在騎行的時候，手為什麼帶了手套還是那麼冷？首先是，上面有提到，手是比較敏感的部位。
  • Mate 20系列神奇手套模式 一划即用!
    【重點一：極致耐寒，凍人不「凍芯」】華為mate系列一直以耐寒口碑著稱，相比傳統手機單點溫度感應，Mate 20系列通過升級麒麟980 AI智能電源溫控管理，採用多點溫度感應，提高了惡劣環境下電池電源管理效率，讓手機耐寒能力更強，低溫下續航更持久，是寒冬室外操作的神器，帶給你極致的人機互動體驗，感受那冬日的一縷溫馨。