神奇傳感器手套化身「手語翻譯機」!實時手語轉語音無壓力

2020-12-05 智東西

芯東西(ID:aichip001)編 | 董溫淑

芯東西6月30日消息,最近,加州大學洛杉磯分校(UCLA)設計了一種特殊的手套,通過結合更加靈活便宜的傳感器和人工智慧算法,將美國手語實時轉換成英語語音。

這項研究已經發表在《自然·電子學》期刊上。研究人員希望,這為使用手語的人能提供一種能更加自如與他人交流的簡便方法,同時也能幫助更多人自主學習手語。

據研究人員介紹,現有手語翻譯可穿戴設備大多比較笨重,佩戴舒適度較差。

相比之下,加州大學洛杉磯分校研發的美國手語翻譯手套由輕質、價格低廉、耐久、有彈性的聚合物製成,並且配備了通過沿著五個手指方向延伸的細長傳感器。

這些傳感器由導電紗線製成,既十分靈活又價格低廉,能精確捕捉用戶手部動作,繼而將其轉換為電信號。

然後,這些代表著單個字母、數字、單詞和短語的電信號被傳送到佩戴在手腕上的電路板,電路板再將電信號傳遞到智慧型手機中,最終手機App用定製的機器學習算法,以大約每秒一個單詞的速度,將這些電信號「還原」為它們所代表的語音。

為了驗證算法的準確性,研究人員邀請4位使用美國手語的失聰人士對手套進行了測試。由於美國手語中還包含一些面部表情,研究人員也在測試者的眉心和唇側粘上了傳感器。

測試時,佩戴者將每個手勢重複15次。該系統成功識別出660個符號,其中包括26個英文字母和數字從0到9。

目前,研究團隊已經申請了這項技術的專利。但在實現商用目標之前,這個系統還需增加詞彙量和提升翻譯速度。

文章來源:TechXplore

相關焦點

  • 不懂手語?為什麼不問問「神奇的手套」呢
    這是一副神奇的手套可通過智慧型手機將手語實時轉換為語音重量只有半個雞蛋重,成本只需50美元>可伸縮的傳感器嵌入到手套的5個手指中,這些傳感器可以獲取對應每個字母、單詞、數字或短語的手勢。為了捕捉手語者的面部表情,研究人員在受試者的面部(眉毛和嘴巴之間)粘上傳感器。同時,採用了機器學習機制來訓練設備,目前已經達到了識別美國手語(ASL)系統中的660個符號,識別率高達98.63%,識別時間短於1秒的階段性成果。
  • 能將手語實時翻譯成語音的智能手套|Nat. Electron.
    圖片來源:UCLA來源 UCLA翻譯 阿金審校 張之典加利福尼亞州大學洛杉磯分校(UCLA)的生物工程師們設計出一種手套狀設備,通過手機應用程式,能夠將美式手語實時翻譯成英語語音。Jun Chen 是 UCLA 薩穆埃利工程學院(Samueli School of Englineering)的生物工程學助理教授,也是該項目的 PI,他表示:「我們希望為手語使用者打開方便之門,讓其可以直接和非手語人士交談,而不需要第三人做翻譯。此外,我們也希望能幫助更多的人自學手語。」該系統包括一副手套,和沿著每根手指裝配的一根根纖薄的可伸展式傳感器。
  • 高科技手套翻譯手語,準確度高達99%
    加州大學洛杉磯分校研究人員,開發了一種廉價的高科技手套,該手套可以綁定智慧型手機,當手套做出手語裡面的動作時,會自動把手語翻譯成文字。該手套可以實現,做動作的時候進行實時的翻譯,並且翻譯美國660種手語標誌的精度高達98.63%。未來有一天,它可以用來教更多的人使用手語,也可以幫助聾人與不懂手語的用戶進行交流。 手套具有可拉伸的傳感器,該傳感器由電感應紗線製成,並且該紗線延伸到五個手指中的每個手指上。通過傳感器接收信號後,傳輸到放在手套背面的一美元硬幣大小的電路板上,然後將無線信號傳輸到智慧型手機。
  • 專訪Kinect手語翻譯系統團隊:網狀手語圖模型是實現實時翻譯的關鍵
    十月底的一天,TNW報導了微軟亞洲研究院的一項新研究——基於Kinect的手語翻譯系統,微軟的這個研究讓Kinect化身成了一個手語翻譯器,它可以把手語實時翻譯成口語,當然反之也亦然。CSDN:在這個項目之前,手語識別領域都存在哪些挑戰?在識別上,你們都試驗了多少個輸入傳感器?最後為什麼選擇Kinect?它識別率是最高的嗎?項目團隊:在本項目之前,手語識別問題確實已經陷入了瓶頸。
  • 騰訊優圖實驗室AI手語識別研究白皮書
    未來,騰訊優圖希望能通過與聽障者或手語使用者的深入接觸,擴充數據容量,完善數據規範,根據不同的場景優化識別算法,搭建出通過手語與聽障人士無障礙溝通的完整系統和平臺,用AI消除障礙,做有溫度的科技、無差別的科技。
  • 休斯敦學生發明手語捕捉器 讓機器人讀你的手語
    ,或者說至少是流行的手語。比如「美國手語」就是美國、加拿大英語地區等其他地區最常用的,估計有20萬至200萬人以其作為母語使用。當然,也不是掌握了手語就能溝通無極限的,因為周圍的大多數人並不懂這些手勢。一個新鮮的小玩意有望改變這種狀況,它將手語者的動作自動轉換到其他人可以理解的有聲話語。
  • 猩猩手語訴心事
    今天給大家推薦一個視頻,是關於一隻猩猩用手語表達心聲的。科科以擁抱手勢表達牠愛人類。(網際網路圖片)據港媒報導,美國舊金山動物園的44歲雌性大猩猩科科(Koko),智商達75至90,相當於一名7歲兒童,更懂得逾千個美國手語和2000個英文口語單詞。
  • 做學生的「拐棍」 他用手語教英語
    再次講解時,李子剛的右手在幾個數字手勢間自如地來回切換,像技巧純熟的紙牌魔術師在做無實物練習。臺下的聽障生專注地抬頭望向老師,時不時瞥一眼屏幕上的課件和手邊的語音翻譯軟體,確認理解無誤了,在筆記本上快速記錄幾筆,重新抬起頭來——整套程序運行順暢,坐在他們身旁的記者卻已經看花了眼。
  • 他用手語教英語,讓聽障生過四級
    再次講解時,李子剛的右手在幾個數字手勢間自如地來回切換,像技巧純熟的紙牌魔術師在做無實物練習。臺下的聽障生專注地抬頭望向老師,時不時瞥一眼屏幕上的課件和手邊的語音翻譯軟體,確認理解無誤了,在筆記本上快速記錄幾筆,重新抬起頭來——整套程序運行順暢,坐在他們身旁的記者卻已經看花了眼。
  • 上海:手語翻譯在線服務,聽障人士社區辦事不再難
    在上海市宜川路街道社區事務受理服務中心,隨處可見「提供手語服務」的提示牌。聽障人士劉先生在辦理殘聯業務的服務臺坐下後,工作人員用平板電腦撥通了12345市民服務熱線手語專席。「手語老師您好,請您問一下這位先生今天來辦理什麼業務?」在服務中心工作人員的引導下,手語專席的話務員通過屏幕用手語將這一問題傳達給劉先生。
  • 殘運會側記——手語翻譯溫暖了我,也溫暖了選手
    國際在線消息(記者 喻露): 在無聲的世界中,手語就是聽障人士與外界溝通的橋梁。在全國第十屆殘運會暨第七屆特奧會的「無聲賽事」上,手語翻譯是不可或缺的力量。記者在全國第十屆殘運會暨第七屆特奧會的現場採訪到了2位手語翻譯——來自天津聾人學校的趙毅老師和李慶華老師,聽他們講述賽事中的手語翻譯工作。趙毅:手語是有溫度的如果遇到聽障人士,該如何與他相處、傳遞給他溫暖?
  • 華為機器學習服務ML Kit,實時語音轉文字,從此溝通無障礙
    華為消費者業務雲服務總裁張平安在大會主題演講中提到,Machine Learning Kit能力為開發者提供豐富的文本類、語音語言類、圖像類和人臉人體類服務API等,致力於呈現視覺及語言AI全新體驗。華為智慧助手·今天的宣傳片還還原了集成ML Kit應用服務聽障人士等殘障群體的生活場景,畫面中,一位從事糕點行業的聽障人士用手語表達自己的願望:「我希望一切都能聽清楚,就像蛋糕用料一樣。」而華為手機負一屏的華為智慧助手·今天無障礙服務卡片,通過集成ML Kit,將應用內無字幕的視頻、音頻實時轉為文字,幫助聽障用戶無需語言的障礙,更便捷地獲取多媒體信息,功能非常貼心。
  • 因為會手語而轟動全世界的大猩猩Koko去世了
    Koko和弗朗辛·帕特森在一起據稱Koko能夠使用元語言,能在其他大猩猩成功使用手語的時候對它們做出「好」的手語;Koko還知道如何使用語言實現欺騙的效果,表達和事實相反的陳述帕特森說,Koko甚至能創造新的手語詞:從沒有人教它如何說「戒指」這個詞,但它卻自己發明了用「手指-手鐲」的手語來指代它。Koko出名的另一個原因是它表現了豐富的情感。大猩猩基金會的研究者說,1983年,它打手語向研究者要一隻貓,而且並不肯滿足於毛絨貓玩具。
  • 因為他們有用手語教英語的老師
    再次講解時,李子剛的右手在幾個數字手勢間自如地來回切換,像技巧純熟的紙牌魔術師在做無實物練習。臺下的聽障生專注地抬頭望向老師,時不時瞥一眼屏幕上的課件和手邊的語音翻譯軟體,確認理解無誤了,在筆記本上快速記錄幾筆,重新抬起頭來——整套程序運行順暢,坐在他們身旁的記者卻已經看花了眼。
  • 【以案釋法】離婚後財產糾紛的庭審現場,請來了手語翻譯
    【以案釋法】離婚後財產糾紛的庭審現場,請來了手語翻譯 2020-07-29 07:25 來源:澎湃新聞·澎湃號·政務
  • 醫生、護士不懂手語 榕8萬聾啞人看病難(圖)
    在福州市,約有8萬聾啞人面臨著同樣的問題:上醫院看病要麼靠紙筆,要麼由懂手語的親人陪伴當「翻譯」。據介紹,目前福州還沒有一家醫療機構為聾啞人提供手語導診,醫患交流難的問題日漸突出。手語導診省殘聯倡議人性化服務,上海、浙江引進手語服務  昨日,記者先後走訪了榕城7家省、市級醫院,發現沒有任何一家醫院有為聾啞人提供手語導診服務。幾家醫院的相關負責人說,醫院接診的聾啞人患者並不多,專門聘請手語「翻譯」,需要醫院額外承擔一筆費用。省殘聯維權處趙小瑜處長告訴記者,目前,我省還沒有配備手語導診的醫療機構。
  • 懂手語的大猩猩「可可」去世:享年46歲!
    據英國《每日郵報》6月21日報導,會使用1000個手語單詞與人溝通,並能理解2000個英語口語表達的大猩猩可可(Koko),於19日在加州伍德賽德去世
  • 微眾銀行微粒貸關注聽障群體,貼心設立手語客服
    微眾銀行微粒貸關注聽障群體,貼心設立手語客服微眾銀行旗下的小額信貸產品微粒貸,自2015年5月上線以來,一直都把"讓金融普惠大眾"當作自己的企業使命。聽障群體往往是一個容易被忽視的群體,但微粒貸一直都關注聽障群體,倡導金融公平,希望能為他們提供一個公平的競爭環境和服務環境。
  • 手語也有南北之分?四個顛覆你「常識」的冷知識
    4、手語不是世界通用的,而是各個國家地區版本都有所不同直覺上很容易認為手語是有世界統一標準的,實際上在各個國家都有不同的版本,中國手語、美國手語、英國手語、日本手語等都有所不同。在很多國家裡,甚至不同地區間的手語也有所不同。
  • 一站式就醫手語翻譯全程「護航」 聾人再也不用怕去醫院看病了
    &nbsp&nbsp&nbsp&nbsp手語翻譯全程「護航」溝通不再是問題&nbsp&nbsp&nbsp&nbsp聽力殘疾一級的施女士拿著醫保卡又到了華東醫院的「助聾門診」進行複診,曾一提看病就發愁的她,如今感覺特別踏實——在她身後,跟著一支