無障礙日特輯:手語翻譯應用意味著什麼?

2020-12-13 騰訊網

相信在人們的印象裡,AI都是一個屬於「大多數」的技術門類。

所謂大多數,第一意味著相關數據量大、便於累積,適用於AI對海量數據極度依賴的特性;第二意味著應用場景廣泛、便於變現回收成本,適用於AI研發的高門檻投入。

目前我們身邊常常出現的人臉識別、語音交互等等,其實都符合以上這些特徵。不過這並不意味著,屬於「少數派」的AI是一片空白。

在「全球無障礙宣傳日」這個特別的日子,我們不如把目光投向於那些能夠消弭「少數與多數」區別的技術發展,例如服務於聽障人群的手語識別,就是一個典型的例子。

你我不懂的手語,為什麼AI也很難讀懂?

手語是用手勢比量動作,根據手勢的變化模擬形象或者音節以構成的一定意思或詞語,是聽障人群獨有的一種溝通方式。但這種溝通方式雖然能讓聽障人士之間彼此溝通,或讓理解手語的普通人與之溝通,但仍然不能滿足聽障人士與普羅大眾之間的交流需求。

這便意味著在一些社會公共空間之中,例如政務場景或服務業場景,聽障人士可能都會遇到一些不便。

而AI,恰好成為了一種解決方案。

我們在一些軟體中,已經開始應用到了AI的手勢識別能力,像是拍照時「比心」來觸發一些AR特效。將這種對於手勢的捕捉,和手勢語義對應起來,不就能實現對於手語的翻譯和生成了嗎?

這一邏輯是正確的,可從邏輯正確到應用可行,卻還隔著一段不短的路程。

首先,手語的表達有一定的特殊性,想進行捕捉並不容易。

我們知道在「比劃手勢」這種行為上,本來就不存在絕對的精準度,加之一些手語詞彙的表達非常接近,而且手語表達通常是以句子為單位,詞與詞之前不會有明顯的間隙。以往手勢識別中利用前置攝像頭捕捉的方式,基本是不可行的。

於是很多科技和團隊給出的解決方案是加以外設,例如中科大和微軟推出了基於Kinect的手語翻譯系統,加州大學曾經推出過的手語識別手套等等就是這樣。可這些外設要麼便攜程度低,要麼造價昂貴,推廣起來有很大的困難。

同時,手語表達同樣也有國別性和地域性,在模型通用性上存在著困難。

手語中有「文法手語」和「自然手語」兩個概念,文法手語既是通用的普通話,至於自然手語則如同方言一般,在國別、地方甚至城市之間都有著不小的差異。這也造成了手語數據收集、標註會是一項成本高、工作量大的事情。

例如亞馬遜曾經提出過,對智能音箱Alex進行改造可以使其翻譯出一些簡單的信號。可是因為缺乏大規模的訓練數據集,目前這一功能只能識別出一些簡單的美國手語,停留在實驗室階段。

手語破題沒有秘法:騰訊優圖的平權精神

雖然探索艱難,但科技企業們還是不斷在手語AI上取得成果。

例如騰訊優圖實驗室在今天推出聯合深圳市信息無障礙研究會發布的「優圖AI手語翻譯機」,就在手語AI的應用上邁出了跨越性的一步。

優圖AI手語翻譯機的突破性意味存在於兩方面,一方面是手語AI本身技術的進展,另一方面是應用場景的突破。

在手語AI技術本身上,可以分為識別模型和數據集兩個解決路徑。在數據集上,優圖通過和社會相關機構以及聽障人士的接觸自建了手語識別數據集,目前這一數據集已經實現了近千句日常表達和900個常用詞彙的覆蓋,是當前規模最大的中文手語識別數據集。而且這一數據集針對手語表達的地方性差異,做出了表達習慣和速度上的多樣性拓展。

至於識別模型上,優圖也提出了一些更新的算法搭建概念,例如通過2D卷積神經網絡和3D卷積神經網絡分別提取手勢中靜態和動態的信息,經由綜合處理來提升視頻識別效果,徹底擺脫其他傳感器的桎梏。同時針對手語表達的整句化的現象,優圖在視頻幀的最後加入了詞級信息挖掘,對特徵提取器提出的信息進行核驗,進一步去確定手勢對詞語表達邊界,除了提升識別精準度以外,還能提升對自然手語中地域表達的總結能力。在此基礎上,優圖還在算法模型中引入了上下文理解能力,以便於面對更加複雜的手語識別翻譯需求。

不過技術雖然得以提升,應用場景端仍然會受到一些限制。

由於高精度算法對於算力的要求較高,目前優圖AI手語翻譯機還需要依賴於高性能計算機的後臺運算;且因為通過圖像視頻進行識別,對於複雜場景的辨識度還不高,因此優圖AI手語翻譯機的應用規劃,是應用於探索在機場、高鐵、民政等公共服務場所之中,來彌補由於手語的低普及程度,聽障人士在這些場所裡遇到的交流障礙,以技術協助共建一個信息無障礙的城市。

其實我們不難發現,優圖實驗室的優圖AI手語翻譯機雖然在手語翻譯準確率上大大提高,也為AI手語翻譯找到了可行的應用方案,可如果將技術拆分來看就能發現,優圖AI手語翻譯機技術突破原因,並不是在某項基礎科學上突然取得了什麼驚人的突破,而是在研發和數據累積上一貫長期的投入,才能解脫於以往手語語料庫匱乏的困境,在算法上不斷迭代。

換句話說,騰訊在「少數派」的AI技術中投入了幾乎與「大多數」AI技術相匹配的精力與財力。對於AI產業來說,這無疑是一種平權精神。

從以人為本到科技向善:我們為何要對技術洋流的引導更加主動?

騰訊這種看似「逆勢而行」的做法,其實也是AI產業中一種隱隱冒出勢頭的洋流方向。

幾天以前,在福州的數字中國峰會上,馬化騰首次提到了「科技向善」這一概念,提出「我們希望『科技向善』成為未來騰訊願景與使命的一部分。我們相信,科技能夠造福人類;人類應該善用科技,避免濫用,杜絕惡用;科技應該努力去解決自身發展帶來的社會問題。」

無獨有偶,李飛飛在回歸斯坦福後,就著手創辦了HAI研究所(以人為本斯坦福人工智慧研究所),並在今年開始擔任所長。HAI的研究目標,就是推動AI技術向造福人類的方向發展,預測AI對人類生活的切實影響。

科技巨頭和學界旗幟都將目光投向了同一方向,是因為人們已經開始逐漸發現AI、5G、產業數位化等等技術力量的勢頭之強,已經到了不得不對其加以引導甚至約束的地步。

如同上文所說,科技企業在這一波技術發展的過程中,起到了很大的促進作用,而逐利自然是企業的本能和天性,因此企業會率先投身於那些滿足大多數人、應用場景廣泛、研發成本相對低的技術。

這種行為本身無可厚非,但AI等等新技術帶來的效率提升實在過於顯著,是否會會對那些暫時無法接入新技術的領域和群體進行擠壓甚至邊緣化,是很多人都在思考的一個問題。

例如隨著英漢日法俄等等主流語種的機器翻譯能力不斷增強,那些語料庫不充足、應用人數更少的小語種是否會因為得不到技術賦能,而被進一步地邊緣化?

同樣的,當公共事務辦理越來越多的被語音交互、圖像識別等等AI技術替代,聽障、視障群體在獲取服務時會不會遇到更多麻煩?

類似的情況其實已經發生:2018年年底,聯合國發布了對英國政府數位化成果的報告,結果是數據顯示在英格蘭,自2010年以來無家可歸者增加了60%,保障住房的等待名單上有120萬人,用來救濟窮人的食品銀行需求量增長了近四倍——因為很多貧困人群並不知道如何在網際網路上申請貧困補助,甚至家裡都沒辦法連接網際網路,最終只能在貧困中越陷越深。

很多時候,即使是無惡意的技術,也可能會出現無法預測走向。我們對於科技向善的引導,或許應該更主動一些。

結束語

最後,我們不如來看看這樣一組數字:

據2017年北京聽力協會預估數據,我國聽障人群數量約達到7200萬。在全球範圍內,世界衛生組織發布的最新數據顯示,全世界有共計約4.66億人患有殘疾性聽力損失。

——你看,這世界上所謂「大多數」和「少數派」本來就是一個相對性的概念,並不存在黑白鮮明的區隔。尤其對於AI這種善於模仿人類能力的技術來說,它的存在本可以推倒阻礙各個群體溝通交流的空氣壁,而不是讓這種趨勢愈演愈烈。我們關於利用技術搭建美好世界的目標,既然可以不拋下任何一個人,就不該拋下任何一個人。

好在從服務於聽障人群的手語識別翻譯上,我們已經能看到這種趨勢走向——精於計算的大腦不是AI唯一的模擬對象,還有人類的熾熱心臟。我們相信,在學界和巨頭的引導之下,未來會有越來越多的企業關注到無障礙AI技術的發展,不斷的打破各種隔膜阻礙。

愛雖沉默,也有迴響。

AI雖沉默,也有迴響。

相關焦點

  • AI進入無障礙時代:手語識別翻譯的應用意味著什麼?
    所謂大多數,第一意味著相關數據量大、便於累積,適用於AI對海量數據極度依賴的特性;第二意味著應用場景廣泛、便於變現回收成本,適用於AI研發的高門檻投入。目前我們身邊常常出現的人臉識別、語音交互等等,其實都符合以上這些特徵。不過這並不意味著,屬於「少數派」的AI是一片空白。
  • AI進入無障礙時代:手語識別翻譯的應用,究竟意味著什麼?
    所謂大多數,第一意味著相關數據量大、便於累積,適用於AI對海量數據極度依賴的特性;第二意味著應用場景廣泛、便於變現回收成本,適用於AI研發的高門檻投入。目前我們身邊常常出現的人臉識別、語音交互等等,其實都符合以上這些特徵。不過這並不意味著,屬於「少數派」的AI是一片空白。
  • 科技向善助力無障礙溝通,騰訊優圖發布AI手語翻譯機
    科技向善助力無障礙溝通,騰訊優圖發布AI手語翻譯機       5 月 16 日,全球無障礙宣傳日之際,騰訊優圖實驗室宣布攻克AI手語識別技術挑戰,聯合深圳市信息無障礙研究會發布
  • 我國首部手語翻譯領域譯著發布:大力助推信息無障礙環境建設
    因此,手語翻譯,成為極其重要、且極具有代表性的一個出口。&nbsp&nbsp&nbsp&nbsp9月27日,由中國社會福利基金會、中國青年出版總社聯合舉辦的《沉默的世界不寂寞:跨文化交際視角下的手語翻譯》捐贈儀式暨新書發布會在北京舉行,聾人朋友在現場用手語相互交流(央廣網記者 王晶 攝)&nbsp&nbsp&nbsp&nbsp「關心尊重理解幫助殘障人士,一定要從大力助推信息無障礙環境建設開始
  • 手語翻譯實時在線 蘇州市聾人溝通無障礙服務平臺正式建成啟用
    昨天是國際聾人節,作為2020年市政府實事項目之一,蘇州市聾人溝通無障礙服務平臺正式建成啟用。今後,廣大聽力、言語殘疾人可以通過該平臺的在線手語翻譯服務,與他人進行有效溝通。據了解,我市現有持證聽力、言語殘疾人約1.5萬人。由於言語障礙,聽力、言語殘疾人很難與外界正常溝通,難以走出家門融入社會生活。
  • 視頻在線手語翻譯 手語遠程翻譯率先在湖南實現
    大美無障愛:發現美 傳遞愛中國聾人網訊 近日,據湖南方面消息,聾人可以在線視頻與手語翻譯交流尋求翻譯協助,手語翻譯不必再遠途跋涉,通過網際網路與手語翻譯服務中心建立視頻通話連結,實現了可遠程翻譯,在線翻譯成為聾人朋友的「隨身譯」。
  • 手語盲文國家標準7月1日實施 手語有了「通用語」
    手語盲文國家標準將於7月1日實施  手語有了「通用語」 盲文有了「規範字」  近日,《國家通用手語常用詞表》和《國家通用盲文方案》由國家語言文字工作委員會規範標準審定委員會審定這就意味著,手語有了「通用語」,盲文有了「規範字」。  日前,中國殘疾人聯合會、教育部、國家語言文字工作委員會舉辦新聞發布會,發布《國家通用手語常用詞表》和《國家通用盲文方案》研製和推廣的相關情況,並回答記者提問。
  • 北京:銀行增設「在線手語翻譯」
    聽障人士到銀行,不管現場有沒有會手語的工作人員,他都能辦理銀行業務了。昨天,北京青年報記者從中國建設銀行北京分行了解到,目前,建設銀行北京長安支行和物資學院路支行在全國銀行業率先推出了「遠程在線手語翻譯」服務,聽障人士可隨時通過「在線手語翻譯」為自己「代言」。
  • 國際手語日 | 學習手語有什麼好處?
    今天是2020年9月23日,也是第三屆國際手語節。大家可能對這個節日不太熟悉,卻對全球的聽障人士來說是最重要的節日。
  • 上海靠譜手語翻譯僅有30餘人 代表:應加快手語翻譯隊伍建設
    原標題:本市靠譜手語翻譯僅有30餘人,工作日更是一翻難求,手語翻譯都去哪兒了?對聽力障礙者來說,手語翻譯往往會伴隨他們的一生,是他們與他人交往的重要紐帶。「在上海,大約有23萬聽力障礙人士,其中約一半靠手語與人溝通。
  • 一起學習手語!上海迪士尼推出「米奇童話專列」花車巡遊手語翻譯服務
    圖說:迪士尼花車巡遊有了中文手語服務 採訪對象供圖(下同)新民晚報訊(記者 楊玉紅)今天是國際手語日,上海迪士尼樂園花車巡遊——「米奇童話專列」正式推出中文手語翻譯服務,成為園內最新一個提供手語翻譯服務的娛樂演出。
  • 「手語翻譯法律知識」 培訓班在海口開班
    「手語翻譯法律知識」 培訓班在海口開班 讓殘疾人訴訟綠色通道更寬闊美視網客戶端8月28日消息(美視網 文/小晨 圖/蕭植)8月27日至28日,由海南省殘聯、海南省高院與海南省教育廳聯合舉辦的「聯特邀調解員、手語翻譯法律知識培訓班」在海口開班。
  • 騰訊研發出AI手語翻譯機:手語實時轉換成文字
    5月16日消息,今天是「全球無障礙宣傳日」,騰訊宣布了一件大事:騰訊優圖實驗室在AI手語翻譯方面取得了階段性進展,基於自研的手語識別算法正式推出「AI手語翻譯機」。據了解,這款翻譯機能識別900個常用手語詞彙,覆蓋聽障者大部分的日常表達用語。它以普通攝像頭作為數據採集裝置,依託高性能計算機進行後臺運算,用戶只需在任意的白色背景區域,面對攝像頭完成手語表達,翻譯機就能實時轉換為文字並反饋給用戶。未來,它有望在機場、高鐵、民政窗口等公共場所部署應用。
  • 上海迪士尼首推花車巡遊中文手語翻譯服務
    【解說】9月23日是國際手語日。當日,上海迪士尼度假區宣布推出花車巡遊中文手語翻譯服務。這也是度假區首次將花車上迪士尼朋友們所演唱的歌詞,通過專業中文手語翻譯進行呈現,讓聽障遊客也可以享受這一樂園標誌性的娛樂演出。  這一服務的推出,也讓在樂園工作的聽障演職人員們頗為興奮。他們紛紛表示,此次推出的花車巡遊手語翻譯服務,能夠讓更多聽不見的小夥伴們「享受雙倍的快樂」。
  • 同步手語翻譯服務覆蓋千萬人 全國人大代表石慧芬建議提高手語視頻...
    今年的疫情期間,人們驚喜的發現,國務院聯防聯控機制新聞發布會的直播畫面上出現了同步手語翻譯人員的身影。眾所周知,該新聞發布會是了老百姓獲知疫情動態的主要渠道之一,然而,在配備同步手語翻譯服務之前,聾人很難通過這個平臺獲取疫情信息,這樣既不利於他們做好自身保護,也不利於整個戰疫鬥爭的順利開展。
  • 海澱四季青醫院迎來手語導醫,為聾人病患進行手語翻譯
    近日,海澱區四季青醫院迎來首批專職手語導醫,聾人病患就醫全程都會有他們「同聲傳譯」式的手語翻譯。王海欣 攝「您需要幫忙嗎?」四季青醫院門診大廳裡,導醫王茜看到一位年紀稍長的女士正在掛號臺徘徊,從狀態看,她猜測這是一位聾人,於是走上前用語音和手語兩種方式同時提問。「太好了,你會手語。我這兩天膝蓋疼,來看看。」「我是醫院的手語導醫,我來協助您看病。」
  • 滬開發視頻手語翻譯APP 搭建一座聽障人士與外界溝通的橋梁
    一個溫暖的名字「伴你無礙」,這是上海首個視頻手語翻譯APP。暖黃背景下憨厚可愛的北極熊圖標,讓人很想打開這款手機應用。  它是聽障人士的福音。在政府服務窗口辦事、在銀行辦理業務、在醫院看病甚至遇到交通事故溝通處理時,聽障人士總是會遇到意想不到的溝通障礙。
  • 滬唯一全職職業手語翻譯員 將手語視作最美語言
    觸動她在手語翻譯道路上追夢、並為推廣其職業化努力的,是14年前大學特殊教育系老師的一番話:「殘障是人類進化過程中留下的部分。這是一個恆定的比例。你沒有在這個比例中,是因為有人幫你佔了這個比例,沒有殘障的人有責任讓這個世界變得無障礙……」
  • 上海迪士尼樂園花車巡遊有中文手語翻譯了
    上海迪士尼樂園的「明星項目」花車巡遊正式推出手語翻譯服務。9月23日,上海迪士尼樂園花車巡遊「米奇童話專列」正式推出中文手語翻譯服務。本文圖片均為上海迪士尼度假區供圖9月23日是國際手語日,澎湃新聞記者從上海迪士尼度假區獲悉,當日起,花車巡遊「米奇童話專列」推出了中文手語翻譯服務。今後在迪士尼樂園,隨著一列列花車駛過,花車上的「迪士尼朋友們」所演唱的的歌詞將可以通過專業中文手語翻譯進行呈現,讓聽障遊客無障礙享受這項演出。該服務的專屬觀賞區,位於樂園的迪士尼皮克斯玩具總動員園區。
  • 踐行科技向善,騰訊優圖發布AI手語翻譯機
    5 月 16 日,全球無障礙宣傳日之際,騰訊優圖實驗室宣布攻克 AI 手語識別技術挑戰,聯合深圳市信息無障礙研究會發布「優圖 AI 手語翻譯機」,致力於通過人工智慧技術為聽障人群搭建無障礙溝通平臺。據優圖實驗室 AI 手語識別項目組研究員陽趙陽介紹,優圖 AI 手語翻譯機以普通攝像頭作為手語採集裝置,依託高性能計算機進行後臺運算,用戶只需面對攝像頭完成手語表達,翻譯機屏幕界面就能快速把手語轉換為文字,幫助聽障人士和健聽人士進行正常交流,未來有望在機場、高鐵、民政窗口等公共場所部署應用,助力信息無障礙城市建設。