實景AR 翻譯是什麼?居然秒殺 Google

2020-12-05 愛範兒

說到 AR 應用,你第一個想到的可能是前兩年讓人滿大街抓小精靈的 Pokémon Go 。

可如今 AR 應用卻沒有想像中火爆,其中一個原因在於市場上的 AR 應用比較單一,大都集中在遊戲和娛樂領域。

從 Pokémon Go 到蘋果的 ARKit、支付寶 AR 紅包等,這些應用製造了不少曇花一現的 AR 網紅,但高頻實用的工具型 AR 功能卻很少見到。

實際上 AR 的應用場景還有極大的開發空間,有道最近推出了實景 AR 翻譯功能,在有道翻譯官 App 中就能免費使用,並支持中英日韓四種語言的離線翻譯,這是國內首家真正的 AR 翻譯,此前其他廠商所推的 AR 翻譯其實就是拍照翻譯。

實景AR 翻譯與拍照翻譯最大的不同在於,無需拍照再識別圖片內容,而是對攝像頭中的文字內容實時翻譯,這裡面涉及到動態追蹤、神經網絡翻譯、OCR組段分析、AR渲染等複雜技術。

一般來說翻譯 App 最高頻的應用場景是國外旅遊和海淘購物等,AR 翻譯能提高這些場景的翻譯效率嗎?

過去 Google 翻譯也推出了手機相機即時翻譯的功能,有道翻譯官的實景 AR 翻譯與之相比體驗怎麼樣?AppSo 從一些常用的場景出發,看看有道翻譯官裡的實景 AR 翻譯到底好不好用。

外媒新聞翻譯

在國外旅行想要了解當地的動態消息,尤其是遭遇一些突發事件後,最好的的方式當然是直接閱讀外媒的新聞。

下面就分別用有道實景 AR 翻譯和 Google 拍照翻譯來測試 BBC 對 4 月 23 日發生在多倫多的一起嚴重的交通事故的報導。以下是報導原文:

翻譯結果如下:

(左為有道翻譯官的實景 AR 翻譯,右為 Google 拍照實時翻譯 )

新聞翻譯是對翻譯 App 最好的試金石之一,因為經常會出現結構複雜的長句,要翻譯好需兼顧詞意、句法、語境等多個方面。

從翻譯結果來看,有道實景 AR 翻譯比較令人滿意。基本能直接從翻譯結果了解這條新聞的主要信息 ,而且對於「standoff with 」(與……對峙)這樣的短語也能準確地翻譯。

相比之下 Google 對上下文的理解就差了很多,以中文閱讀的習慣讀起來比較吃力,很難直接通過翻譯結果理解原文的內容,而且翻譯文字的排版也比較混亂。

海淘商品說明

無論是出國購物,還是在網上海淘,都很有必要了解清楚商品的相關信息,比如成分說明、注意事項和退換貨說明等。

AppSo 這次找來一瓶韓國護膚品,這裡再次用有道實景 AR 翻譯和 Google 拍照翻譯對商品說明進行翻譯,內容大意是這種護膚品如何通過一種深層清潔泡沫來清除毛孔中的汙垢。

來看看最終的翻譯結果:

(左為有道翻譯官的實景 AR 翻譯,右為 Google 拍照實時翻譯 )

有道翻譯官的實景AR 翻譯再次完勝 Google ,基本能準確流暢地翻譯這段比較長的說明,也更容易理解。而 Google 的實時翻譯結果有點不知所云,似乎只是把每個單詞譯成中文,沒有聯繫上下文的語義。

為什麼會出現這種情況呢?這也是有道的一個秘密武器,就是 OCR的組段分析技術,通過上百萬份語料訓練,讓機器能看懂人的說話方式、分段方式,直接結合上下文翻譯,不用一個字一個字的翻譯後粗暴地集合在一起。

車站路牌

行走在異國的城市,對陌生地名、路牌的翻譯也是十分高頻的需求。 AR 翻譯比起過去手動輸入來說方便了不少,下面來看看實際的體驗是怎樣的。

地鐵站

地標建築

商鋪營業信息

從幾個場景的測試來看,攝像頭從對準文字到翻譯成目標語言的響應速度較快,做到實時翻譯。而且在把原文替換到目標語言的同時完整地保留了文字背景,比用 PS 還快。

菜名翻譯

雖然一些國家的餐廳已經開始針對中國遊客推出了中文菜單,但在國外就餐時還是會經常碰到一頭霧水的情況,來看看有道翻譯官的實景 AR 翻譯對菜單的理解怎麼樣。

可以看到,菜名的翻譯也比較到位。

總結

能將 AR 技術成熟應用到翻譯上的 App 目前在市場上鳳毛麟角,因為背後的技術難度較大,只有有道和 Google 兩家公司能實現這一技術。除了 AR 技術,還對離線神經網絡翻譯(NMT)、運動跟蹤(Tracking)、圖像識別(OCR) 等人工智慧技術有非常高的要求。

最後來總結一下有道實景AR翻譯的實測體驗:

有道翻譯官的實景AR 翻譯,能處理好比較複雜的長句翻譯,尤其在商品包裝、路標、菜單等海外常用的場景,翻譯準確度較高。有道 AR 翻譯明顯比 Google 翻譯更懂中文,這得益於有道的 OCR的組段技術,能看懂分段,自然也能「說人話」,這個測試,在文章段落的時候,好的非常明顯。翻譯速度能做到實時翻譯,對被攝物體的跟隨基本無肉眼可見的延遲。AR 翻譯的視覺交互體驗不錯,平面文字與背景的融合效果較好,每次翻譯結果相當於自動 PS 一遍。容易上手,支持中英日韓免費離線互譯,沒有網絡也沒關係,更省流量。

據有道介紹,有道翻譯官還會繼續提升實景 AR 翻譯的體驗,比如很快就會開放全屏的 AR 翻譯,並更新自動識別語言的功能。

現在普通人對翻譯的需求越來越大,有道翻譯官 App 中對於文本、語音、對話、拍照等翻譯等需求基本都能翻譯的很準了。如果對海外遊、商務出差和海淘購物需求較高的朋友,這次有道翻譯官新推出的實景 AR 翻譯功能不妨一試。

相關焦點

  • AR實景地圖APP讓你不再迷路
    其實有時候就算使用google map,還是常常發生找不到路的情況。迷路了怎麼辦?打開Google Map還是分不清東南西北嗎?沒關係,現在就有APP業者推出AR實景服務,只要用手機相機拍一下,就能夠立刻知道下一步該往哪裡走?
  • AR是什麼意思?支付寶AR實景紅包是什麼怎麼找攻略
    AR是什麼意思?增強現實(Augmented Reality,簡稱AR)  它通過電腦技術,將虛擬的信息應用到真實世界,真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。  AR=真實世界 + 數位化信息支付寶AR實景紅包是什麼怎麼找攻略  2016年12月底開始,支付寶也在大力推動「AR實景紅包」。五福活動中,AR紅包也是一大助力。
  • 深度體驗搜狗翻譯寶:離線翻譯+實景拍照翻譯很實用
    ▵ 機身上方喇叭孔和相機按鍵,以及側面的開關機鍵此外,搜狗旅行翻譯寶還配有獨立 OCR 拍照翻譯按鍵,用於對實景/圖片上的文字進行翻譯。機身背面安裝有 500 萬像素的高清自動對焦 OCR 攝像頭。而音量的按鍵和 Type-C 充電口則被設計在了機身的下方。
  • Google翻譯迎來重要更新,國內用戶體驗不再被閹割
    只是單純的翻譯產品上的大動作,一定不要誤導讀者說「Google 要回來了……」我說好的。作為目前全球最好用的翻譯工具,Google 翻譯今天迎來了一次較大的更新,在 Android 和 iOS 上更新至 5.8 版本。新版 Google 翻譯 App 增加了英語與韓語間的 Word Lens(即時相機翻譯)功能,更重要的是優化了中國用戶的體驗。
  • Google 地圖推出了 AR 實景導航,它用起來怎麼樣?
    在去年的 Google I/O 大會上,我們已經見識過 Google 地圖的 AR 實景導航功能,但就像 Google 一直在做的那樣,他們經常是先發布一個功能,但具體的上線時間則經常延後,甚至有一些功能還會在後續的優化中被逐漸砍掉。
  • Google翻譯App更新:拍照就可翻譯!
    今天,Google翻譯App更新了!8年來,用戶可通過translate.google.cn訪問網頁版的Google翻譯,現在用戶還可下載Android和iOS版本應用。
  • Google 地圖推出了 AR 實景導航,它用起來怎麼樣? | 愛範兒
    Google 地圖推出了 AR 實景導航,它用起來怎麼樣? 在去年的 Google I/O 大會上,我們已經見識過 Google 地圖的 AR 實景導航功能,但就像 Google 一直在做的那樣,他們經常是先發布一個功能,但具體的上線時間則經常延後,甚至有一些功能還會在後續的優化中被逐漸砍掉。
  • Google Earth 9.0:20000 多個 3D 實景建模,帶你實地探訪地球的角角落落
    在 Google Earth 9.0 for Chrome 裡,除了更精簡、符合業界發展趨勢的 UI 界面,和更為絲滑的交互動效,還有超過 20000 個「地標」的實景 3D 模型。除了數量頗多的實景建模之外,Google Earth 在網頁左側菜單欄裡集成了各種互動功能,可以快速搜尋想要查看的地點。
  • 如何評價Google神經機器翻譯(GNMT)系統?
    其中,Google Translate的核心技術 「統計機器翻譯」其基本思想是通過對大量平行語料進行統計分析、構建統計翻譯模型、進而使用此模型進行翻譯。簡單來說,Google Translate 在生成譯文時,會在大量人工翻譯的文檔中查找各種模型,進行合理的猜測,從而得到恰當的翻譯。
  • 《靈魂戰紀》全新ar卡效果是什麼?
    《靈魂戰紀》全新ar卡效果是什麼?近日,《靈魂戰紀》1月18日更新了10張最新的ar卡亮相,隨著ar的技能描述信息也在卡池中描述出來。下面是10張AR卡的介紹靈魂戰紀 五星ar卡五星卡【折鳶少女 哈露μ】淬火
  • 高德地圖行車記錄儀AR導航怎麼設置使用教程
    高德地圖AR導航功能再次升級,現在,大家可以通過車內的行車記錄儀來當眼睛,實現高清AR實景導航。將高德地圖與行車記錄儀連接後,系統將會自動捕捉街道路面的畫面,然後以AR實景的方式呈現在高德地圖軟體中。下面小編也為大家帶來了高德行車記錄儀AR導航設置使用教程,我們一起來看看吧!  高德地圖行車記錄儀導航怎麼用?
  • 【討論】AR你懂我的意思吧 一起來捉妖
    而在pokemon go遊戲熱爆全球的時候,ar遊戲也開始進入新的紀元,開發這個遊戲的公司也因此賺得滿盆頗豐,ar遊戲市場還是很有潛力的。接下來小編就來給大家盤點ar遊戲,好玩又有趣。Pokemon Go:點開手機上的《Pokemon Go》,手機攝像頭實時拍攝的現實畫面中,便會出現皮卡丘、小火龍、比比鳥、傑尼龜等寵物小精靈形象。
  • 手機AR實景導航哪家強?高德VS搜狗實測
    除了因為不熟悉道路之外,確實對於有些人來說,2D地圖導航並不容易那麼快速且精準地看明白,而如果使用手機AR實景導航的話,則能更加直觀、快速地看清路口,避免路線偏移。那麼現在的問題是,如何使用手機AR實景導航呢?
  • 高德地圖ar實景導航怎麼打開 ar實景導航設置使用教程
    高德地圖8月20日發布了APP更新更新消息,新版本的高德地圖APP手機端中開啟了AR駕車導航功能,這樣可以讓用戶更加直觀的體驗路線導航功能,許多用戶還不知道如何設置打開AR實景導航,以下是詳細攻略
  • 凌度AR實景導航記錄儀——開啟行車方式新視界
    而凌度T620行車記錄儀,將AR應用到導航中,配合高德地圖實現實景導航。AR實景導航與傳統導航最大的區別在於實景,傳統的導航只需要將GPS位置和地圖信息結合到一起就可以定位到2D或3D的信息,而AR實景導航,是將導航信息與實際街景相融合,給出信息更加豐富的3D導航指引。也就是說,AR實景導航需要實時採集街景來進行視覺計算,給出真實的導航信息。
  • GOOGLE搜客戶別樣技巧
    這時,就可連同「@」和你要找的商品名稱寫到google.com搜索欄中。幸運的話,你會找到很多買家,少的也能有一兩個。舉例:比如要找手機的印度買家,就可以這樣搜:在google.com輸入@rediff.com mobile就可以了。
  • 戰無不勝的黑之王歐布奧特曼,居然會怕這個?被羅布一擊秒殺!
    TOP1;以前對黑之王歐布奧特曼完全無效的光線攻擊,這次居然特麼的打中了,而且還把黑王歐布奧特曼打趴下了,臥槽,這就是主角光環嗎,別跟我扯他們經過什麼特訓,那就是體育運動好不好,更本不是特訓!TOP2:兄弟二人乘勝追擊,高空躍起,之間一陣刀光劍影,我們的黑之王超級歐布奧特曼又再次趴下了,這是搞什麼飛機啊,也太遜色了吧,然後歐布就變得一臉懵逼!
  • 2款免費的翻譯工具,無需註冊安裝3分鐘搞定
    2、第二種是G翻譯,網址:gtranslate.io谷歌翻譯這邊直接分享代碼給大家,可以直接用,也不用自己去谷歌網站上面找代碼一:<metaname=」google-translate-customization」content=」108d9124921d80c3-80e20d618ff053c8-g4f02ec6f3dba68b7-c」
  • Google全面回歸中國?真相在此:好殘酷!
    按照該網友的說法,Google的確在準備回歸,預計2016年初上線,但不是什麼都來,只有Play家族的商店、遊戲和位置信息等少數服務,搜索、Gmail、YouTube、Google+等之類的主流服務別想。
  • 高德推出AR導航行業解決方案 提供AR實景導航等功能
    【TechWeb】8月14日消息,高德地圖宣布,推出AR導航行業解決方案,為用戶帶來部分高端豪車才有的AR實景導航、碰撞預警等安全輔助、精細化導航等功能。具體來看,該解決方案開放了三大能力:首先是AR實景導航,利用攝像頭將前方道路的真實場景實時捕捉下來,再結合汽車當前定位、地圖導航信息以及場景AI識別,進行融合計算,然後生成虛擬的導航指引模型,併疊加到真實道路上,從而創建出更貼近駕駛者真實視野的導航畫面,大幅降低了用戶對傳統2D或3D電子地圖的讀圖成本。