搜狗獲全球口語翻譯大賽冠軍 多模型融合細節打磨成制勝法寶

2020-12-11 TechWeb

【TechWeb】11月7日,在2018IWSLT(International Workshop on Spoken Language Translation)全球頂級口語機器翻譯評測大賽上,搜狗憑藉BLEU(BLEU是機器翻譯自動評價方法,其數值越大意味著越準確)值28.09的成績奪得冠軍,超過第二名1.6個BLEU。在如此重量級賽事中斬獲冠軍足以凸顯搜狗在口語機器翻譯領域的領先地位。

IWSLT作為全球最具影響力的口語機器翻譯評測比賽,今年是第15屆,共有10支隊伍參賽。除了全球領先的學校、科研機構,今年也有包括美國APPTEK、國內科大訊飛、阿里巴巴在內的「大廠」參賽。

TechWeb近日和搜狗參賽核心成員進行了近距離溝通,從中或許可以窺見搜狗機器翻譯能力快速突破的訣竅。

兩年兩項領域奪冠 成機器翻譯標杆

在機器翻譯領域,這已不是搜狗第一次獲得冠軍。

在去年的2017WMT(Workshop on Machine Translation)機器翻譯頂級評測大賽上,搜狗就獲得中英和英中翻譯雙向冠軍,其機器翻譯的準確率和速度受到業界矚目。

搜狗機器翻譯負責人王宇光介紹,本屆IWSLT2018評測比賽中,考評的是將英語演講語音翻譯成對應的德語文本,難度係數更高。

IWSLT2018大賽共分了2大賽道,其一是Baseline Model(基線模型賽道),這是業內最主流最實用的語音翻譯應用技術。另一賽道是End-to-End(端到端賽道),為本屆大賽新增設賽道。

baseline模型對應的語音翻譯方案,包含語音識別、機器翻譯兩大模塊,採用多步流水線設計,即語音信號先輸入語音識別系統得到源語言的識別文本,然後再將識別文本送入機器翻譯系統輸出目標語言的對應譯文。

End-to-End模型則是輸入語音,基於深度神經網絡模型直接輸出譯文,並不會產生源語言的識別中間結果。

搜狗參加的是baseline模型賽道比拼,並最終奪得冠軍。

從比賽結果BLEU數據來看,搜狗的BLEU最高,達到28.09。第二名是科大訊飛BLEU26.47,相差1.6個BLEU。搜狗語音技術負責人陳偉表示,從BLEU上來看二者差距已經比較明顯,這種差距從用戶層面上已經是可感知程度。

新增賽道End-to-End模型賽道的最高BLEU僅為19.4,與baseline模型結果相差甚遠,End-to-End模型離能實際商用解決用戶翻譯需求還有很大差距。

多模型融合 細節打磨成制勝法寶

王宇光介紹,IWSLT201大賽,搜狗共投入近17人的團隊,耗時近3個月時間打磨整合聲學模型、機器翻譯、語音增強、語言模型、解碼器等領域技術能力。

搜狗語音技術負責人陳偉表示,「這次IWSLT評測數據體系是真實場景下的,而且又涉及到跨語言(英德)的現象,檢驗了我們能力,也證明我們在不同語種之間的遷移能力。」

陳偉介紹,在baseline模型的語音識別、機器翻譯兩大模塊方面,從技術實驗上看,在語言識別上,目前搜狗和訊飛水平基本持平,在文本翻譯上搜狗做的更好。但是,他也強調「做好語音翻譯這件事,除了單拼語音識別、單拼翻譯以外,主要還是拼細節。」

在IWSLT201大賽競技中,陳偉透露,為了確保口語翻譯準確率更好,無論是語音識別還是機器翻譯,都採用了多個不同模型融合去做,包括不同的語料、時間點、數據、特徵等。每個模型優勢不同,多個模型做磨合,讓多個專家一起做決策,這樣能保證準確率有進一步的提升。僅語音識別方面,搜狗團隊就用了用包括TDNN、BiLSTM、Deep-CNN在內的多個模型融合。

語音識別場景往往存在很多問題,如演講者口語化現象、現場噪聲問題,翻譯方面有選詞、一詞多義問題。怎麼去應對這些問題,很多是在細節上打磨。除了把語音識別和機器翻譯做好,還需要解決語音翻譯結合部分的工作,如語音順順滑、斷句等等工作。

此外,搜狗已經向大眾推出了翻譯機、同傳等產品,搜狗同傳產品在網球公開賽、遊泳世界盃等多場景下進行了實踐使用。這些來源於實際產品的經驗和用戶反饋,也幫助搜狗語音翻譯技術不斷迭代突破。目前在噪音相對小的情景下,搜狗語音識別準確率可達95%,以5分制評價,機器翻譯能維持在4分左右。在陳偉看來,這些都成為搜狗口語翻譯冠軍實力的註解。

加速語音翻譯技術商業化落地

基於搜狗語音翻譯實力,目前搜狗打造的同傳、旅行翻譯狗、錄音翻譯筆等產品已經落地多個場景,並不斷迭代升級。

搜狗同傳目前已支持過很多科技大會,具備了很強的科技屬性。現在開始嘗試在網球、遊泳比賽、專業學術會議等領域做同傳適配,未來將向更多領域拓展。

陳偉表示,儘管語音翻譯技術已經有了突破性發展,但是和成熟的人工同傳相比還有很大差距。預計到2020年左右,機器同傳的水平可以達到一般水平速記的程度。目前搜狗同傳希望能夠更好地配合人、幫助人,並不是替代人。

此外,陳偉透露後續會有多款圍繞語音翻譯技術的硬體產品發布,搜狗在語音合成技術方面近期也會有新的產品發布。

相關焦點

  • 對話搜狗口語機器翻譯團隊:國際冠軍的誕生
    IWSLT的口語機器翻譯指的是從語音信號翻譯成目標語言文本,正是搜狗已經落地應用的「AI同傳」、「旅行翻譯寶」等多款產品的核心技術,並不是我們熟悉的文本到文本的翻譯。口語機器翻譯領域是一個新興領域,搜狗則一直走在前沿,此次摘得大賽冠軍,也是實力的印證。
  • 搜狗擊敗訊飛阿里 獲IWSLT國際口語機器翻譯評測大賽冠軍
    ,一舉奪得了2018年IWSLT大賽Baseline Model(基線模型)賽道冠軍,代表中國向世界彰顯了AI領域的技術硬實力!短期內連續登頂世界第一的位置,充分證明了搜狗在翻譯行業特別是口語翻譯領域已位居領先地位。IWSLT是什麼比賽?IWSLT是國際最具影響力的口語機器翻譯評測比賽,從2004年開始已經舉辦了15屆。
  • 搜狗擊敗訊飛阿里,獲IWSLT國際口語機器翻譯評測大賽冠軍
    ,搜狗擊敗訊飛、阿里巴巴, APPTEK(美國應用科技公司)、AFRL(美國空軍研究實驗室)以及KIT(德國卡爾斯魯厄理工學院)等國際國內多個強勁對手,一舉奪得了2018年IWSLT大賽Baseline Model(基線模型)賽道冠軍,代表中國向世界彰顯了AI領域的技術硬實力!
  • 對話搜狗口語機器翻譯團隊:全球奪冠只為驗證技術,更看重落地商用
    邊策 發自 凹非寺 量子位 報導 | 公眾號 QbitAI就在上周,搜狗又拿下一項機器翻譯國際冠軍。在今年的國際頂級口語機器翻譯大賽IWSLT上,搜狗戰勝科大訊飛、阿里等眾多國內外好手,一舉奪魁。為何能連續在全球競技中奪冠?此次口語機器翻譯有何特點?內部如何備戰?又有什麼經驗總結可分享?剛剛載譽歸來的搜狗團隊,派出負責人代表:語音技術負責人陳偉、機器翻譯負責人王宇光等人,與量子位分享了背後故事。
  • 再發「最強音」,科大訊飛喜獲國際口語機器翻譯評測大賽冠軍
    再發「最強音」,科大訊飛喜獲國際口語機器翻譯評測大賽冠軍 繼斬獲今年八項「世界第一」之後,科大訊飛再度發力,在剛剛結束的 2018 年國際口語機器翻譯評測比賽中,科大訊飛在英德方向語音翻譯任務端到端模型比賽中
  • 人工遭遇AI挑戰,阿里搜狗展示新能力,翻譯有了最強競爭者
    以前只有兩種辦法,一種是用手勢來比劃著交流,具體意思全靠猜測,另一種就是請一個會兩國語言的翻譯來做雙方溝通的橋梁。顯然請翻譯是一種最為穩妥的辦法。翻譯就成了一種重要的職業,而且翻譯的待遇高,工作環境好,因此,翻譯這個職業也成為了眾多職業中的白領、金領工作,成為人們羨慕和追求的一種的職業。但是,隨著人工智慧的發展,翻譯這個令人羨慕的職業也是充滿了危機。
  • WMT2017國際翻譯大賽,搜狗獲得中英/英中翻譯雙向冠軍
    語音翻譯,無疑是一個很好的突破口。擁有深度學習算法的加成,人工智慧讓機器學習變得更加「聰明」,足以打破語言文化的交流壁壘。從這一點來看,中國的科技公司已是佔據了領先地位。擁有語音技術積累的搜狗知音,在前幾天的WMT 2017國際評測中,獲得中英和英中翻譯雙向冠軍,機器翻譯的準確率和速度震動了整個業界。搜狗,已經跑在了人工智慧隊伍的前列。
  • 搜狗知音、機器翻譯獲2018CAIS人工智慧優秀獎
    搜狗知音、機器翻譯獲2018CAIS人工智慧優秀獎 9月6日,2018中國人工智慧峰會(CAIS 2018)在南京國際博覽會議中心召開
  • 搜狗知音及機器翻譯獲2018CAIS人工智慧優秀獎
    近年來,搜狗人工智慧戰略以語言為核心,布局「自然交互+知識計算」,在語音、圖像、對話、翻譯、問答等典型人工智慧領域的技術和應用全球領先。搜狗知音引擎和搜狗神經機器翻譯系統具有行業領先的AI技術能力,雙雙獲此殊榮,可謂實至名歸。
  • WMT國際機器翻譯大賽結果流出,微信AI拔得頭籌
    作為全球學術界最具權威的機器翻譯比賽,近日,WMT2020國際機器翻譯大賽的榜單停止提交結果並發布排名,其中騰訊微信AI團隊在「中文-英文」翻譯任務上奪得冠軍。 大賽每年都吸引了眾多來自全球的企業、科研機構和高校所組成的頂尖團隊,包括微軟、Facebook、百度、金山、日本情報通信研究機構(NICT)。在賽制上,組委會根據中英、英中、中日等不同翻譯任務提供測試集,參賽者在線提交機器翻譯結果,組委會將根據在國際上具有廣泛認可度的BLEU自動評估指標對參賽者提交的機器譯文和標準答案進行擬合計算,擬合程度高者排在前面。
  • 搜狗翻譯網頁版在線翻譯 搜狗翻譯app有哪些功能
    搜狗翻譯作為國內一款比較受歡迎的翻譯工具,有著不少的用戶人群,與其他的翻譯軟體相比,搜狗翻譯有哪些獨特的功能呢,以下我們來看下搜狗翻譯的幾個特色功能介紹。
  • 搜狗商用神經機器翻譯獲「創世技」顛覆性創新榜Top10
    其中,搜狗公司的「商用神經機器翻譯系統」獲得「創世技」顛覆性創新榜Top10。搜狗神經機器翻譯系統是搜狗公司全自主研發並已經成功商用的機器翻譯技術,是業界最新型翻譯系統,獲得多項授權專利。在該系統的支持下,搜狗日均翻譯請求3億次,覆蓋全球超5億用戶。
  • 人工智慧翻譯大比拼 有道翻譯戰勝谷歌奪得冠軍
    在其中的人工智慧翻譯大賽中,谷歌翻譯、有道翻譯官、搜狗翻譯三款翻譯軟體同臺競技,實測翻譯效果。最終,有道翻譯官憑藉著突出的對話翻譯和拍照翻譯功能,以及幾乎無短板的優勢,在比賽中拔得頭籌。值得一提的是,有道翻譯官的使用體驗最流暢的,幾乎沒有卡頓並且能第一時間外放出翻譯結果。  搜狗翻譯也發揮正常,對於「你的聲音裡,滿滿的都是我們將要創造的美好回憶」這樣的挑戰能夠準確完成。不過在英文翻譯中文的過程中,發音比較容易混淆的 sing 被搜狗翻譯成了 see,「我喜歡你,我感覺你能看到我」也被誤翻譯成了「I like your business, look.」。
  • 斬獲WMT2020國際機器翻譯大賽中英方向第一名
    來源:經濟日報-中國經濟網經濟日報-中國經濟網北京7月9日訊 作為全球學術界最具權威的機器翻譯比賽,近日,WMT2020國際機器翻譯大賽的榜單停止提交結果並發布排名,其中騰訊微信AI團隊在「中文-英文」翻譯任務上奪得冠軍。
  • 翻譯技術哪家強?有道翻譯在人工智慧翻譯大賽拔得頭籌
    在其中的人工智慧翻譯大賽中,谷歌翻譯、有道翻譯官、搜狗翻譯三款翻譯軟體同臺競技,實測翻譯效果。最終,有道翻譯官憑藉著突出的對話翻譯和拍照翻譯功能,以及幾乎無短板的優勢,在比賽中拔得頭籌。值得一提的是,有道翻譯官的使用體驗最流暢的,幾乎沒有卡頓並且能第一時間外放出翻譯結果。搜狗翻譯也發揮正常,對於「你的聲音裡,滿滿的都是我們將要創造的美好回憶」這樣的挑戰能夠準確完成。不過在英文翻譯中文的過程中,發音比較容易混淆的 sing 被搜狗翻譯成了 see,「我喜歡你,我感覺你能看到我」也被誤翻譯成了「I like your business, look.」。
  • 搜狗「知音」推實時翻譯 實現語音識別與機器翻譯融合
    智東西(公眾號:zhidxcom)文 | Sharpay智東西11月21日消息,日前,在第三屆世界網際網路大會烏鎮峰會上,搜狗在會上的一場語音實時翻譯「表演」引起了人們的關注。11月21日,搜狗正式推出了這個基於語音交互引擎「知音」的實時翻譯技術。
  • 搜狗機器翻譯團隊獲得 WMT 2017 中英機器翻譯冠軍
    搜狗語音交互技術中心代表搜狗參加了這次含金量極高的比賽,該中心研發的搜狗神經網絡機器翻譯(Sogou Neural Machine Translation)系統在「中文-英文」機器翻譯任務中獲得了冠軍。這個系統採用了哪些新方法、新結構,又為我們提供了哪些新思路?讓我們結合論文聊一聊 Sogou NMT。WMT 是機器翻譯領域的國際頂級評測比賽之一。
  • 第五屆世界網際網路大會上的神翻譯:搜狗翻譯寶Pro圈粉無數
    一位記者表示:「搜狗翻譯寶Pro真的很強大,有了它,終於可以無視語言屏障,採訪任何想要採訪的外國嘉賓了。」據了解,搜狗翻譯寶Pro是世界網際網路大會舉辦以來的首個官方指定翻譯機。而搜狗翻譯寶Pro能夠受到本屆大會官方及記者的青睞,與其強大的功能密不可分。
  • 從機器翻譯來看中國最酷AI挑戰賽:賽手體驗放第一位
    目前國內科研數據集規模最大,平臺資源最豐富,當屬由創新工場、搜狗和今日頭條三家AI企業同發起「AI challenger全球AI挑戰賽」。據悉,該大賽設立的優勝者獎金高達200萬元人民幣。單從機器翻譯這個賽道來說,國際上的評測比賽幾乎全是機器文本翻譯,而AI  Challenger 在這個賽道上提供了兩個方向的賽題——英中機器同聲傳譯和英中機器文本翻譯。AI科技評論專程採訪了提供這兩個賽題的設計方案,同時也是大賽主辦方之一的搜狗科技,為大家介紹更詳細的賽事情況。機器同傳的魅力何在?
  • 總統親自下單搜狗翻譯寶Pro背後 怎樣一種新生活方式正在被打開
    即記錄者、傳遞者和翻譯者,都是人。尤其隨著全球化和信息技術的飛速發展,翻譯行業已經成為了全球產業鏈的一個重要組成部分。不論是會議交流,國際賽事甚至是越來越多的國人出境遊和國外友人中國遊,對於翻譯的需求日漸旺盛。但語言服務的提供方如果只能是「人」,那麼註定不能為所有的普通人所用,畢竟在日漸龐大的語言交流之下,普通用戶將如何打開與世界無障礙溝通的大門呢?