我們先來聽一下三段語音：
三段語音說的是同一句話：「你好，我是 Guillermo，你怎麼樣？（How's it going, hey, this is Guillermo. How are you?）」
只不過第一段是西班牙語原聲（Qué tal, eh, yo soy Guillermo, Cómo estás?），第二段是標準的人類英語翻譯，而第三段則是AI合成的英語翻譯，來自於谷歌 AI 最新的語音翻譯模型 Translatotron。
該模型是一個基於注意力機制（Attention）的端到端語音翻譯神經網絡。它不同於傳統語音翻譯技術，在翻譯的過程中省略了中間步驟，完全不需要進行語音轉文字和完成翻譯的文字轉語音，而是根據翻譯內容，嘗試匹配不同語言的語音頻譜圖（speech spectrogram），直接完成語音之間的轉換。
換句話說，我們剛才聽到的第一段西班牙語和第三段英語片段，AI在翻譯的過程中，沒有使用到任何語音轉文字的技術，也沒有使用西班牙語和英語的文字翻譯技術，只有純粹的語音轉換。
雖然從翻譯的準確率來看，Translatotron 模型還比不過傳統翻譯技術，但這種端到端的聯合優化思路確實打破了主流語音翻譯技術的基本原理，具有很強的啟發性和拓展性。
目前谷歌只使用了西班牙語和英語語音作為概念驗證，研究成果以預印本的形式發表在 Arxiv 和谷歌 AI 博客上。
打破常規思路
不同語言之間的語音轉文字和翻譯，是近年來機器學習領域的熱門研究方向，尤其是語音到語音的直接翻譯。
通常來講，語音翻譯過程可以分解成三個步驟。
第一步是語音識別，就是將英文語音內容識別出來，並且以文字的形式表達出來，比如聽到「How are you?」這句話，就寫出 How，are，you 三個單詞和問號。
第二步是文字翻譯，就是將上一步拿到的文字翻譯成目標語種，比如寫出「你好嗎？」這句話。
最後一步是語音合成，也就是將翻譯好的文本組合成一段語音，然後播放出來。
圖 | 不同模型從西班牙語到英語的語音翻譯對比
谷歌翻譯等當下常見的語音翻譯軟體都遵循了這一思路，並且對每一步驟進行了很多優化，比如引入端到端模型（End-to-end model）。這是一種將三個步驟結合起來，比如建立語音信號到文字映射，進而實現整體優化的模式。
在谷歌研究人員看來，他們提出的 Translatotron，是之前很多端到端研究成果的進一步延伸，可以直接拋棄文字翻譯這一中間步驟，成功在神經網絡的幫助下，實現了不同語言語音片段的直接轉換。
圖 | 不同語音的聲音頻率VS時間熱圖
他們使用的是一套序列到序列模型（Sequence-to-sequence model），即訓練 AI 將有關聯的連續數據視為一段整體（英文句子），然後直接轉化為另一段不同的整體（中文句子）。
在 Translatotron 中，研究人員選擇了語音片段的頻譜圖作為序列，上面描述了語音頻率隨時間變化的熱圖。它們會作為輸入值進入到神經網絡中，隨後經過8層堆疊雙向長短時記憶網絡（BLSTM）編碼器，頻譜與自動語音識別特徵結合，多頭注意力和頻譜解碼器等多個模塊，完成對語音頻譜特徵的提取，轉換和生成等任務。
經過上述一系列轉換後，西班牙語語音頻譜就變成了對應的英語語音頻譜，最後可以通過聲碼器（vocoder）合成我們聽到的語音。如果需要的話，還可以使用額外預訓練好的 Speaker 編碼器捕捉語音源的聲音特點，添加到合成語音當中，讓兩者聽起來更加相似。
圖 | Translatotron的工作原理
在訓練過程中，Translatotron還使用了多任務學習技巧（multitask learning），引入了四個長短時記憶網絡解碼器。
上圖的輔助識別任務區域（Auxiliary recognition tasks）就是負責在生成目標語種頻譜圖的同時，也順便學習一下如何預測語音的因素和文字內容。只不過它們沒有被用來進行推理，否則就不是純語音翻譯了。
為了測試翻譯質量，研究人員使用了機器翻譯評估算法 BLEU，最好成績達到了基準表現的76%。
他們認為，這一成績雖然不及主流的傳統語音翻譯技術，但 Translatotron 作為一個概念驗證，足以證明拋棄機器翻譯和文字轉換的思路行得通，而且可能還在還原音色等方面擁有更大的潛力。
下一步，谷歌團隊將嘗試降低訓練過程中的監督水平，擴大合成數據和多任務學習的規模，並且探索其他可以轉移的聲音元素，改善合成語音的質量。
不得不說，直接在不同語言之間轉換音頻的想法還是很有創意的，而且極富挑戰性，對特徵提取質量，語音頻譜繪製和噪聲抵抗能力提出了更高的要求，足以啟發其他團隊，成為一個新的研究方向。
如果你還想聽聽更多語音的翻譯效果，可以訪問Demo網站：
https://google-research.github.io/lingvo-lab/translatotron/