Skype Translator實時語音翻譯技術原理

　　【IT168 評論】近日，微軟正式宣布在中國市場推出Skype Translator實時語音翻譯技術的中文預覽版。對於英文不好的小夥伴們，這無疑是個利好，從此中英文溝通無障礙。

　　Skype Translator是由Skype和微軟機器翻譯團隊聯合開發，整合了微軟Skype語音和聊天技術、機器翻譯技術、神經網絡語音識別打造了一款面向消費者用戶的產品。

　　自2014年12月Skype Translator 推出英文和西班牙文之間的實時語音翻譯之後，此次在中國市場的發布Skype Translator無疑將微軟語音翻譯技術能力和Skype的未來應用前景推升到新的裡程碑。

　　Skype Translator預覽版適用於Windows 8.1或Windows 10技術預覽版的客戶端或平板電腦客戶端。除了英文和中文普通話的語音翻譯之外，還支持四十多種語言的即時文本翻譯。　

　　眾所周知，中文是一門極具挑戰性的語言，中文有大約一萬個常用漢字以及多種多樣的語音、語調，這對於母語為英語的學習者來說是最大的困難之一，有類似困難的語言還有阿拉伯語、日語和韓語。

　　微軟在2012年首次演示了英文和中文普通話之間的實時語音翻譯技術原型。經過多年的研究和投入，完成了普通話的語言模型，使Skype Translator的中文語音翻譯在今天變為現實。不僅如此，得益於深層神經網絡與微軟成熟的統計機器翻譯技術的結合，語音識別能力被進一步提高，翻譯結果將更加準確。

　　Skype Translator實時語音翻譯技術原理

　　Skype Translator構建於強大的機器學習平臺之上。機器學習是指軟體學習訓練數據的能力。通過在預覽版階段獲取的訓練數據，加之其中的細微差別，軟體就能夠針對真實使用者的不同話題、口音與語言轉換進行學習，實現更好的識別和翻譯。

　　Skype Translator的機器學習協議訓練並優化語音識別和機器翻譯任務，就像黏住這些元素的膠水一樣，該協議促進對被識別的文本進行更好的翻譯。這個過程包括去除造成不流利的字詞(例如「啊」「嗯」以及重複措辭)、將文本分解成句子、添加標點符號和大小寫識別。

　　語音識別和機器翻譯的訓練數據來源多種多樣，包括翻譯的網頁、配有字幕的視頻，以及預先翻譯且轉錄成文字的一對一談話。Skype Translator通過記錄這些對話來分析對話文本並訓練系統更好地「學習」各種語言。統計模型教會語音識別和機器翻譯引擎如何將收集到的語音轉換為文本信息，然後將文本信息轉換為另一種語言。使用Skype Translator的用戶都會在對話開始前得到清晰的系統提示，即對話將被錄製並用於提高微軟翻譯和語音識別服務的質量。

　　在準備好的數據被錄入機器學習系統後，機器學習軟體會在這些對話和環境涉及到的單詞中搭建一個統計模型。當用戶說話時，軟體會在該統計模型中尋找相似的內容，之後應用到預先「學到」的轉化程序中，使得音頻轉換為文本再從文本轉換成另一種語言。

　　雖然語音識別一直是近幾十年來的重要研究課題，但是該技術的發展普遍被錯誤率高、麥克風敏感度差異、噪音環境等因素阻礙。微軟研究院將深層神經網絡(DNNs)技術引入語音識別，極大程度地降低了錯誤率，提高了可靠性，最終使這項語音翻譯技術得以更廣泛地應用，包括Skype Translator。

　　Skype Translator的機器翻譯部分負責將文本從一種語言翻譯成另一種語言。它採用了和必應在線翻譯同樣的技術：開創性地結合了句法和統計模型，此外更加有針對性地訓練對話性語言。這點非常有挑戰性，因為現在用來搭建文本翻譯系統的典型訓練數據都是優化過的清晰、結構嚴謹的書面語言。Skype Translator系統在包含必應翻譯的豐富語言知識的同時，還額外加入了口語對話中出現的單詞及短語。

　　另外，Skype Translator創造了一個定製化的機器人程式來協調整個產品體驗。如電話中的第三方一樣，它負責建立電話連接、發送音頻流至語音引擎獲取翻譯文本，並分別在雙方結束說話時翻譯其所說的內容。

　　Skype Translator中文預覽版功能更新

　　相較於2014年12 月推出的英文和西班牙文之間的實時語音對話，本次推出中文預覽版的功能更新如下：

　　語音讀取文字信息

　　用戶可以通過語音收聽到對話方發送給自己的即時消息，語音的語言可以自選。

　　持續性識別

　　在對方發送語音信息期間可持續性的進行文字翻譯。

　　自動聲量控制

　　用戶的對話方可以在實時語音翻譯期間不間斷地說話。同時，用戶可收聽到較高音量的語音翻譯，對話方本身的語音信息呈現出較低音量，所以用戶只要將注意力集中在語音翻譯上即可，這可以保證翻譯信息的收聽流暢。

　　語言翻譯靜音功能

　　用戶可以任意開啟或關閉語音翻譯的聲音，並直接讀取文字翻譯。

　　除了語音翻譯現有的四種語言(英語，西班牙語，中文普通話，義大利語), Skype Translator 的即時通訊文本翻譯更是在原有40多種語言的基礎上加入了塞爾維亞語，波士尼亞語，克羅埃西亞語，瑪雅語和奧託米語。