雷鋒網AI科技評論按：百度前段時間推出了語音合成應用 Deep Voice，雷鋒網也於近日回顧了百度在語音識別及語音合成的研究歷程《從SwiftScribe說起，回顧百度在語音技術的七年積累》，但對於不了解TTS的同學們來說，要理解 Deep Voice 同樣困難。
而近日，百度首席科學家吳恩達在 Twitter 上轉發了MIT Dhruv Parthasarathy 的一篇medium 文章，其詳細闡述了Baidu Deep Voice 的具體原理及操作方法。吳恩達表示，「如果你是語音合成的新手，那麼這篇文章便是 Deep Voice 優秀且可讀性強的一個總結。感謝@dhruvp! 」雷鋒網AI科技評論編譯，未經許可不得轉載，以下為原文內容：
我希望把 ML/AI 領域最新的重要文章做成一個系列，該領域的文章裡有相當多非常直觀的思路，希望這些直觀的思路能在本文中有所展現。百度 Deep Voice 是一個應用深度學習把文本轉換成語音的系統， 這篇文章是本系列的第一篇博文，也是分析 Deep Voice 文章的上篇。
百度 Deep Voice
首先貼上Deep Voice 的 Arxiv連結：https://arxiv.org/abs/1702.07825
最近，吳恩達所在的百度人工智慧團隊發布了一篇令人嘆為觀止的文章，文章介紹了一種基於深度學習把文本轉換成語音的新系統。文章中百度 Deep Voice 生成的錄音例子如下所示，讓結果來說話（錄音內容）
百度文本轉換語音系統成果。錄音來源：http://research.baidu.com/deep-voice-production-quality-text-speech-system-constructed-entirely-deep-neural-networks/
顯而易見，與 MacOS 的 TTS （文本轉換成語音）系統相比，百度 Deep Voice 生成的錄音聽起來更自然，更像人類朗讀的聲音。但以上結果應當注意到一個大前提——百度 Deep Voice 原型有一個先天優勢，那就是它利用人類朗讀的一個錄音源件來進行訓練，這給它添加了一點人類說話的韻味。除此之外，Deep Voice還可以訪問頻率和持續時間數據。
除了能輸出高質量的語音，論文創新的幾個關鍵點是：
1. Deep Voice 將深度學習應用於語音合成的全過程。
以前的 TTS 系統會在某些環節上採用深度學習，但在Deep Voice之前，沒有團隊採用全深度學習的框架。
2.需要提取的特徵非常少，因此容易應用於不同的數據集。
傳統語音合成需要進行大量的特徵處理和特徵構建，但百度通過使用深度學習避免了這些問題。這使得 Deep Voice 的應用範圍更加廣泛，使用起來也更加方便。論文中也提到，如果需要應用於新的數據集，與傳統系統動輒幾個星期的時間相比，Deep Voice 可以在幾個小時內完成重新調試：
傳統的 TTS 系統完成（重新訓練）需數天到數周的時間進行調節，而對Deep Voice進行手動操作和訓練模型所需的時間只要幾個小時就足夠。
3.與現有技術相比，這個系統非常高效，專為生產系統而設計。
相比於 DeepMind 關於人類音頻合成的開創性論文中實現的 WaveNet ，現在這個系統的有效速度提升了400倍。
我們專注於創建一個能迅速實現產品化的系統，這需要我們的模型能運行實時推斷。Deep Voice 可以在幾分之一秒內合成音頻，並在合成速度和音頻質量之間提供可調和的權衡。相比之下， WaveNet 合成一秒鐘的音頻，系統需要跑好幾分鐘。
一、背景材料光說說這些創新點就足以令人感到興奮不已了！但是它是如何工作的呢？這篇博文的剩餘部分，將嘗試深入研究 Deep Voice 的不同部分，以及分析它們是如何融合在一起的。在此之前，可能你需要先看看這個視頻，了解一下基礎知識：
做好了功課，現在是時候深入探究 Deep Voice 的工作原理了！這篇博客的其餘部分將遵循以下結構：
1.首先，看看 Deep Voice 如何理解一個例句並將其轉換為與人聲相似的語音（這一步就是大家熟知的合成流程）。
2.然後將推理流程進一步拆解，了解每個部分的作用。
3.接下來，我們將介紹這些獨立部分實際上是如何訓練的，以及實際的培訓數據和標籤。
4.最後，在下一篇博文中，我們將深究用於實現這些不同組件的深度學習架構。
二、合成流程——將新文本轉換為語音現在讓我們立足高點，看看 Deep Voice 如何識別一個簡單的句子，並將其轉換為我們聽得見的音頻。
我們即將探究的流程具有以下結構：
Deep Voice 的推理線路。來源：https://arxiv.org/pdf/1702.07825.pdf
為了理解這些組件是什麼，以及它們如何組合在一起，我們一起逐步細究合成的具體過程。我們來看看 Deep Voice 是如何處理下面這個句子的：
It was early spring.
步驟1：將語素（文本）轉換為音素以英語為代表的語言不是語音語言（phonetic）。
（雷鋒網AI科技評論按：語音語言指的是單詞拼寫與讀音一致的語言，比如拉丁語就是一種典型的語音語言，即單詞中沒有不發音的字母，每個字母都有固定的發音。 ）
例如以下單詞（參考於linguisticslearner），都帶後綴「ough」：
1.thoug （和 go 裡面的 o 類似 ）
2.through （和 too 裡面的 oo 類似）
3.cough （和 offer 裡面的 off 類似 ）
4.rough （和 suffer 裡面的的 uff 類似）
注意，即使它們有相同的拼寫，但它們的發音卻完全不同。如果我們的 TTS 系統使用拼寫作為其主要輸入，即使有相同的後綴，在接受為什麼"thoug"和"rough"發音如此不同上，會不可避免地會陷入困境。 因此，我們需要使用稍微不同的表達方式，展示出更多的發音信息。
音素正是這樣的一樣東西。我們發出來的聲音由不同音素單位組成。將因素組合在一起，我們幾乎可以 重複發出任何單詞的發音。這裡有幾個拆分成音素的詞語（改編自CMU的音素字典）：
· White Room - [ W, AY1, T, ., R, UW1, M,. ]
· Crossroads - [ K, R, AO1, S, R, OW2, D, Z, . ]
在音素旁邊的1，2等數字表示應該發重音的位置。此外，句號表示音間停頓。
因此 Deep Voice 的第一步是，利用一個簡單的音素字典，把每個句子直接轉換為對應的音素。
我們的句子處理我們句子的第一步， Deep Voice 將具有以下輸入和輸出。
· Input - "It was earky spring"
· Output - [IH1, T, ., W, AA1, Z, ., ER1, L, IY0, ., S, P, R, IH1, NG,. ]
在下一篇博文中我們將介紹如何訓練這樣的模型。
步驟2，第1部分：預測持續時間現在有了音素後，我們需要估計在說話時，這些音素的發音時間。這也是一個有趣的問題，因為音素應該基於上下文來決定它們或長或短的持續時間。拿下面圍繞音素「AH N」的單詞舉例：
· Unforgettable
· Fun
相比第二個單詞，「AH N」顯然需要在第一個單詞裡發更長的發音時間，我們可以訓練系統做到這一點。能夠理解每個音素，並預測它們的發音時長（以秒為單位）是關鍵。
我們的句子在這一步我們的例句會變成以下形式：
· Input - [IH1, T, ., W, AA1, Z, ., ER1, L, IY0, ., S, P, R, IH1, NG,.]
· Output - [IH1 (0.1s), T(0.05s),. (0.01s),...]
步驟2，第2部分：基頻預測基本頻率（藍線）是聲帶發出濁音音素期間產生的最低頻率（將其視為波形的形狀）。我們的目標是預測每個音素的基頻。
為了讓發音儘可能地接近人聲，我們還想要預測出每個音素的音調和語調。這一點從多方面考量，對以漢語為代表的語言尤為重要。因為這些語言中，相同的聲音，讀出不同的音調和重音具有完全不同的含義。預測每個音素的基頻有助於我們發好每一個音素，因為頻率會告訴系統，什麼音素該發什麼音高和什麼音調。
此外，一些音素並不完全都發濁音，這意味著發這些音不需要每次都震動聲帶。
例如，拿發音「ssss」和「zzzz」做例子，注意到前者是清音 (unvoiced)，發音時聲帶沒有振動，而後者是濁音 (voiced) ，發音時聲帶振動了。
我們的基本頻率預測也將考慮到這一點，預測出何時應當發清音，何時應該發濁音。
在這一步我們的例句會變成以下形式：
· Input - [IH1, T, ., W, AA1, Z, ., ER1, L, IY0, ., S, P, ., R, Ih1, NG,.]
· Output - [IH1(140hz),T(142hz),. (Not voiced),...]
步驟3：音頻合成在最後一步，我們將音素、持續時間和基頻 (F0 profile) 合併，生成一個真正的音頻。
生成語音的最後一步是，合併音素、持續時間和頻率，輸出聲音。Deep Voice 是基於 DeepMind 的 WaveNet 基礎之上的改進版本，成功地實現了這一步。為了理解WaveNet的基礎架構，強烈建議閱讀他們的原創博客文章。
基於每個輸入的貢獻， DeepMind 的原始 WaveNet 可以把眾多不同輸入擴大指數倍。注意上面列出的指數樹結構。
資源：https://deepmind.com/blog/wavenet-generative-model-raw-audio/
WaveNet 生成原始波形，允許生成所有類型的聲音，不同的口音、情緒、呼吸和人類語音的其他基本部分都能包含在內，這樣的聲音和人類的聲音區別就非常小了。此外， WaveNet 甚至能在這一步之上生成音樂。
在發布的文章中，百度團隊通過優化程序的執行能力，特別是優化執行生成高頻輸入的能力來改進 WaveNet 。因此， WaveNet 需要幾分鐘來生成一秒鐘的新音頻，百度修改後的 WaveNet 可能只需要幾分之一秒完成同樣的任務，如 Deep Voice 的作者所述：
Deep Voice 可以在幾分之一秒內合成音頻，並在合成速度和音頻質量之間提供可調諧的權衡。相比之下，以前的 WaveNe 合成一秒鐘的音頻需要幾分鐘的運行時間。
我們的句子下面是 Deep Voice 管道最後一步的輸入和輸出！
·Input - [IH1(140hz,0.5s), T(142hz, 0.1s),. (Not voiced, 0.2s), W(140hz, 0.3s), ...]
·Output - see bolow. 錄音
文字轉語音結果。錄音來源：http://research.baidu.com/deep-voice-production-quality-text-speech-system-constructed-entirely-deep-neural-networks/
三、概要
以上就是探究的結果了！通過這三個步驟，我們已經看到了 Deep Voice 如何理解一段簡單的文字，以及如何生成這段文字的讀音。以下是這些步驟的再次總結：
1.將文本轉換為音素。「It was early spring」
· [IH1, T, ., W, AA1, Z, ., ER1, L, IY0, ., S, P, R, IH1, NG,. ]
2.預測每個音素的發音持續時間和頻率。
· [IH1, T, ., W, AA1, Z, ., ER1, L, IY0, ., S, P, R, IH1, NG,. ] - > [IH1 (140hz, 0.5s), T (142hz, 0.1s), . (Not voiced, 0.2s), W (140hz, 0.3s),…]
3.合併音素、持續時間和頻率，輸出該文本的聲音。
· [IH1 (140hz, 0.5s), T (142hz, 0.1s), . (Not voiced, 0.2s), W (140hz, 0.3s),…] - > Audio
但是我們該如何實際訓練 Deep Voice 以便能夠執行上述這些步驟呢？ Deep Voice 如何利用深度學習實現這個目標？
在下一篇博文中，我們將介紹 Deep Voice 訓練的方方面面，並展示更多底層神經網絡背後的奧妙，詳情請點擊以下連結 Baidu Deep Voice part2 - training
有興趣了解更多關於深度學習的知識，或者工作在深度學習領域？發送電子郵件到 founders@getathelas.com 加入 Athelas ！我們一直在尋找充滿激情和好奇心的人：https://athelas.com/jobs/
更多機器學習文章請點擊以下連結：
Baidu Deep Voice part2 - training
Write an AI to win at Pong from scratch with Reinforcement Learning
更多資訊請關注雷鋒網。
via athelas 雷鋒網(公眾號：雷鋒網)編譯
雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。