科研人員提出一種基於卷積循環神經網絡的單通道漸進語音增強方法

2020-07-20 中科院之聲

在複雜的聲學應用場景中，語音信號易受到環境噪聲與房間混響的影響，給自動語音識別和語音通信帶來較大的幹擾。儘管目前基於深度學習的單通道語音增強方法可有效抑制幹擾成分，但這些方法的網絡參數量較大且運算複雜度較高，難以應用於低功耗設備。

對此，中國科學院聲學研究所噪聲與振動重點實驗室研究生李安冬、研究員鄭成詩等，提出一種基於卷積循環的單通道漸進語音增強方法，在保持增強性能不變的前提下，減小了參數量並降低了運算複雜度。相關研究成果線發表在 Applied Acoustics 上。

研究人員在卷積循環神經網絡基礎上將增強過程分解為多個子階段，在每個子階段中進行輕量級模塊建模並提升一部分語音的信噪比，從而在後續階段中能夠把之前階段的輸出作為先驗信息，逐步提升後續處理結果。同時通過在不同階段復用LSTM（Long and Short-Term Memory）模塊的方式減小參數量。

實驗結果表明，在僅採用3個階段的情況下便可以達到和原有複雜卷積循環神經網絡模型相近的性能。隨著階段數的增加，性能則會進一步提升。這種增強方法可用於低功耗設備上的噪聲抑制與語音信息恢復。

研究工作得到國家自然科學基金的資助。

科研人員提出一種基於卷積循環神經網絡的單通道漸進語音增強方法

算法系統框圖（圖/聲學所）

來源：中國科學院聲學研究所

相關焦點

  • 自動化所提出基於腦功能影像時間序列的多尺度卷積循環神經網絡模型
    自動化所提出基於腦功能影像時間序列的多尺度卷積循環神經網絡模型 2019-10-28 自動化研究所 【字體：大 中 小】
  • 2020年7月17日 五月廿七 星期五 中科院最新科研、科技動態
    4、南京古生物所等在二疊紀-三疊紀之交遺蹟化石研究中獲進展5、聲學所提出一種基於卷積循環神經網絡的單通道漸進語音增強方法6、物理所等用原位電鏡石墨烯液相反應池方法生長BeO新型二維晶體結構7、上海矽酸鹽所等提出電弧放電法一步合成高穩定性單原子催化劑的新策略
  • 中科院發聲：有監督的語音增強方法可提高語音通信的質量
    對於語音通信，重要的是抑制背景噪聲而不引入不自然的失真。基於深度學習的語音增強方法可以有效地抑制背景噪聲成分。但是，在噪聲不匹配的情況下，會產生不自然的殘留噪聲，並嚴重影響語音的舒適度最近，中國科學院聲學研究所的研究人員提出了一種帶有殘留噪聲控制的語音語音監督語音增強方法。在人為地維持低水平殘留噪聲的基礎上，研究人員致力於最大程度地減少噪聲並最大程度地減少語音失真，從而提高增強語音的感知舒適度。面對損失函數廣泛存在的缺點，研究人員介紹了多個可調整的超參數並推導了廣義損失函數。
  • 研究人員提出一種基於多任務學習的深海被動定位方法
    近年來，科研人員開始將機器學習應用於水下目標的被動定位，把實際觀測數據作為訓練數據，得到具有較好定位性能的模型。海試數據難以獲取，因此，該方法的實際應用受到限制。科研人員改用聲傳播模型計算的仿真數據作為訓練數據，但這種方法和傳統匹配場方法一樣，面臨環境失配問題。
  • Facebook開源TTS神經網絡VoiceLoop:基於室外聲音的語音合成
    近日，Facebook 在題為《Voice Synthesis for in-the-Wild Speakers via a Phonological Loop》的論文中提出一個文本轉語音（TTS）的新神經網絡VoiceLoop，它能夠把文本轉化為在室外採樣的聲音中的語音。目前 VoiceLoop 已在 GitHub 上開源並附有 PyTorch 實現。機器之心對論文摘要進行了編譯。
  • 表徵圖數據絕不止圖神經網絡一種方法
    現實世界場景下複雜圖結構的例子包括：生物學網絡、計算機網絡、傳感器網絡、社交網絡、論文引用網絡、電力網絡和交通網絡。通過使用基於圖的表徵，我們可以捕獲結構化數據的順序、拓撲、集合和其它關係特性。神經網絡是通用的函數近似器。近年來的研究進展表明，深度學習模型已經在語音識別、目標識別與探測、自然語言處理等諸多領域中取得了巨大的成功。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    現實世界場景下複雜圖結構的例子包括：生物學網絡、計算機網絡、傳感器網絡、社交網絡、論文引用網絡、電力網絡和交通網絡。通過使用基於圖的表徵，我們可以捕獲結構化數據的順序、拓撲、集合和其它關係特性。神經網絡是通用的函數近似器。近年來的研究進展表明，深度學習模型已經在語音識別、目標識別與探測、自然語言處理等諸多領域中取得了巨大的成功。
  • 語音識別算法有哪些_語音識別特徵提取方法
    第一種：基於動態時間規整（Dynamic Time Warping）的算法 　　在連續語音識別中仍然是主流方法。 　　該方法的運算量較大，但技術上較簡單，識別正確率高。 　　在小詞彙量、孤立字（詞）識別系統中，也已有許多改進的DTW算法被提出。例如，利用頻率尺度的DTW算法進行孤立字（詞）識別的方法。
  • 基於神經網絡算法 羊毛_基於pso算法和bp算法訓練神經網絡 - CSDN
    3D 視覺中，點雲數據是一種十分常見的數據表示方法。論文「Multi-Channel Graph Neural Network for Entity Alignment」提出了一種基於 GNN 的實體對齊方案，實驗表明，在多個數據集上，該方案均取得了最好的效果。
  • 聲學所將可控制殘差噪聲的語音增強方法用於語音通訊
    在抑制背景噪聲的同時避免引入不自然的失真是語音通訊中的重要課題。目前，基於深度學習的語音增強方法能夠有效減少背景噪聲成分，但會在噪聲失配條件下會引入較多不自然的殘差噪聲，對語音舒適度造成影響。近日，中國科學院噪聲與振動重點實驗室研究生李安冬及其導師鄭成詩等提出一種帶有殘差噪聲控制的語音增強方法用於語音通訊，在人為保留較低背景噪聲的前提下，以噪聲抑制與語音失真最小化為目標進行聯合優化，提高語音舒適度。該研究通過引入多個可調節參數推導出一種廣義損失函數，用不同參數組合使增強後的語音進行有效權衡，並通過人為引入較低的背景噪聲參與優化有效增強語音的主觀聽覺質量。
  • 提出神經網絡構建非絕熱勢能面新方法—新聞—科學網
    中科院大連化物所
  • 五位機器聽覺領域大咖,論道語音前沿 | CCF-GAIR 2020
    近年來，基於時域的語音分離技術越來越受到關注，宋輝博士也對時域語音分離技術進行了剖析——與頻域的方法相對應的，時域方法能夠把混合語音變換到一個實數域潛空間中，用一種 data-driven 的形式學習其特徵表示，例如可以採用 1-D CNN 或是更深的 Encoder 完成這種變換。
  • ACL 2019 論文:谷歌提出增強神經網絡機器翻譯魯棒性的新方法
    谷歌研究院的一篇 ACL 2019 論文提出了一種方法，使用生成的對抗性樣本來提高機器翻譯模型的魯棒性，防止輸入中存在的細小擾動度對其造成影響。結果表明，該方法提高了 NMT 模型在標準基準上的性能。在本文中，作者 Yong Cheng、 Lu Jiang 和 Wolfgang Macherey 對其在 ACL 2019 上發表的《具有雙對抗性輸入的魯棒神經機器翻譯》論文進行了介紹。
  • 基於憶阻器的神經網絡應用研究
    神經網絡的發展一方面是基於對生物大腦的理解更貼切地去模擬其工作機制，如第三代人工神經網絡——脈衝神經網絡的提出與發展；另一方面是以片上網絡配合軟硬體以數學建模的方式來模擬腦內神經傳導系統，目標側重於理解腦部信號傳導的方式，以從計算仿真角度反向助於了解大腦的運作方式。 在新型神經形態硬體方面，器件、電路以及整體架構設計都是極其重要的研究方向。
  • 基於憶阻器的神經網絡應用研究
    3.基於憶阻器件的神經網絡人工網絡的發展源自於1943年McCulloch和Pitts[29]提出的首個用建模描述大腦信息處理過程的M-P神經元模型，進而於1949年，Hebb[30]提出了一種突觸是聯繫可變的假設，促進了神經網絡的學習算法的研究，直到1957年 Rosenblat[31]
  • 一種基於深度卷積神經網絡(DCNN)用于于頭髮和面部皮膚實時分割方法
    為了解決這個問題，作者提出了一種基於深度卷積神經網絡（DCNN）的高效分割方法，用於頭髮和面部皮膚分割任務，該方法在三個基準數據集上實現了速度和性能之間的顯著權衡。據我們所知，由於外界環境因素（例如照明和背景噪聲）的影響，膚色分類的準確性通常不令人滿意。因此，使用分割後的人臉來獲得特定的人臉區域，並進一步利用色矩算法提取其色彩特徵。
  • 從經典結構到改進方法,神經網絡語言模型綜述
    人們已經提出了許多將字符級和單詞級信息相結合的解決方案，它們通常被稱為基於字符（character-aware）的語言模型。一種方法是逐個單詞組織字符級特徵，然後將它們用於單詞級語言模型。Kim 等人於 2015 年提出了用於提取單詞字符級特徵的卷積神經網絡以及用於在一個時間步內接收這些字符級特徵的 LSTM。
  • 語音合成方法概述與總結
    音素到倒頻譜映射遞歸神經網絡框架基於 HMM 的蒙古語語音合成方法參數法：基於深度神經網絡的蒙古語語音合成方法端到端語音合成基於情感的語音合成straight語音合成參數選擇特徵參數選擇長短期記憶神經網絡 (LSTM)克服了普通循環神經網絡梯度消散或爆炸問題。語音合成模型音素到倒頻譜映射文本音素信息到倒頻譜之間的映射關係是語音合成系統的核心部分。神經網絡一次輸入對應一次輸出，需要訓練兩個模型：1.音素時長模型，倒頻譜模型。
  • 7 Papers|MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    這篇文章首先討論了梯度爆炸/消失問題以及更通用的譜控制問題，並討論了一些實際解決方案，如初始化和歸一化方法。其次，本文綜述了神經網絡訓練過程中使用的一般優化方法，如 SGD、自適應梯度方法和分布式方法，還介紹了這些算法的現有理論結果。最後，本文綜述了關於神經網絡訓練的全局問題的研究，包括糟糕的局部極小值上的結果、模式連接（mode connectivity）、彩票假設和無限寬度分析。
  • 深度神經決策樹:深度神經網絡和樹模型結合的新模型
    深度神經決策樹：深度神經網絡和樹模型結合的新模型 工程師郭婷 發表於 2018-08-19 09:14:44 近日，來自愛丁堡大學的研究人員提出了一種結合深度神經網絡和樹模型的新型模型