音頻引擎與回音消除簡介

2021-01-16 閒聊代碼

音頻引擎,是實時通話程序(IM)裡的一個模塊。

例如webrtc、各種社交軟體,都含有這個模塊。

它大概有三個功能,錄音、放音、回音消除。

上篇文章裡Linux的alsa接口播放pcm音頻數據說過Linux ALSA框架的數據傳輸方向有播放和採集兩種,音頻引擎是把這兩個功能聯合起來,外加一個回音消除模塊。

在實時通話中,對端傳過來的聲音A,與你說話的聲音B,都會被麥克風錄音,實際錄下來的是A+B。

如果直接發送到對端,再播放出來,那麼就摻雜了對端上次說話的聲音A,即回音(echo),讓人聽起來比較彆扭。

使用特殊的算法,在錄音之後,發送之前,消除這個回音,只把你說話的聲音B發過去,就是回音消除(Audio Echo Cancellation)。

也就是說,相當於做了一個減法,從A+B裡減去A,把B發送給對端。

放音的代碼上一篇文章已經簡單說了下,錄音也差不多,就不單獨寫一篇了。

簡單說一下回音消除AEC的情況:

1,播放出來的聲音A,再錄進去時的強度是減弱了的,所以直接減是不行的。

2,播放的聲音被周圍障礙物反彈回來,再被錄進去時,與原聲是有時間偏差的。

3,麥克風直接錄進去的聲音A0,障礙物反彈回來的聲音A1,與原聲A是有差異的(強度、相位),但是只能以原聲A為參考來消除它們。

具體的消除算法,相當於一個濾波器。

詳細的數學原理和算法步驟,我也沒仔細研究過(捂臉

目前回音消除的第三方代碼,一個是webrtc自帶的AEC模塊,另一個是speex自帶的AEC模塊。

speex,就是發明opus音頻編碼協議的那個團隊,他們提供了一套聲音處理的庫。

音頻引擎的邏輯代碼就這麼幾行:

while(1)

{

play(A);

B = record();

C = aec(B, A);

//把C傳給編碼模塊

}

在使用耳機的時候,回音基本聽不出來,

甚至可以取消AEC功能。

但是在使用外放的時候,回音就比較明顯了。

相關焦點

  • 基於FM2010晶片的回聲消除裝置的設計應用
    常用的回聲消除方法有以下幾種: (1)本端回聲消除器(以CISCO系統內置回聲消除器為代表):回聲消除電路內置在本端通信終端設備上,為本地會場消除遠端回聲影響。 (2)異端回聲消除器(以ClearOne的回聲消除器為代表):本地的回聲消除電路是用來消除對端的回聲。
  • 家庭影院的高性價之選 體驗漫步者B8回音壁套裝
    打開京東首頁,光是京東自營和京東物流的在售產品也有整整近百款,索尼、BOSE、JBL、漫步者、SONOS...老牌音頻大廠紛紛入局,瞬間充滿這個新興市場。前不久,我剛剛測試過幾款高端回音壁套裝,或者說是價格較為昂貴的產品,售價從六七千到萬元以上不等,綜合體驗來看價格並非與回音壁的好壞成正比,那麼到底該如何選擇一款適合自己、聲效優異的回音壁家庭影院呢?
  • 驅動技巧:解決麥克風出現回音的問題
    分類:音頻標題:使用麥克風出現回音的解決方法很多用戶反饋麥克風語音的時候出現回音,噪音也不小。通常這種情況我們的解決思路是更換音效卡驅動、調整麥克風相關設置。
  • 索尼家庭影院旗艦級HT-ST5000回音壁設計原理解讀
    其次是索尼家庭影院HT-ST5000回音壁呈現Dolby Atmos。環繞音效的關鍵技術,就是它具備S-Force Pro前置環繞音場技術,透過特定指向的單體朝牆面、天花板打反射音,然後再搭配索尼自行研發的數字處理晶片的處理,讓索尼家庭影院HT-ST5000回音壁除了中央聲道是直接對著聆聽區域發聲,其他聲道的音束都是利用側牆與後牆反射再抵達聆聽座位,營造效果逼真的虛擬環繞音效。
  • 【清晨回音】聘用人員有喪葬費補助嗎?手機號碼被查封不能使用?
    【清晨回音】聘用人員有喪葬費補助嗎?手機號碼被查封不能使用?21 來源:澎湃新聞·澎湃號·媒體 清晨回音
  • 一招教你怎樣消除音頻文件裡的人聲
    我們都知道,在利用Pr軟體處理視頻時,經常會遇到需要消除人聲或者背景音的事情,利用它是可以輕輕鬆鬆去除的。但如果是需要消除音頻中的人聲部分應該如何操作呢?其實很簡單,接下來我們一起來看看實現的方法步驟,簡單幾步就能掌握!
  • 【清晨回音】路邊的薔薇花 我繞繞繞?天然氣安裝費應該繳納多少?
    【清晨回音】路邊的薔薇花 我繞繞繞?天然氣安裝費應該繳納多少?【點擊下方音頻聽詳情】叢臺區城管局市政管理科韓同志:由於雨天花莖生長較快,出現影響行人的情況。我們會馬上聯繫工人師傅對此處薔薇花進行修剪。
  • 為什麼聽不到鴨子叫聲的回音
    鴨子的叫聲到底有沒有回音?這是一個極其簡單卻又困擾人類多年的問題,一個看似笑話卻又解釋不了的問題。
  • 飛利浦B6305回音壁讓你在客廳身臨其境
    全新的飛利浦B6305回音壁型家庭影院,纖薄機身深得我心,和酷炫的舞臺布置一樣充滿亮點,就用它來感受一番樂隊"現場"吧!左右機身各一組喇叭,共四個揚聲器,回音壁功率80W。主打纖薄的B6305也採用了無線低音炮,自由度很高。低音炮音箱內置5.25英寸驅動器和60W功率放大器,整套回音壁家庭影院總功率達140W,家用綽綽有餘。
  • 紀念碑下放鞭炮,回音聲聲是軍號!
    紀念碑下放鞭炮,回音聲聲是軍號!這個神奇的發生地就在茅山腳下的新四軍紀念碑!1937年10月,根據國共兩黨協議,中國共產黨領導的南方八省紅軍遊擊隊正式改編為國民革命軍陸軍新編第四軍,簡稱新四軍。而這軍號回音只能在紀念碑下才能聽到,在周邊其他地方只能的回音只是鞭炮聲。這一奇特的現象,就一傳十十傳百,附近上百裡的群眾都知道了,並都好奇的前來探尋,還是未果。這一奇特現象一時間引起各方人士的關注,許多媒體、各類專家紛紛前來探奇解密,可都沒有找到解釋這種現象的確切原因。
  • 回顧微軟30年沉浸式3D音頻、聲學領域的研究歷程
    音頻在盲人或低視力人群的輔助技術中同樣扮演著重要的角色。儘管過去數十年間的計算機已經能夠播放和處理高保真音頻,但語言或沉浸式聲場的計算識別、分析和渲染方面依然存在一系列有待探索的前言。自微軟研究院於1991年成立以來,音頻一直是團隊重要的研究領域。在成立的第一年裡,研究人員就利用音頻數據和其他線索探索視聽演示文稿的自動摘要。
  • 回顧微軟30年沉浸式3D音頻、聲學領域的研究歷程
    音頻在盲人或低視力人群的輔助技術中同樣扮演著重要的角色。儘管過去數十年間的計算機已經能夠播放和處理高保真音頻,但語言或沉浸式聲場的計算識別、分析和渲染方面依然存在一系列有待探索的前言。自微軟研究院於1991年成立以來,音頻一直是團隊重要的研究領域。在成立的第一年裡,研究人員就利用音頻數據和其他線索探索視聽演示文稿的自動摘要。
  • 谷歌宣布沉浸式VR音頻SDK Resonance Audio
    谷歌宣布了一套沉浸式音頻開發軟體工具SDK,該套件名為Resonance Audio能夠為360環景視頻、VR/AR提供內嵌的高保真立體音效,支持桌面及移動平臺,兼容多種VR平臺設備,兼容網頁端至Unity等3D遊戲引擎,甚至能夠作為虛擬工作室技術(VST)軟體接口的音頻插件使用,嵌入多種多媒體音樂製作程序中使用
  • 基於手部動作感應和即時音頻合成的虛擬演奏系統
    基於手部動作感應和即時音頻合成的虛擬演奏系統 —— ——2008年英特爾杯大學生電子設計競賽嵌入式系統專題邀請賽作品簡介 作者:杜娟,劉中金,梁琦,賈挺祥 北京理工大學 時間:2008-11-10來源:電子產品世界收藏
  • DDA-16數字音頻分配器 專業數字音頻信號
    推薦產品:音頻分配器 分配器    品牌:Lucky Sound     型號:DDA-16     帶寬:20Hz~20kHz     輸入接口:1路平衡XLR輸出接口:6路平衡XLR電源電壓:AC220V     詳細說明:     DDA-16數字音頻分配器用於專業數字音頻信號的傳輸與分配。
  • Vegas如何消除素材裡的人聲
    Vegas作為視頻剪輯軟體,他的前身其實是音頻編輯軟體。我們在使用Vegas製作視頻時,經常在選用音頻想要去除裡面的人聲,只保留純音樂或者無人聲的部分。那麼如何處理音頻裡的人聲部分呢,今天就讓小編用Vegas來教大家如何去除素材裡的人聲部分。
  • 去過北京天壇的人都有體會,天然回音壁
    原創/i崔盼解說去過北京天壇的人都有體會,天然回音壁去過北京天壇的人都有體會,如果一個人站在天壇東配殿的牆下面朝北牆輕聲說話,而另一個人站在西配殿的牆下面朝北牆輕聲說話,兩個人把耳朵靠近牆,即可清楚地聽見遠在另一端的對方的聲音,而且說話的聲音回音悠長,頗為奇異。事實上,皇穹宇的圍牆產生回音效果的原因是它的建造暗合了聲學的傳音原理。
  • 音頻鑑黃是如何做到的?深度解析音頻檢測背後的技術
    在直播的時候,每個直播間會間隔一秒或幾秒採集一個關鍵幀,關鍵幀會發送到圖像識別引擎,引擎根據圖像的顏色、紋理等等特徵來對敏感圖像進行過濾,這一過程會檢測肢體輪廓等關鍵特徵信息,然後對檢測圖像特徵與特徵庫模型裡面的特徵相似度進行匹配,給予待測圖像色情、正常、性感等不同維度的權重值,以權重值最高的作為判定結果輸出。
  • MEMS麥克風技術滿足音頻市場的性能要求
    還希望在進一步捕捉麥克風的聲音時有好的音頻質量。這些趨勢需要更高性能的麥克風,一些手機還具有噪聲消除或視頻模式下的3D聲音,通過使用兩個或兩個以上的麥克風。此外,對用戶聲音作出反應的智能數字助理的出現正改變人們與計算機進行交互的方式,可以推動高性能的音頻子系統到更多的產品,如可穿戴、智能音箱和未來的物聯網 ( IoT ) 設備。