AMD TAN加速為Steam Audio帶來更逼真空間音頻反射聲

2020-12-04 砍柴網

來源:映維網 作者 廣州客

Ambisonics是一種環繞聲技術,可以覆蓋水平面,以及聽者上方和下方的區域。對於沉浸式體驗,Ambisonics是一種重要的可選音頻格式。日前,專注於音頻設計的AMD的Fellow設計工程師Carl Wakeland撰文介紹了TrueAudio Next Acceleration和Steam Audio在三階Ambisonics中的應用 。下面是映維網的具體整理:

在為遊戲或體驗創建音效時,大多數聲音設計師都專注於直達聲的精確空間3D渲染。空間化的直達聲對實現可信的音景而言十分重要。

通常很少受到關注的一個聲音設計方面是聲音反射:到達耳朵前的牆壁,天花板,地板,以及房間對象的反射。與直達聲的空間化相比,聲音反射的精確物理渲染需要大量的計算資源,而可用的工具或許無法勝任這項任務。所以,大多數聲音設計者會優先考慮空間化直達聲的設計,並用簡單的混響來實現聲音反射,其中混響量設置為低級別,從而避免清晰度下降。

但如果在遊戲或體驗中實現逼真的聲音反射,你可以提高真實感和可信度。在直達聲不足的情況下,空間化的物理生成反射可以實現這個目標,並為用戶提供有用的位置提示。Ambisonics這種3D音頻編碼格式能夠以可擴展的解析度渲染空間反射。Higher Order Ambisonics(HOA)在這裡特別有效,因為每提高一階都能以指數方式增加混響聲場的空間解析度,以及避免混亂和歧義。零階Ambisonics屬於單向,而三階Ambisonics則可從16個方向解析聲音(一階4聲道;二階9聲道;三階16聲道)。

Steam Audio是一個強大的音頻SDK,可允許聲音設計師輕鬆地增加逼真的物理建模聲音反射。與傳統的CPU渲染相比,利用當前的Steam Audio 2.0-Beta版本和兼容的AMD Radeon GPU,AMD TrueAudio Next (TAN)加速可以在更多的音頻源支持三階Ambisonics音頻反射。Steam Audio SDK包含有關如何啟用和利用TAN,以及如何為不支持TAN的系統輕鬆配置CPU回退選項的完整說明。

為了展示三階Ambisonics渲染反射之於非空間化(零階)音頻反射的優勢,我們利用Steam Audio Unity插件在Unity中創建了一個非常簡單的場景,其中一個房間裝有16個揚聲器並同時發聲。進入房間之前需要經過一條長長的走廊。

然後,我們在兩種情況下捕獲了場景的視頻(包含在文中的視頻裡):

使用零階Ambisonics渲染實時聲音反射的位置。這總共使用了16個卷積,而這對於現代CPU並不困難。使用包含TAN加速的三階Ambisonics進行渲染。16個聲源將使用256個卷積濾波器。

兩種情況都使用相同的3D直達聲渲染,所以彼此的差異僅來源於對聲音反射的處理。Steam Audio SDK的集成CPU回退功能用於執行渲染改動。當不存在支持TAN的GPU時,Steam Audio會自動回退。按照Steam Audio SDK的說明,這種場景非常容易創建。

這裡是TAN開啟時的示例(建議用耳機):

在建築物外面時,你可以十分容易聽到反射聲的方向。當只能聽到反射聲時,你無法直接定位聲音。場景沒有添加聲音導向微件,而是利用物理方法自動創建。

在走廊中時,反射的聲音聽起來更加自然,而且它會引導你通往房間。

在房間內時,即使牆壁和天花板存在大量的混響,你都能夠更輕鬆地判斷出各個揚聲器,而且在你周圍走動時,房間的聲音也更加自然。即使發生了大量的事情,聲音聽起來也更加舒適。對於零級Ambisonics反射,聲音設計者通常需要調低混響級別,以免令聽者混淆。在回退的情況下,你可以使用簡單的腳本完成這一操作,但這個示例沒有。在回退零階情況下,逼真度和沉浸感不及HOA反射,但你不必為每種情況重構聲音設計。

我們鼓勵聲音設計師嘗試TAN加速,並感受具體的異同。Steam Audio的下載連結請點擊這裡。

原文連結:https://yivian.com/news/67901.html

相關焦點

  • 言過其實的「空間音頻」,意義非凡的「計算音頻」
    到了9月份,iOS 14終於也如期發布,蘋果也像先前允諾的那樣為AirPods Pro推送了空間音頻功能,但小雷在試用完之後,似乎更迷惑了……「空間音頻」體驗首先介紹一下蘋果對空間音頻的說法:只要你更新了AirPods Pro,AIrPods就會自動記住根據你頭部的擺動而隨時調整聲音的發出方向。
  • 展望遊戲音頻設計的發展方向
    反射聲是由引擎中所定義的建築或物體表面反射引起的,與空間幾何緊密相關,因此 Reflect 插件中定義了反射聲的最大響應距離以及基於距離變化的響度、低頻和高頻的衰減曲線等屬性。4. 在 Wwise 中創建各種 Acoustic Texture,用來模擬不同材質對反射聲的吸收程度。
  • M-audio Profire2626錄音試用小記
    26進出的音頻接口出現在M-audio的產品線裡,這就已經足夠吸引我的關注了。 大家都知道,M-audio,一直以Home studio裡先驅者的形象存在於音頻領域,尤其在音頻接口當中,Firewire 410, Audiophile 192等等早已是「家喻戶曉」。
  • FIR濾波器能給音頻擴聲帶來怎樣的幫助?
    其他任意時間軸都不可能完全歸零,也就好比100Hz、1kHz、10KHz只要在同一時間和空間裡面做工,任一頻率都會以不同的頻率周期在360°的周期內循環。在某一時間軸上,不同頻率所處的相位角是不同的。 FIR濾波器說到底能給音頻擴聲帶來什麼樣的幫助呢?首先我們要問什麼是FIR濾波器?
  • 回顧微軟30年沉浸式3D音頻、聲學領域的研究歷程
    微軟在這一年建立了「Neural Networks-Based Speech Enhancement/基於神經網絡的語音增強」項目,並旨在實現更精確、更可靠的語音處理,尤其是在行動裝置、可穿戴設備、智能家居和物聯網設備。與以前的設備不同,所述設備帶來了全新的挑戰,如噪音更大的背景環境,更大的揚聲器與麥克風距離,以及有限的邊緣處理能力。
  • 回顧微軟30年沉浸式3D音頻、聲學領域的研究歷程
    微軟在這一年建立了「Neural Networks-Based Speech Enhancement/基於神經網絡的語音增強」項目,並旨在實現更精確、更可靠的語音處理,尤其是在行動裝置、可穿戴設備、智能家居和物聯網設備。與以前的設備不同,所述設備帶來了全新的挑戰,如噪音更大的背景環境,更大的揚聲器與麥克風距離,以及有限的邊緣處理能力。
  • 音響發燒友看過來 M-Audio音效卡音箱推介
    這是一家專業音頻器材廠商,它們不只是設計和生產音效卡(或者音頻界面),還涉足鍵盤、調音臺、監聽設備等,由於其精湛的做工和優秀的設計,在廣大玩家具有良好的口碑,深得玩家好評。今天我們帶來的是它旗下的幾款專業音效卡以及音箱產品,型號分別為——音箱方面:Studiophile AV20、Studiophile AV30、Studiophile AV40,音效卡方面:audiophile2496、audiophile192。下面大家一起來認識一下吧。
  • 音頻D類功放LC濾波器設計(一)
    D類功放工作原理 D類功放相對於A,B,C類來說更不好理解,因為它是需要調製的,看起來就是佔空比不同的PWM波,波形看著與我們的音頻模擬波形一點都不像。 下面來看一看它的原理。 註:為了減小Matlab軟體的計算量(計算量大了電腦會卡),我設定的音頻信號為1Hz,調製三角波為20Hz,雖然實際音頻信號頻率肯定是比1Hz要高的,但是分析結果應是一樣的。 下圖是用幅度為1,頻率為20Hz的三角波,來調製幅度為0.9,頻率為 1Hz的正弦波。
  • steam新遊《超空間門》,超越空間之門,加入星際聯盟!
    在一個搖搖欲墜的聯盟中掌握空間戰鬥機戰鬥。升級你的飛船,在單人戰役中戰鬥,並建立你自己的大型空間戰鬥。概述:人類好戰的方式一直延續到太空時代。在《超級之門》中,你扮演的是新星星際聯盟(Novan interplanet Alliance)的新成員——而你所在的一方正在輸掉一場戰爭,這場戰爭的代價可能比你一個人的生命還要大。
  • 探索計算機視覺音頻的交叉—基於視覺的音樂相關研究Review
    將現身將門-TechBeat技術社區,為大家帶來主題為在訓練時選取兩段獨立的獨奏視頻,將各自的音頻作為ground truth,並將人工混合的結果作為audio輸入,從而構建從mixed輸入到兩個solo的監督,在視覺信息的輔助下進行聲源分離。
  • D類音頻功放的LC濾波器設計案例
    在輸入為0的時候,AD方式的差分輸出為方波,而BD方式輸出為0,毫無疑問,BD方式功耗更低。   事實上,我們拿到了頻譜,就能知道很多事情了。這些高頻分量通到喇叭是沒有什麼好處的,反而會額外帶來功率損耗,還有會造成EMI的問題。所以,我們需要一個濾波器來濾掉高頻分量。並且,因為驅動喇叭需要的功率較大,而RC濾波器會有額外損耗,所以,LC低通濾波器就自然而然被選中了。   最後,我們知道頻譜裡面的高頻的頻譜分布,那麼濾波器的截止頻率自然就出來了。
  • 技術文章:音頻D類功放LC濾波器設計(一)
    註:為了減小Matlab軟體的計算量(計算量大了電腦會卡),我設定的音頻信號為1Hz,調製三角波為20Hz,雖然實際音頻信號頻率肯定是比1Hz要高的,但是分析結果應是一樣的。下圖是用幅度為1,頻率為20Hz的三角波,來調製幅度為0.9,頻率為 1Hz的正弦波。
  • 科學音頻處理(三):如何使用 Octave 的高級數學技術處理音頻文件
    很多信號,包括音頻成分,通常在 100 赫茲或更低。對於這些信號,如果直接發射,我們就需要建立長達 300 公裡的天線。如果通過信號調製將信息加載到 100MHz 的高頻載波中,那麼天線僅僅需要 1 米(橫向長度)。 集中調製與多通道 假設多個信號佔用一個通道,調製可以將不同的信號不同頻域位置,以便接收者選擇該特定信號。
  • librosa-madmom:音頻和音樂分析
    # 特徵提取:Log-Mel Spectrogram特徵melspec = librosa.feature.melspectrogram(data, sample_rate, n_fft=1024, hop_length=512, n_mels=128)# n_fft指的是窗的大小,這裡為1024;hop_length表示相鄰窗之間的距離,這裡為512,也就是相鄰窗之間有50%的overlap;n_mels
  • 谷歌宣布沉浸式VR音頻SDK Resonance Audio
    谷歌宣布了一套沉浸式音頻開發軟體工具SDK,該套件名為Resonance Audio能夠為360環景視頻、VR/AR提供內嵌的高保真立體音效,支持桌面及移動平臺,兼容多種VR平臺設備,兼容網頁端至Unity等3D遊戲引擎,甚至能夠作為虛擬工作室技術(VST)軟體接口的音頻插件使用,嵌入多種多媒體音樂製作程序中使用
  • 科學音頻處理(二):如何使用 Octave 對音頻文件進行基本數學信號處理
    在前一篇的指導教程中,我們看到了讀、寫以及重放音頻文件的簡單步驟,我們甚至看到如何從一個周期函數比如餘弦函數合成一個音頻文件。  聖母歌曲 + 讚美詩曲 結果,從音頻的角度來看,兩個聲音信號混合在了一起。 兩個信號的乘積 對於求兩個信號的乘積,我們可以使用類似求和的方法。
  • 消費類音頻應用的解決方案
    當音頻需求增加時,因架構上的創新,處理器的頻率也在提高,使像MIPS科技這樣的可編程處理器能夠與主功能一起實現要求苛刻的音頻應用。  在一個MIPS內核上構建兩種類型的執行音頻應用的SOC結構是可能的:(1)一個是作為主處理CPU,另一個是進行音頻處理的專用CPU(參見圖1),或者(2)採用一個單CPU作為主處理和音頻處理。使用MIPS處理器可以為音頻處理帶來顯著的好處。
  • 音頻發燒友最期待的行業新品降臨Z·HiFi最終彈(全文)_64audio Tia...
    內部構造維持動圈+Tia系統結合,機內接線一反傳統,改以99.99%純銀錫焊接,帶來更豐富、更細緻的高頻表現。  64 Audio九年來,一次又一次地引領全球音頻屆,這次以更強大的團隊,更高的目標,為大家帶來巔峰之作Fourté Noir,相信將為各界朋友提供極致聲音體驗。
  • tan120 等於多少 tan120是多少
    tan120=0.713,tan120°=-tan60°=-√3=-1.732。在Rt△ABC(直角三角形)中,∠C=90°,AB是∠C的對邊c,BC是∠A的對邊a,AC是∠B的對邊b,正切函數就是tanB=b/a,即tanB=AC/BC。