雷鋒網按:最近 Oculus 發表官方博文,詳細介紹了近場 3D 音效技術和立體聲效 (volumetric sounds),這是第一篇關於Audio SDK中新功能的文章。雷鋒網(公眾號:雷鋒網)編譯如下。
雙聲道3d立體聲的原理是通過為左右耳朵提供基於聲源3D位置的經過特殊「濾波器」處理的聲音而實現的。術語「濾波器」可用於描述從小到簡單均衡器EQ,大到複雜混響的所有相關事物。那麼我們接下來說什麼呢?
正如混響濾波器通過雙通道脈衝響應(IR)的方式,捕獲的聲音可以在到達聽眾耳朵的途中與周圍環境進行交互,而雙聲道空間環繞濾波器捕獲的聲音可以在到達聽眾耳朵的途中與聽眾的身體進行交互。
在混響的情況下,由於環境的大小和複雜性,脈衝響應IRs時間較長而且秩序混亂。多年來,我們一直在利用這個優勢,以單一的雙聲道混響脈衝響應IR來模擬近似的環境,因為聲音脈衝響應經過了最初的幾次反射後,空間感逐漸削弱,最終完全消失,使得我們無意識地認為聽到的聲音就是與我們的周圍環境融在一起的。
在雙聲道3D空間立體聲案例中,脈衝響應IRs很小,但是極其具有方向性。即便超過幾英尺的距離,脈衝響應IRs也不會有很大變化。我們一直在利用這一點,對3D立體聲音頻進行另一種近似模擬,這種技術與距離無關,我們稱之為「遠場」。我們的HRTF資料庫在頭部如同一個有序的球型網格空間內進行捕獲/採樣,而不是堆在一起。
我們沿方位角和仰角空間化,而不是沿距離方向。
距離在單獨的專用模型中解決:
高低頻衰減曲線
介質吸收濾波
處理/原始音頻信號平衡
近場渲染技術的理論基礎是,當從聽眾的距離縮小到與人類頭部的大小相當時,該模型不起作用。在這種情況下,空間化和距離建模變得密切相關,並且在從以耳為中心的參考空間內,要比以頭為中心的空間合成效果要好。在遠場,聲音世界的中心是以我們的頭部為中心。而在近場,聲音世界的中心是耳道入口,我們有兩隻耳朵,這使得近場比遠場更為「雙通道」。
近場距離(圍繞聽者頭部的近場球體的半徑)通常定義為約0.5 - 1.0 m(或3英尺,「在一臂的距離範圍內」)。我們目前的遠場HRTF技術的演變是通過向資料庫添加更多的濾波器樣本(紅點)將其擴展應用到近場之中,以將整個近場球型空間與頭部邊界之間的所有空隙填滿:
這種方案可能會降低R&D的水平,但同時也需要佔用更多的硬體資源。同時,就像混響和遠場空間化案例一樣,我們正在尋找一種在有限資源的硬體上快速運行的能取得相似效果的方案。
那麼近場音頻有什麼特別之處?
對於我們的近似模擬工作,我們首先必須確定近場渲染的主要感知線索:
越來越近,意味著自由場中的平方反比律更大。
但是響度增加主要表現為ILD(雙耳聲級差),因為頭部對聲音傳播的幹擾,聲音可以比另一隻耳朵更接近一隻耳朵,從而產生比遠場更高的ILD。
增加頭部陰影/衍射:在相反(遮擋)側,高頻比低頻衰減更多。
總體而言,在增加的ILD之上,能帶來微妙的低音體驗提升。
原始信號:開始的聲音反射和漫反射會給人帶來強烈的距離感,因此必須控制在最小水平。
由此,這種近似模擬將在側面位置(遠離中間平面)帶來更好的效果,在這個位置ILD和環繞濾波器效果最強,並且我們需要完全控制反射信號增益(前期反射和後期混響)。
還值得注意的是缺少ITD(Interaural Time Difference,雙耳時間差)特定的線索:較近的距離不會以可感知的方式影響每個耳朵之間的時間差異,但是確實要比它們忽遠忽近的移動時,會產生更大的ITD和ILD變化(例如晚上那個討厭的蚊子!)。
近場渲染模型
az:方位角
el:仰角
d:到聆聽者的聲音距離
a:頭直徑
第一步採用我們的遠程HRTF資料庫(像往常一樣),但是從兩耳而不是頭部中心的幾何空間內重新解釋它。
下一步是像往常一樣卷積我們的源信號,但現在結合上我們剛剛建成的近場HRTF。在這一點上,我們已經補償了HRTF查找中的方向誤差,因此空間化更準確,但是由於我們使用遠場HRTF,我們仍然聽起來有種很「遠」的感覺。
最後,我們應用實時頭影效應的物理建模。
這裡發揮的關鍵物理現象是聲學衍射:圍繞剛性障礙物,如頭部,產生的聲波彎曲。
這種現象是頻率依賴的:
低頻可以繞障礙物彎曲
高頻不能
截止頻率取決於障礙物的大小
這可以認為是雙耳(每個耳朵會得到不同的濾波效果)定向低通濾波器,截止頻率與頭部大小,方位角和仰角直接相關。其中一些濾波已經被捕獲在我們的遠場HRTF(頭衍射不僅僅限於近場使用),所以我們使用一組在距離,方位角和高度參數化的實時濾波器來微調效果。
我們的第二篇文章將涵蓋立體聲效技術(volumetric sounds),並介紹通過各種各樣的聲學設計來實現更好的聆聽效果。
Via developer.oculus 雷鋒網編譯
雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。