Oculus 揭秘 VR 中的近場 3D 音效技術(一)

2021-01-08 雷鋒網

雷鋒網按:最近 Oculus 發表官方博文,詳細介紹了近場 3D 音效技術和立體聲效 (volumetric sounds),這是第一篇關於Audio SDK中新功能的文章。雷鋒網(公眾號:雷鋒網)編譯如下。

雙聲道3d立體聲的原理是通過為左右耳朵提供基於聲源3D位置的經過特殊「濾波器」處理的聲音而實現的。術語「濾波器」可用於描述從小到簡單均衡器EQ,大到複雜混響的所有相關事物。那麼我們接下來說什麼呢?

正如混響濾波器通過雙通道脈衝響應(IR)的方式,捕獲的聲音可以在到達聽眾耳朵的途中與周圍環境進行交互,而雙聲道空間環繞濾波器捕獲的聲音可以在到達聽眾耳朵的途中與聽眾的身體進行交互。

在混響的情況下,由於環境的大小和複雜性,脈衝響應IRs時間較長而且秩序混亂。多年來,我們一直在利用這個優勢,以單一的雙聲道混響脈衝響應IR來模擬近似的環境,因為聲音脈衝響應經過了最初的幾次反射後,空間感逐漸削弱,最終完全消失,使得我們無意識地認為聽到的聲音就是與我們的周圍環境融在一起的。

在雙聲道3D空間立體聲案例中,脈衝響應IRs很小,但是極其具有方向性。即便超過幾英尺的距離,脈衝響應IRs也不會有很大變化。我們一直在利用這一點,對3D立體聲音頻進行另一種近似模擬,這種技術與距離無關,我們稱之為「遠場」。我們的HRTF資料庫在頭部如同一個有序的球型網格空間內進行捕獲/採樣,而不是堆在一起。

我們沿方位角和仰角空間化,而不是沿距離方向。

距離在單獨的專用模型中解決:

高低頻衰減曲線

介質吸收濾波

處理/原始音頻信號平衡

近場渲染技術的理論基礎是,當從聽眾的距離縮小到與人類頭部的大小相當時,該模型不起作用。在這種情況下,空間化和距離建模變得密切相關,並且在從以耳為中心的參考空間內,要比以頭為中心的空間合成效果要好。在遠場,聲音世界的中心是以我們的頭部為中心。而在近場,聲音世界的中心是耳道入口,我們有兩隻耳朵,這使得近場比遠場更為「雙通道」。

近場距離(圍繞聽者頭部的近場球體的半徑)通常定義為約0.5 - 1.0 m(或3英尺,「在一臂的距離範圍內」)。我們目前的遠場HRTF技術的演變是通過向資料庫添加更多的濾波器樣本(紅點)將其擴展應用到近場之中,以將整個近場球型空間與頭部邊界之間的所有空隙填滿:

這種方案可能會降低R&D的水平,但同時也需要佔用更多的硬體資源。同時,就像混響和遠場空間化案例一樣,我們正在尋找一種在有限資源的硬體上快速運行的能取得相似效果的方案。

那麼近場音頻有什麼特別之處?

對於我們的近似模擬工作,我們首先必須確定近場渲染的主要感知線索:

越來越近,意味著自由場中的平方反比律更大。

但是響度增加主要表現為ILD(雙耳聲級差),因為頭部對聲音傳播的幹擾,聲音可以比另一隻耳朵更接近一隻耳朵,從而產生比遠場更高的ILD。

增加頭部陰影/衍射:在相反(遮擋)側,高頻比低頻衰減更多。

總體而言,在增加的ILD之上,能帶來微妙的低音體驗提升。

原始信號:開始的聲音反射和漫反射會給人帶來強烈的距離感,因此必須控制在最小水平。

由此,這種近似模擬將在側面位置(遠離中間平面)帶來更好的效果,在這個位置ILD和環繞濾波器效果最強,並且我們需要完全控制反射信號增益(前期反射和後期混響)。

還值得注意的是缺少ITD(Interaural Time Difference,雙耳時間差)特定的線索:較近的距離不會以可感知的方式影響每個耳朵之間的時間差異,但是確實要比它們忽遠忽近的移動時,會產生更大的ITD和ILD變化(例如晚上那個討厭的蚊子!)。

近場渲染模型

az:方位角

el:仰角

d:到聆聽者的聲音距離

a:頭直徑

第一步採用我們的遠程HRTF資料庫(像往常一樣),但是從兩耳而不是頭部中心的幾何空間內重新解釋它。

下一步是像往常一樣卷積我們的源信號,但現在結合上我們剛剛建成的近場HRTF。在這一點上,我們已經補償了HRTF查找中的方向誤差,因此空間化更準確,但是由於我們使用遠場HRTF,我們仍然聽起來有種很「遠」的感覺。

最後,我們應用實時頭影效應的物理建模。

這裡發揮的關鍵物理現象是聲學衍射:圍繞剛性障礙物,如頭部,產生的聲波彎曲。

這種現象是頻率依賴的:

低頻可以繞障礙物彎曲

高頻不能

截止頻率取決於障礙物的大小

這可以認為是雙耳(每個耳朵會得到不同的濾波效果)定向低通濾波器,截止頻率與頭部大小,方位角和仰角直接相關。其中一些濾波已經被捕獲在我們的遠場HRTF(頭衍射不僅僅限於近場使用),所以我們使用一組在距離,方位角和高度參數化的實時濾波器來微調效果。

我們的第二篇文章將涵蓋立體聲效技術(volumetric sounds),並介紹通過各種各樣的聲學設計來實現更好的聆聽效果。

Via developer.oculus 雷鋒網編譯

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • Oculus 揭秘 VR 中的 Volumetric Sounds 技術(二)
    以下內容涵蓋立體聲效技術(Volumetric Sounds)以及通過各種聲學設計實現更好的聆聽效果。雷鋒網(公眾號:雷鋒網)編譯如下。使用HRTF的空間音效(Spatial sound)對於表現點源是非常好的,這是它的設計目的,你可以通過點源獲得很好的效果。然而,在現實世界中,並不是所有的聲音都來自於空間中的某一點,有時候你希望的聲音來自於更大的發聲空間。
  • vr又稱靈境技術,是模擬虛擬環境中角色的真實表現
    vr在虛擬環境中構建交互虛擬世界,運用真實的人機互動手段,創造和構建具有真實感和臨場感的虛擬世界。vr裝置類產品目前主要涉及電商,醫療健康,新零售,廣告,旅遊,房產等行業領域。通過vr設備獲取用戶的真實信息,並通過ar立體化技術將用戶的信息3d化,再根據需要列印成vr產品,產品可擺放在用戶面前就可以直接觀看和使用,用戶可根據需要進行身體和頭部的轉動和旋轉,且隨時可以攜帶。主要用戶可以在遊戲中打怪,聽音樂,與虛擬世界中的人進行交互,獲取虛擬世界的信息反饋等等。通過「vr+ar」這一創新營銷模式,可以實現消費者體驗到ar應用的內容,ar應用可使消費者感受到真實的虛擬的感覺。
  • vr稱靈境技術,是模擬虛擬環境
    vr是以視覺、聽覺、觸覺、嗅覺等感官為依託,全方位立體地感受虛擬世界,從而達到愉悅身心、增強記憶、放鬆思考、增強娛樂和行動等目的。vr遊戲,是利用3d成像技術、計算機生成技術、傳感器技術和網絡通信技術將虛擬世界無縫轉換為現實的過程。
  • 技術科普:VR、AR、MR的區別
    原標題:技術科普:VR、AR、MR的區別 近日, 獲得谷歌5億美元融資的技術公司Magic Leap在WSJD展會中放出了一段實錄視頻,引起不小騷動。如今,也有媒體稱他們為MR公司,那麼VR、AR、MR之間到底有什麼區別呢。
  • 獨家爆料:2016年高性價比手機VR眼鏡十大品牌排行榜
    銷售價格:2999元vr眼鏡品牌介紹-樂技VR  樂技VR 目前主打的一款產品是樂技VR mini,不過官網已經發出最新樂技VR BABY資訊(官網:https://www.17kgl.com/vrcp/1718/)。
  • 輻射、散射近場測量及近場成像技術
    眾所周知,在離開被測目標3λ~5λ(λ為工作波長)距離上測量該區域電磁場的技術稱為近場測量技術。但是,截止目前為止,關於輻射、散射近場測量以及近場成像技術溶為一體的綜述性文章還未見到公開的報導,這對從事這方面研究的學者無疑是一種遺憾。為使同行們能全面地了解該技術的發展動態,該文概述了近幾十年來關於輻射、散射近場測量及近場成像技術前人所做的工作及其最新進展,並指出了未來研究的主要方向。
  • vr虛擬實境技術原理是什麼
    現在VR越來越火了,既有價格幾元錢的眼鏡盒子,也有幾千塊的VR一體機等等,讓人很是詫異,那麼到底vr虛擬實境技術是什麼東西呢?vr虛擬實境技術原理是什麼?如何才能實現虛擬實境這樣聽起來似乎有點不可思議的技術?一起來看看下面對vr眼鏡的核心技術的詳細解析!
  • 利用相位延遲改善3D音效
    利用相位延遲改善3D音效本文引用地址:http://www.eepw.com.cn/article/185963.htm本文解釋了音頻串擾的產生原因,當兩個揚聲器相隔距離過近時
  • 3d全景是什麼意思?3d全景圖怎麼做的
    對於現如今的網際網路應用我們也從最初的圖文進入了現如今的短視頻爆發,同時還不斷有新的技術被開發出並進人們的視線。3d全景便是如此,它的出現給我們帶來很多以往圖文視頻所不能達到的體驗。3d全景是什麼呢意思?3d全景圖又被很多人稱為三維全景和vr全景,實際上是一種新的展現方式,不同以往的是能夠給人帶來很好的沉浸感,對所展現的空間有一種仿佛身臨其境般的體驗。
  • 天線近場測量技術探討
    新一代的天線測量技術是以近場測量和緊縮場測量為代表的。近場測量技術利用探頭在天線口面上做掃描運動,測量口面上的幅度和相位,然後把近場數據轉換成遠場。由於近場測量只需測量天線口面上的場,就可避免遠場測量的諸多缺點,而成為獨立的一門測量技術。近場測量技術主要是指頻譜近場測量技術,通過研究被測信號的頻譜結構進行頻譜分析,從而得到近場天線的各項參數。
  • vr全景技術是指什麼看了就知道
    很多朋友剛接觸到vr全景時都會非常疑惑vr全景技術是指什麼,對於小白而言的確很難能夠搞明白。   VR(VirtualReality)即虛擬實境,也被稱之為是靈境技術,是早在20世紀就開始逐漸發展起來的一種技術。而全景是指通過相機將周圍720全部景象都拍攝下來拼接而成的全景圖,通過計算機來實現拼接和生成後的全方位互動式觀看的場景就是我們所說的vr全景。
  • 8i將在CES大會上發布「Volumetric VR」播發器,適配HTC Vive和Oculus Rift
    8i是一個專注於活動物體容積捕捉技術開發的公司,近日宣布將發行一款適配Oculus Rift和HTC Vive
  • 「3d掃描儀結合3d列印技術」學校3d創新教育的一把利器
    3d創新教育是以培養學生創新精神、創新能力、動手實踐能力為價值取向的新型教育。在3d創新教育中,我們要如何讓「3d掃描儀、3d列印技術」這兩把利器發揮重要作用呢?從提供3d掃描獲取數據到3d設計、數據再創造再到3d列印創意實現的完整解決方案是廣大師生的呼聲,更是教育改革時代背景下的一條創新之路。
  • 聊聊半衰期-艾利克斯:如何開發一款優秀VR遊戲
    編輯導語:艾利克斯,是一款第一人稱線性冒險遊戲,一共有11章節近30小時的遊戲時長。遊戲畫面強到令人髮指,流程各種高能震撼不斷,堪稱VR遊戲教科書,其中革命性的操作設計更是讓遊戲獲得了驚世駭俗的沉浸感。今天,本文作者為我們分析了艾利克斯,總結了應該如何開發一款優秀的VR遊戲?
  • vr是什麼
    vr是什麼?  對於vr很多人還感覺到比較陌生,並不知道這是什麼意思,代表著什麼技術,其實vr也就是虛擬實境,下面我們具體介紹一下vr是什麼,它有哪些特徵,具體應用領域在哪些地方等等,我們全方位了解一下。vr是什麼技術?
  • 工廠的機器人技術,工廠的各個功能模塊和子模塊
    ar技術是一種將虛擬信息與真實世界巧妙融合的技術,是光學,圖形技術和虛擬技術3d製造技術的結合。ar技術可以分為3d立體的ar,3d動態的ar和ar虛擬立體形象技術三大類,成熟的運用分別是3d虛擬導航輔助,基於動態ar的遊戲虛擬化,以及基於3d的ar模型形象信息傳播。
  • 掃描近場光學顯微技術(SNOM)書寫的發展史詩
    因此,對於sub-um的納米材料檢測成像時,傳統近場光學顯微鏡只能採用有限波長範圍的可見光,且難以獲得高清圖像信息。在中紅外領域,近場光學顯微技術對納米結構幾乎沒有用武之地。     德國Neaspec公司提供的最新一代近場光學顯微鏡NeaSNOM採用了這一散射式技術,最高解析度可達10nm,並通過專利式的贗外差數據分析模式,同時解析強度和相位信號,解決了納米材料尤其是在紅外光譜範圍的近場光學成像難題。
  • vr眼鏡多少錢vr眼鏡有哪些品牌
    現在vr行業發展越來越快速了,憑藉著相對真實的遊戲體感,這也成了很多遊戲玩家的喜愛,VR眼鏡作為新興的科技設備是必不可少的,那麼vr眼鏡多少錢呢?還有vr眼鏡有哪些品牌?vr眼鏡有哪些虛擬實境眼鏡VR頭顯設備是一個跨時代的產品,是藉助計算機及最新傳感器技術創造的一種嶄新的人機互動手段,不僅讓每一個愛好者帶著驚奇和欣喜去體驗,更因為對它誕生與前景的未知而深深著迷,那麼vr眼鏡多少錢一個呢?
  • 音效軟體能否提升音質
    2音效技術應用廣泛音效技術應用廣泛     除了音效以外,大家應該還聽說過EQ這個詞,調整EQ同樣也是能改變聽感的,很多朋友經常把它們搞混,但實際上二者並不是等價的,音效的覆蓋範圍要明顯更廣。數字音效     音效技術的應用範圍並不局限於數字音效,在一些音頻設備中還搭載了專業音效,其中,比較典型的專業音效的代表有DTS多聲道環繞音效、杜比數字音效
  • 3d仿真車間有什麼震撼的效果?
    隨著數字信息化的發展,企業大力發展三維仿真技術成為必然的趨勢,3d仿真車間發展對國民經濟的發展進步具有重要的作用,因此商迪3D在企業工廠中大力推行3d虛擬實境技術成為重要戰略。主要為企業提供先進的信息化管理技術和平臺,幫助企業降低成本,促進生產管理方式和業務流程的變革。