━━━━
戴上虛擬實境（VR）耳機，然後被「傳送」至一顆遙遠的星球，躲避外星物種之間的戰火。雷射槍射出的子彈從你耳邊嗖嗖飛過；戰鬥機在你面前盤旋；戰友瘋狂的呼喊從各個方向傳來。切換頻道。現在你在一場籃球賽的場邊，聽到球員在你面前的球場上打口水戰，教練在左邊的長凳上叫喊。你轉頭的同時，聲音也跟著你轉；直播間裡的解說員在你前面，球場上的聲音則在你身後。切換頻道。現在你來到了哥德堡音樂廳，這裡的音響效果享譽全球。你坐在前排，起初，由109人組成的交響樂團演奏著柔和的音樂，然後高亢的演奏聲將你圍繞。向左轉頭，小提琴的聲音更加清晰強烈；向右轉，大提琴和銅管樂組的聲音比其他樂器更加突出。
如今，提供這些虛擬實境體驗的可視化組件技術很快就將得到廣泛應用，價格也將很實惠，但要想發揮更大效力，虛擬實境不應該只停留在視覺上。除非你聽到的聲音確實與你所看到的非常匹配，否則虛擬體驗便會崩塌。
以球賽為例。如果球員、教練、解說員和觀眾全都聽起來好像坐在中場，那你還不如在電視上觀看這場比賽——你也會有一種「身臨其境」的感覺。
很可惜，目前的音頻設備以及我們廣泛使用的錄音和聲音播放格式，根本不足以令人信服地再現遙遠星球上戰場的聲音、在球場邊觀看籃球比賽的聲音和在一流音樂廳前排聽到的交響樂。
當然，通過耳機播放的立體聲錄音，你的右耳可能聽到體育賽事解說員的聲音，左耳則聽到教練的聲音，但不管你在虛擬環境中怎樣移動，它們的位置都不會發生變化。要想獲得逼真的體驗，工程師需要從上下、遠近、前後各個角度呈現每個聲音的精確方向和位置，並隨著用戶在虛擬世界中的移動進行動態更新。
這是一項巨大的挑戰，但並非完全無法解決，已經有一些虛擬實境產品的生產商開始利用有限的第一代3D音頻技術來改善二維立體聲和環繞聲。目前，包括我所在的Dirac Research（位於瑞典烏普薩拉）在內的研究實驗室已經取得了一定的進展，很有希望在幾年內實現真正逼真的虛擬實境音頻。以下是我們認為自己能夠提高虛擬實境體驗水平的原因。
━━━━
當前，使用最廣泛的音頻格式是雙聲道（即立體聲）。立體聲系統會記錄左右兩個信號；聽者通過一對揚聲器或耳機播放聲音，聲音信號依然是左右各一個。環繞聲系統超越了立體聲，增加了一個中央前置揚聲器、兩個或4個後置揚聲器，以及一個專用於低音輸出的低音炮。更新的辦法是在不同高度增加揚聲器，比如AuroTechnologies公司的Auro-3D。這些方式開始給人帶來一種3D的錯覺，但實際上並不能創造一個虛擬世界，因為揚聲器的位置是固定的。在現實世界中，你可以移動，聽到的聲音也會隨著移動發生明顯的變化。
雖然這些複雜的環繞聲設置肯定比之前的立體聲效果要好，但對如今大多數聽眾來說，這實際上是一種倒退。現代可攜式音樂設備使人們遠離揚聲器，而更多地使用耳機。這使人與現實聲音的距離更加遙遠，因為目前頭戴式耳機甚至無法恰到好處地處理立體聲，更不用說環繞聲或任何接近3D的聲音了。
原因如下。使用揚聲器時，左耳聽到僅通過左揚聲器播放的聲音，在幾乎察覺不到的一瞬間後，右耳就能聽到該聲音，聲音的衰減也很輕微。人的大腦會處理這種輕微的延遲和衰減，並在聲音的方向和距離上產生一個瞬時印象。而使用耳機時，左聲道只能傳到左耳。這種體驗是人為的，會帶來一些奇怪的感覺。例如，當耳機的左聲道和右聲道發出同樣大小的聲音時，它就好像是從你的腦袋裡發出的，而不是從你面前的某個位置發出的。這就是為什麼有時候通過耳機聽音樂會感覺有些奇怪。那麼，怎樣才能獲得全三維的交互式虛擬音頻體驗呢？
由於只有兩個獨立的頻道可供使用，這個目標似乎無法實現，但原則上來說並非如此：人類的聽覺系統只使用兩隻耳朵來分辨前後、上下以及中間的一切聲音，因此工程師應該可以通過仔細控制每個聲音到達耳朵的時間、音量、共振和回聲特徵來創造一種3D音頻體驗。要調整每個頻道在空中傳播的聲音，需要大量的高速計算。幸運的是，高速計算是可以做到的。
實際上，整個音頻行業的研究人員都在鑽研這種方法。一方面在於，與露天揚聲器發出的聲音相比，工程師可以更好地控制耳機發出的聲音，因為不需要對房間形狀或其中物體的阻礙進行補償，也不需要處理可能會分散人們對虛擬環境注意力的背景聲音、其他雜音或聲音反射。
━━━━
創建3D音頻錄音最簡單的方法是把麥克風放在耳朵裡，然後從特定的位置以立體聲形式記錄場景。在實踐中，錄音師通常會使用仿真人頭來做這件事，稱為雙聲道錄音，該技術已經存在了很長時間。有些廣播電臺會播放雙聲道立體聲音樂會，但該技術一直沒有廣泛流行。
雙聲道立體聲錄音有幾點限制，對虛擬實境來說，最主要的問題還是聽者和聲源的位置是固定的。
儘管如此，雙聲道立體聲錄音還是有很多可以借鑑的東西，我們可以將這些技巧用於為虛擬實境創建交互式音頻。雙聲道立體聲錄音可以捕捉每個聲源傳達到兩耳的不同聲音強度和時間，也能捕捉到頭部、耳朵和身體姿態對聲音的反射和遮擋所導致的聲音變化。科學家將這些效應稱之為頭部相關傳輸函數（HRTF）。
藉助強大的計算機和數位訊號處理軟體以及配備了位置跟蹤裝置的耳機，我們可以利用仿真人頭或真人模特創建一個標準化的HRTF，然後在播放過程中根據聽者的頭部方向和聲源的原始方向進行實時調整。
━━━━
但就在這時，我們遇到了一個障礙。立體聲和環繞聲均被音頻工程師稱為基於頻道的格式：它們為特定揚聲器配置進行音頻編碼，用於播放。一般的立體聲錄音只有基本的左右信息，不包含詳細的方向信息。環繞聲在這方面要好一些；5.1聲道是最著名的環繞聲格式，使用這種格式，混音工程師可以根據5個不同的參考位置對聲音進行定位，並添加一個通過重低音喇叭播放的低頻頻道。該格式假定揚聲器位於聽者的左前方、正前方、右前方、左後方和右後方。與普通立體聲相比，這個方案能夠提供更多有關聲音的信息，但對於逼真的虛擬實境來說，這仍然不夠好。
更新的一種方法是利用基於對象的格式。基於對象的錄音方式通過標記聲源來編碼聲場，而不是採用特定的播放系統。例如，利用與位置、強度相關的信息和其他數據來識別大提琴、鋼琴和歌手的聲音，然後通過智能播放設備，根據標籤的功能來解讀標籤，並以與標籤一致的方式播放聲音。2012年推出的杜比全景聲（Dolby Atmos）和2015年推出的DTS:X都採用了這種方法。
基於對象的格式最初是為了提升家庭影院的體驗而創建的。例如，支持杜比全景聲的家庭影院接收器集成了天花板揚聲器。不過這些格式在未來可以進行調整，以便用於虛擬音頻。
第三種方法是基於場景的格式。20世紀70年代在英國國家研究開發公司（National Research Development Corp.）的贊助下，由彼得•菲爾格特（Peter Fellgett）、麥可•格松（Michael Gerzon）和其他研究人員開發的聲場環繞聲（Ambisonics）採用了這種方法。基於場景的編碼對特定位置的被錄製聲場進行了空間表示。在其基本配置中，聲場環繞聲錄音使用了以四面體形式排列的4個麥克風膠囊（更高解析度的錄音中使用的更多）。基於場景的編碼將聽者周圍的聲音分類整理到多個預設的定向音箱中，基於對象的格式則不預先確定音箱，而是讓每個聲音對象定位在任意位置上。
當前的聲場環繞聲技術存在明顯的不足，尤其是對現實世界進行錄音時。其空間解析度較低，錄音麥克風往往會在一定程度上模糊方向性，但這是一種方便的錄音方式。因為它是一種現成的開源格式，所以無論大小公司都在使用，其中包括臉書和谷歌，前者將其用於公司的360度視頻，後者將其用於自己的虛擬實境音頻技術。
到目前為止，有兩家大型商用音頻公司發布了支持3D音頻的編碼格式，其中集成了一部分上述技術。由位於德國埃爾朗根的弗勞恩霍夫集成電路研究所開發的MPEG-H3D音頻系統，支持基於對象、基於頻道和基於場景的音頻及其組合形式。杜比AC-4支持基於對象和基於頻道的音頻。雖然這些方案都取得了一定成功，但還沒有一項展現出壓倒性的優勢，其中是否會有一個最終在未來佔據主導地位，也不得而知。到目前為止，這些方法都側重於對音頻進行編碼以便通過揚聲器重放；要應用到耳機上則面臨更大的挑戰。
對於我們這些試圖創建真正虛擬音頻的人來說，這些行動都是好消息。不過，即便這項工作已經打下了良好的基礎，現有的任何一種方法也都不太可能發展成一項強大的3D音頻技術。我們還需要新方法。
━━━━
研究人員越來越接近目標了。如果把基於對象和基於場景的編碼與HRTF處理結合起來，理論上就能夠在頭戴式虛擬實境耳機中渲染3D音頻，並根據聽者在虛擬世界中的移動對其進行交互調整。
不過目前要應用這項技術還存在困難。HRTF播放最大的缺點是前/後混淆，問題就在這裡。人耳的位置意味著，在聽者的前後（或上下）有一個由聲音產生的中心點，聲音由此到達每隻耳朵的時間和強度都相同，大腦會把耳朵、頭和身體姿態引起的微小變化都考慮在內。這些人體結構的細節以及它們所導致的聲音遮擋和聲音反射，會根據聲音的來源方向優先放大某些頻率。由於每個人兩耳之間的距離不同，身體結構也有一定的差異，因此這些細節因人而異。
許多研究人員認為，解決前/後問題的唯一辦法是使用個性化的HRTF，即定製聲學身體地圖。這一點我們稍後再詳談。
另一個挑戰在於，HRTF處理的聲音常常聽起來不自然。某些音頻頻譜不可避免地被放大太多或放大不足。受過訓練的聽者很容易察覺這些不一致。一般聽者也許無法直接辨別這些聲染色，但很可能會覺得不對勁兒，就像察覺出一個便宜的揚聲器和一個昂貴的揚聲器之間的區別。
造成第二個問題的原因尚不清楚。一些人認為，我們測量HRTF的方法存在缺陷，導致現有的HRTF資料庫不充分。也有人認為，除非定製個性化的HRTF，否則聲染色不可避免。實際情況可能兩者兼而有之：即使對個性化HRTF進行測量，聲染色也不會完全消失，不過其定位精度比一般的HRTF高出許多；這至少要部分歸因於測量HRTF的技術。
研究人員正在測試創建個性化HRTF的不同測量思路。有些研究人員把麥克風放在聽者的耳朵裡，記錄不同方向播放的測試信號；這是一個耗時且容易出錯的方法。還有研究人員嘗試用掃描和計算機圖形分析工具（如射線追蹤）來模擬耳朵，根據它們對來自不同角度聲音的反應進行編碼。
雖然個性化的HRTF很可能會解決目前虛擬實境聲音所面臨的一些難題，但還存在其他問題。首先，它假定頭部是相對靜止的，身體與之同時移動，而虛擬實境用戶經常在不移動身體的情況下轉動頭部。不過，最大的困難卻是創造它們的時間長、成本高，也就是說，個性化HRTF對於普通的虛擬實境用戶而言並不現實。
━━━━
這就是Dirac公司的研究切入點。我作為Dirac公司的執行長和聯合創始人，在過去10年裡和團隊成員研究了各種方法來改進HRTF處理。我們的研究人員發現，頭部運動對HRTF有著尤其重要的影響。
要了解原因，可以想像一下將頭朝你的一側肩膀傾斜。當耳朵靠近肩膀時，來自肩膀的聲音反射會更快地傳到耳朵，而到達另一隻耳朵的相應反射則存在額外的衰減和延遲。
根據這一觀察，我們基於對30個人的測量結果構建了一組HRTF，稱之為動態HRTF。我們讓聽者調整自己的頭部，使其各自相對於身體左右搖擺、前後傾斜和轉動，在三維空間上有1度的解析度，並測試從聽者前方、兩側、上下以及後方播放的聲音。最終，我們針對每個受試對象做了幾百次測量。（實際測量的HRTF數量取決於每個受試對象的運動範圍。）
為了避免對模型進行個性化設置及其可能產生的費用，我們將重點放在了HRTF的共同點上。如果某個HRTF頻率響應中的某個峰值或谷值對所有受試對象來說都是共通的（在容差範圍內），便將其納入我們的通用模型；如果某個特徵不常見，我們的算法將確保處理過的聲音中不會留下該HRTF的任何聲音痕跡。
雖然這種方法並不一定完美貼合每個人，但是我們對其進行了充分研究並相信，如果模型足夠好，與頭部相對於身體的方向有關的一些強遮擋效應和強反射就能夠捕捉人類聽覺系統確定聲音方向所需要的基本信息。此外，只要HRTF能以一致的方式捕捉頭部或音頻對象的運動，聽者的聽覺系統就能夠忽略通用模型和個體HRTF之間的細微差異。也就是說，對大多數聽者而言，音頻體驗將足夠真實。對於那些在某個方向上個體HRTF與模型有很大不同的人來說，聲音也依然較為自然，雖然在方向上並非100%準確。
今年晚些時候，遊戲耳機製造商的產品中就會採用Dirac虛擬實境，這是我們的動態HRTF技術首次實現商業應用。
━━━━
然而，解決動態HRTF問題還不能給我們帶來真正逼真的虛擬聲音體驗。雖然使用HRTF能夠從任意方向模擬聲音，但是聲音不僅僅受聽者的物理特性的影響。人在戶外說話和在室內說話的聲音聽起來很不一樣。即使在室內，牆壁和其他物體的位置也會對聲音產生重要影響。
因此，在虛擬環境中，我們也必須考慮虛擬房間的形狀和房間中物體的形狀，以及道路、懸崖或戰場的形狀會對聲音產生什麼影響。這要求我們在創造聲音時模擬反射波和駐波，考慮牆壁的擴散特性以及內部物體的影響。
在播放聲音時，我們需要同時考慮虛擬房間和實際聽者，不僅要傳遞每個聲音，還要傳遞聲波在地板、天花板和其他物體上的每一次反射，而且要採用適當的HRTF。因此，這個過程會非常複雜，而且需要大量的密集計算。
目前，開發人員簡化了遊戲等交互式應用的聲學信息。他們把聲音分成一組定向聲源和一個組合環境聲場，而不是模擬整個場景的聲學特性，然後通過HRTF處理定向聲音，同時假設來自各個方向的環境聲強度相同。對大多數人來說，這種技術在某些虛擬環境中能夠產生相當逼真的3D聲音。最終，更加真實的虛擬房間聲學模擬將得到發展，在更多具有挑戰性的環境中提高音頻體驗的真實性。
預計未來幾年內，研究人員將能夠為籃球賽或音樂會等虛擬實境場景創造出身臨其境的3D音頻體驗。接下來，最大的挑戰將是對HRTF算法進行微調，降低計算要求和內存要求，以便在電池驅動的可攜式設備上運行。解決這一難題後，沉浸式虛擬實境3D音頻便做好了進入大規模應用的準備。
不出10年，具有頭部跟蹤功能的3D耳機音頻將能夠幫我們舉行遠程會議，你可以在真實的房間內走動，走到一位同事身邊與之進行討論，或者去找另一位同事。我們將能夠體驗親臨NBA總決賽的感覺，也可以坐在維也納金色大廳的最佳位置欣賞小約翰•施特勞斯的音樂。對我來說，僅僅最後一項就值得投入精力去解決現有的工程挑戰，實現3D音頻充滿前途的未來。
關於作者：Mathias Johansson是Dirac Research公司的聯合創始人兼執行長，該公司位於瑞典烏普薩拉，主要業務是開發用於改進汽車音響系統、家庭音響設備、智慧型手機和耳機的算法。
文章來源：悅智網。發表在IEEE Spectrum上的英文原文可點擊「閱讀原文」查看。