來源：映維網 作者 顏昳華
繼深入介紹了Index頭顯的視場之後，Valve日前撰文探究了設備耳機和麥克風方面的設計過程。
延伸閱讀：深入了解Valve Index的FOV視場設計
本文來自於音頻工程師艾米莉·麗琪維（Emily Ridgway），下面是映維網的具體整理：
Valve Index Ear Speakers是針對虛擬實境的特定體驗性目標進行優化，所以它們的設計方式與傳統消費者耳機有所不同。
在早期的VR實驗階段，我們日漸發現要令VR用戶暫時不再懷疑體驗的真實性，這不僅依賴於傳統遊戲和電影的敘事，環境和情感喚起設計方式，同時需要一種專為VR而生的生理問題解決能力。當我們戴上頭顯開玩《Bugdget Cuts》時，我們希望VR能夠令大腦相信我們的身體確實傳送至了一個充滿機器人的辦公室環境，而非單純通過一個靜態屏幕向我們展示其環境。
我們在研究和遊戲測試中發現，實現最大聲音沉浸感對音頻組件的設計提出了與3D追蹤系統或顯示面板相同的大量要求。我們同時發現，圍繞所述要求進行設計意味著接受一定的權衡，而這會影響揚聲器的位置，驅動器的重量，驅動器音膜的形狀，揚聲器外殼的工業設計，甚至是基本的頻率響應特徵。
1. 硬體與軟體
只有同時利用軟體和硬才能實現令人信服的音頻沉浸感。明確硬體（音頻組件）和軟體（遊戲，VR體驗）職責之間的界限需要對VR音頻管道進行整體的權衡考慮：從VR聲音內容的創建方式到遊戲引擎的輸出方式，再到聲音傳輸到耳朵的全過程。
在軟體方面，自上世紀90年代出現了第一批與玩家相關的全景體驗之後（《毀滅戰士》，《半條命》和Aureal 3D等），音頻工程師和科學家一直致力於創造令人信服的沉浸式聲音內容。接下來得益於當前一代的虛擬實境，我們已經看到空間音頻技術的巨大提升的。雙耳渲染和基於物理的聲音模擬插件（如SteamAudio）允許開發者通過常規立體聲耳機實現更高的聲音定位精度，物理精確的虛擬混響，聲音遮擋，以及聲音傳播。考慮到當前VR領域的最佳聽音組件，我們利用了以下知識和音頻軟體模擬研究：
VR內容主要以立體方式傳送：左右各一個音頻通道。所述通道可以包含相對於玩家在任何給定時間注視的位置的嵌入式雙耳與HRTF音染。我們的外耳，頭形和面部幾何增加了特定的音調特徵，能夠幫助我們的大腦識別真實聲音與假想聲音，以及聲源相對於我們的位置（後方，上方，下方，左側，右側等） 。中高頻聲音保真度非常重要：雙耳模擬依賴於音染的細微變化（1kH-8kHz）來傳達聲源相對於玩家的位置。如果聽音組件添加了自己模糊不清的頻率音染，這將會干擾玩家定位聲音的能力；另外，人類通常對2kHZ-5kHz範圍內的聲音非常敏感。如果虛擬聲音的頻率與我們預期的實際情況不符，我們更有可能將聲音識別為「不真實」。你可以比較一下通過揚聲器播放某人的聲音和某人在你旁邊說話的情形。低頻聲音保真度很重要：儘管低頻內容在自然界中並不經常發生，但它在VR和娛樂內容中經常出現，如音樂，隆隆聲，爆炸，槍聲和心跳等等。低音對於傳達大小和規模感至關重要。它增強了VR的視覺沉浸感，並能夠引發特定的情緒暗示，如危險，孤立和內化等。所以，聽力組件維持健康的低音響應應很重要。
2. 為什麼不採用耳機呢？
傳統耳機擅於向每隻耳朵提供直接的，與玩家相關的立體聲音內容。玩家可以在虛擬世界中環顧四周，而具有聲音模擬插件的3D遊戲引擎將輸出所需的立體聲信號以傳達虛擬聲源的正確位置。這正是電競選手（如《CS：GO》）選擇耳機而非前置揚聲器的原因，因為耳機提供了更直接的空間聲音信息。兩個輸出通道（L/R），兩個喇叭（L/R），兩隻耳朵（L/R）。
但一般而言，傳統音頻組件很少是以聲音沉浸感作為主要的設計目標。諸如耳塞，入耳式耳機和耳罩式耳機之類的個人組件主要是用於在不適合揚聲器，並且通常能耗需求極低的設備，如智慧型手機，由電池功能的設備。這種聽音組件的重點一般是聲音隔離，功率效率，噪聲消除，以及增強的頻率響應。我們認為，前面所述的大多數優化對當前的房間規模VR而言可能沒有太大意義，因為後者的聽音環境是專門的遊玩空間，出現少量的聲音洩漏可能不會有太大問題。我們同時可以獲取充足的功率和頻率響應支持。
耳機和耳塞需要接觸耳朵或環繞耳朵。我們發現這有時可以通過以下方式影響音頻沉浸感：
將聲音直接傳遞到耳道會繞過因耳朵和頭部與真實聲波相互作用而引起的自然聽音過程。用戶將錯過耳朵，頭部和個人幾何形狀產生的音染特徵。即使音頻內容是高度空間化和物理模擬，這都有可能導致相關聲音仿佛是想像而成。我們預測，軟體模擬最終能夠考慮到這一點。經過一段時間後，相關組件給耳朵施加的壓力會令用戶感到不適，從而影響VR的沉浸感。有被試報告說，耳機接觸耳朵的行為向其發出了任何即將出現的聲音都非真實的信號。耳罩式耳機密封耳朵會令熱量聚集不散，這會減損臨場感。某些耳機的音質會干擾雙耳模擬的微妙頻率音染。例如，誇大或模糊不清的中高頻很可能會干擾HRTF濾波器的微妙性，導致遊戲和VR中的定向聲音感覺不佳。
3. 為什麼不採用揚聲器呢？
我們同時考慮了典型立體聲或環繞聲設置中的消費類揚聲器和波束形成揚聲器。揚聲器可以繞開一系列與耳機相關的舒適問題，並且能夠發出我們可以輕易地將其視為來自外部的聲音。但它們確實為採用提出了一定的障礙：
現有的立體聲揚聲器配置採用正向設計，所以聲音傳來的方式就像是你是一名觀眾並在臺下欣賞樂隊的演奏，或者坐在沙發看電視。這對於音樂和電影而言沒有什麼問題，但VR和立體遊戲聲音內容輸入是假設L/R通道能夠馬上達到頭部兩側。常見的5.1和7.1環繞聲系統將聲音播放限制在水平音場，而VR和遊戲聲音內容則可以虛擬地定位在周圍的任何位置。揚聲器系統需要花費時間和空間進行正確地設置，從而為VR系統創造了額外的摩擦。揚聲器要求播放器保持在一個小小的「最佳位置」以進行精確的空間播放。VR有時可能需要用戶在大空間中移動。揚聲器可能會受到真實房間的聲學影響，並可能與虛擬世界的期望聲學衝突。揚聲器可能會使聲音感覺太遠，與可能非常靠近玩家耳朵的虛擬聲源位置相矛盾。
4. 我們的選擇
在回顧上述所有權衡時，VR的最佳聽音解決方案可能是一對超近場，全範圍的耳外耳機。足夠接近耳朵以模仿玩家相對的立體耳機，並且支持當前VR內容的輸出格式，但同時足夠遠隔以允許耳朵和頭部的音染，並且又可以解決舒適和壓力問題。正是這種認識，以及童年記憶的靈感（能夠在兩個朝內向的高保真揚聲器設置中完全沉浸在音頻體驗之中），我們創建了首個原型。
我們首個近耳揚聲器原型
5. 發展
對於第一個原型，我們將兩個小型全頻桌面揚聲器驅動器貼在滑板頭盔的側面，然後將一個舊款Vive綁在頭盔外面。揚聲器由接入HTC Vive耳機插孔的USB和音頻輸出功能。當我們允許自己的耳朵和頭部自然地解釋聲音時，這個粗糙的原型在演示聲音沉浸感和外化提升方面的表現非常測色。沉浸感難以進行定量測量，所以在這個階段，我們依靠來自同事和被試的定性反饋來描述原型與一對KOSS Porta Pro入耳式耳機的聲音差異。實際的反饋非常青睞於揚聲器，而我們認為值得繼續推進這種設計。但我們遇到了幾個問題：
低音響應非常有限。由於佩戴頭盔的方式或在VR中移動會導致揚聲器位置的輕微變化，從而導致音量，頻率響應和聲音平衡出現顯著變化。重量和大小。揚聲器太重（每個70克），與我們實現更輕更舒適的頭顯目標不一致。這可能是我們早期最為關注的問題。聲音洩漏。
對耳機驅動的實驗
為解決體重問題，我們嘗試使用耳機驅動器而非揚聲器驅動器。儘管它們更輕，更省電，但當遠離耳朵時，其無法提供足夠的音量。我們早已知道情況會是這樣，但聽到聲音沉浸感與原理耳朵距離 vs 頻率響應 vs音量之間的權衡十分有趣。
磁性平面近耳耳機概念
我們想知道耳機驅動要多大才能開始滿足我們的音量和頻率響應要求。為了尋找答案，我們與開發了一對磁性平面耳機的Audeze進行了交談。結果聽起來令人難以置信，但Valve Index的生產目標無法支持其重量，尺寸和成本。
首個基於「Hummingbirds」的揚聲器
我們回到將揚聲器驅動器作為我們推進設計的基礎。早期音頻研發的優勢之一是，我們能夠獨立於Valve Index頭顯系統工作。在機械工程師的幫助下，我們構建了一個獨立的耳機外形。在這個環境中，我們能夠快速迭代低音響應，調諧，聲音入耳方向，耳朵距離，以及揚聲器驅動器A/B測試評估。
這是首個通過3D列印的耳機原型，我們內部將其稱為「Hummingbirds（蜂鳥）」。
搭載小型，全頻，傳統活塞揚聲器的Hummingbirds
之所以構建這種色彩斑斕的Hummingbirds，我們是為了評估不同種類的小型全頻揚聲器驅動器。到目前為止，我們一直在重新利用整個消費類揚聲器和耳機系統。購買和評估現成的組件需要我們開始構建音頻子系統的基礎：擴音器，音頻晶片，DSP（數位訊號處理）和麥克風。與此同時，我們越來越接近耳朵距離，旋轉，重量，揚聲器尺寸和頻率響應之間的發貨目標。
首對採用Tectonic的BMR驅動的Hummingbirds
我們在驅動評估階段遇到了BMR（Balance Mode Radiator）驅動，並且馬上注意到數個優勢：它們減少了由於揚聲器誤定位而引起的音染；幾乎在我們的重量目標範圍內；在高中頻範圍內有著非常優秀的頻率響應（對雙耳模擬很重要），並且比傳統揚聲器驅動薄得多。我們開始與Tectonic合作設計一款用作耳機揚聲器的定製驅動。
我們內部越來越關注耳塞式揚聲器的聲音洩漏問題，以及它們會令放進來多少外部聲音。為了確定這對用戶的影響，我們構建了20多臺Hummingbirds，並供同事在家測試。沒有人想要歸還借出的Hummingbirds。這是一個好現象，而且遊戲測試反饋非常積極。被試評論道，不借出耳朵和增加的聲音沉浸感能夠抵消外部聲音進入和/或內部聲音洩漏所引起的問題。我們決定繼續這種設計，但時刻牢記所述的問題。
Mr. HATS
5. 產品
我們現在有測試結果優秀，並且在我們的保真度，成本和設計目標範圍內的耳機揚聲器子系統。我們開始將耳機設計與頭顯合併。在頭顯環境中開始測量音頻子系統的性能變得非常重要。通過精確測量，我們可以漸進式改進和識別音頻子系統中的問題。我們一開始採用了「Mr.HATS」模型進行頻率響應測量。表面的藍色膠帶標記了頭顯在模型的確切位置，從而確保早期測量可以保持一致。
Index BMR驅動在消聲室中的頻率響應圖
為了最大化音質，我們每天都會測量和改進頻率響應和低音擴展。Valve努力利用EQ調音和算法來改善低音擴展，而Tectonic則致力於通過優化揚聲器驅動本身來改善低音。雙方努力的結合使得我們能夠實現並超越我們的音質和低音響應目標。
BMR驅動的極坐標響應圖和聲壓級圖說明了音質在各個揚聲器驅動位置的一致性。
通過利用BMR驅動，我們能夠確保一致的音質，無需音染（即使揚聲器在頭部側面略微錯位）。這是因為BMR獨特的發聲方式。在低頻時，它們表現得像傳統揚聲器。電信號進入，整個音膜前後移動並追蹤信號的形狀。但真正的魔法發生在更高的頻率。當聲音的波長類似於音膜大小時（> 3kHz），傳統的驅動將開始進入「分解」模式，導致音膜彎曲和波動，並在頻率響應中產生非常尖銳的峰值。BMR從材料，質量和模擬等方面精心設計了音膜。基本上， 即使它們與BMR揚聲器沒有完全對齊，其都能夠確保的你耳朵始終能夠接收完整的聲音信息。
通過機械方式減少聲音洩漏
另外，Tectonic能夠通過機械方式減少聲音洩漏。由於Valve Index揚聲器驅動對外敞開，來自前側的壓力可以與來自後側的壓力相互作用，並且彼此異相。但驅動本身提供了一定程度的「擋板」。基本來說，對於任何揚聲器驅動，其外徑有助於防止來自前側的壓力與後側壓力相遇，但這隻有在聲波波長小於驅動直徑的擋板時才有用。當波長大於驅動直徑時，來自前側的壓力將直接與來自後側的壓力相互作用，並且發生強烈抵消。驅動的總直徑約為5釐米，這意味著大約3kHz以上不存在抵消。但正如我們所知，在這個頻率之上的音頻內容會越來越少。大多數音頻內容都低於3kHz，這是抵消最為強烈的區間。Tectonic首席技術官提姆·懷特維爾（Tim Whitwell）指出：「佩戴耳機的用戶耳朵非常接近於驅動（近場），由於來自前方的壓力比後方更靠近耳朵，所以用戶不會感知到抵消。」
6. 麥克風
我們的目標是配備高質量的麥克風，從而支持直播者和多人遊戲體驗。但由於採用了耳機揚聲器設計，我們預計麥克風性能將成為一項艱巨的挑戰。令我們驚訝的是，結果並非如此。由於耳機的幾個獨特功能，我們能夠避免在麥克風信號上使用大量的噪聲消除DSP，從而能夠將麥克風流的採樣率保持在48kHz。下面是一系列有助於構建高質量麥克風輸入的功能：
雙麥克風陣列可以縮小方向響應，並專注於信號（用戶嘴巴）和消除其他外來噪音。雙向麥克風陣列將拾音器聚焦於用戶嘴巴，並排除任何外部聲音。與傳統揚聲器相比，BMR驅動的「擋板」減少了外部噪音幹擾。揚聲器和麥克風的聲學設計能夠大大減少非線性聲學反饋路徑。玩家自己的頭部吸收BMR揚聲器的大部分初始聲能。高SNR麥克風和音頻路徑。優質的麥克風和聲學密封。動態壓縮傳入的音頻。
7. 最後的想法
所有的研究，迭代和反饋使得我們相信Valve Index的耳機設計能夠儘可能地接近於最佳權衡平衡，以及專門為房間規模VR音頻設計的功能。我們對音頻體驗感到非常滿意。當然，我們尚有更多需要學習的地方，以及存在很大的提升空間。
原文連結：https://yivian.com/news/65021.html