展望遊戲音頻設計的發展方向

2021-01-21 網易

  

  原文地址 https://zhuanlan.zhihu.com/p/336691565

  作者:希辰Xichen NExT Studios Audio Designer

  今年年中的時候,與朋友做了一期名為《2020了,遊戲還能給我們帶來什麼》的播客節目,作為一個堅定的技術派,我在其中表達了一個觀點,新體驗的產生很大程度上依賴於硬體性能的提升和開發工具的進化。如果把問題具體到遊戲音頻設計,我認為值得展開討論的話題就是,基於硬體軟體不斷發展的前提下,遊戲音頻設計自身會發生哪些變化,從業者在開發流程中會運用哪些新的方法,玩家在遊戲過程中能獲得哪些新的體驗。

  
最初在列文章大綱時起的英文標題是「What will The Next Gen of Game Audio Design be like」,這是一個疑問句,對此我並沒有清晰明確的答案,所以說我只能是結合實際工作中遇到的痛點,來聊一聊遊戲音頻設計在設計思路、開發工具和終端體驗等各個環節上還有哪些可以改進的地方譯成中文的話,就高大上一點地叫「展望遊戲音頻設計的發展方向」吧。

  遊戲音頻設計的現狀

  

  1983年,任天堂推出了風靡全球的 Nintendo Famicom,經典配色的「紅白機」。這算是我最早認識的遊戲機了,就把它作為標尺來分析一下硬體性能:8-bit 1.79MHz 處理器,2KB 內存,音頻方面支持 4-bit 波表合成器和最高 7-bit 15.7458kHz 採樣文件,最多可同時播放五個聲音。2013年,Sony 推出了 PlayStation 4 主機,而它的性能已經達到了:八個 64-bit 1.6GHz 處理器,8GB 內存,24-bit 48KHz 音頻文件格式成為開發標配,八通道輸出支持多種環繞聲音響設置,可同時發聲數方面也沒有了硬性限制。

  
顯而易見,這三十年的硬體發展是非常迅速的,性能水平的提升幾乎是以百千倍計的。而就在我寫這篇文章的時候,Sony 和 Microsoft 也都相繼推出了新一代的遊戲主機,性能方面更是有了進一步的提高。

  另外值得一提的是,移動端設備的性能也已經到了非常高的水準,越來越多的遊戲開始嘗試主機端和移動端的多平臺支持了。雖然由於手機本身的功能定位和物理機能的限制,在實際表現上與主機相比還有些差距,但是遊戲開發的思路和目標在這兩個平臺之間並沒有明顯的差異,只是各有不同的側重而已:主機端追求的是在極限的性能要求下達到最極致的表現,而移動端則更注重在保證儘可能好的表現下去適配更廣泛的機型。

  
總的來說,就從內存和處理器這兩個指標來理解,硬體性能的提升對遊戲音頻設計意味著:更大的內存意味著可以使用更多高質量的聲音資源,更快的處理器意味著可以處理更多高精度的實時控制。

  

  因此在這樣的硬體性能水平之下,遊戲音頻設計也形成了目前一套相對成熟的開發流程,借用《遊戲音頻設計的工作流》一文中的圖示來說明:在數字音頻工作站(Digital Audio Workstation)中製作出高質量的聲音資源(Sound Asset,通常以 wav 格式文件為主),導入音頻中間件(Audio Middleware)中進行統一管理和進一步處理,並與遊戲引擎(Game Engine)深度結合來構建實現邏輯(Implementation Logic),最終以音頻數據(Audio Data,以 AK Wwise 為例即 Event)的形式與遊戲中其它元素配合來實現各種豐富的條件觸發和實時變化。

  以上,就是從硬體性能和開發流程這兩個角度入手,簡單闡述了一下遊戲音頻設計的現狀是怎樣的。接下來我將以三個在實際項目中遇到的例子,來聊一聊遊戲音頻設計目前尚存的一些問題,以及可行的改進方案。

  程序化音頻(Procedural Audio)

  在第三人稱射擊遊戲類型中,玩家能夠清楚地觀察到整個角色的各種行為,因此角色在動作表現上的細節就顯得尤為重要,特別對於寫實風格的遊戲來說更是如此。針對此類角色動畫的開發需求,目前常見的做法是基於骨骼動畫(Skeleton Animation)和關鍵幀動畫(Keyframe Animation)的。以 Unreal Engine 為例,首先根據角色表現進行細緻的行為分類,比如基礎的 Idle、Turn、Walk、Run 以及各種行為之間起停和過渡等行為,通過動作捕捉(Motion Capture)的方式採集原始動作素材並製作出大量的動畫序列(Animation Sequence),再在遊戲引擎中運用混合空間(Blend Space)和狀態機(State Machine)等功能對動畫序列進行整合,實現各種行為的觸發和轉換。在這樣的開發工序下,角色衣服和腳步等 Foley 相關的聲音一般是以動畫通知(Animation Notify)的形式整合進動畫序列中,只要動畫序列被觸發,其中相應的聲音就會被播放。

  
接下來就以腳步聲為例來具體分析一下到底需要準備多少聲音資源。通常有以下幾個重要因素需要考慮:

  
歩態:與動畫行為分類相關聯,如走、跑、跳、落地、起停等,如果更細緻一些還可以考慮各種步態在前後左右行進方向上的差異,比如向前走和向後退在腳跟腳尖的著地順序上是不同的;

  
體型:主要是由體型等相關因素引起的腳步聲在整體聽感上的差異,比如通常會有男女之分,女性的腳步聲可以顯得更輕盈一些;

  
鞋子:穿著拖鞋、皮鞋、運動鞋和登山靴等不同鞋子所發出的腳步聲有各自明顯的特點,具體種類取決於角色換裝的豐富程度;

  
材質:角色處在水泥、沙石、草地等不同材質上發出的腳步聲有明顯差異,具體種類一般由遊戲中定義的物理材質所決定。

  
素材變化:即每一個種類的腳步聲需要製作多少個隨機樣本,以保證在高頻率觸發的情況下不會出現明顯的重複感。

  根據上述考量因素可以制定出整體所需的數據結構和資源規模。以我們目前一個項目為例來進行估算,一個男性角色的動畫序列數量超過了1500個,其中男性腳步聲數據使用到的聲音資源文件數量超過了5000個。

  

  上述這種製作方式可以稱為是 Sample-Based Asset Production,即聲音資源的來源是海量的音頻格式文件,最終的聲音效果很大程度上也取決於這些資源本身的質量。梳理一下這種製作方式的特點,以及我對它的一些想法:

  
1. 角色的前進後退和快走慢跑等行為在聲音上的細微差別真的可以體現出來嗎?優秀的擬音師確實可以表演出這些動作之間的細微差異,並以錄音的形式明確細緻地記錄下來。也正是如此,使用樣本資源是目前最主要也最有效的製作方式。

  
2. 聲音表現的豐富程度和細節變化重度依賴於聲音資源的數量。通過細分行為結構和堆疊海量數據的方式,確實可以把細節品質推到極致,但在資源有限的實際開發環境下,如此巨大的工作量往往是無法承受的。

  
3. 這種工作量是貫穿在整個工作流程中的,包括聲音資源製作、數據結構搭建、音頻數據整合等。通過規範化流程和自動化工具確實可以減少其中一部分的重複勞動,提高生產效率,比如對動畫序列進行檢測並在腳著地時刻自動添加音頻數據,但是這並沒有從根本上改變整個生產方式的核心思路。

  
4. 在此基礎上,可以引入遊戲中的動態參數對聲音資源做進一步的實時處理,比如使用角色的速度和斜率參數對同一資源的響度、音調和低通/高通濾波等屬性進行實時調節,來模擬在不同坡度上行進的腳步聲變化。但是這種實時調節的效果只能算是一種低精度的模擬,因為對這些音頻屬性的調整並不能改變樣本自身的波形特徵,換句話說就是不能體現出動作本身之間的真實差別。

  歸根結底,這種 Sample-Based 的製作方式其實是試圖用足夠多的離散數據去匹配高精度的連續變化,在我來看這其中是有很大的改進空間的。遊戲開發的技術性特點是所有邏輯都是構建在程序算法之上的,所有表現其實是演算過程的結果,自然地也就有了程序化生成(Procedural Generation)這個概念,簡單來說就是通過算法來生成數據。這種思路在遊戲開發領域也早有應用,比如開發世界大規模地形和植被的生成、Roguelike 類遊戲隨機地圖的生成等,近幾年比較出名的遊戲作品《No Man's Sky》中甚至生成了超過18000000000000000000(Quintillion,18個0)個獨特的星球可供玩家探索。

  
說回到我們的例子上,即使是在基於大量動畫序列的角色動作製作流程中,其實多少也會涉及到程序化動畫(Procedural Animation)的相關運用,比如角色在死亡或失去控制之後進入的 Ragdoll 狀態,使用 Inverse kinematics Rig 讓角色在與其它物體接觸時的動作表現更加自然,採用 Motion Matching 方式來更方便快捷地實現角色 Locomotion 行為等。而現在甚至已經可以運用人工智慧、神經網絡等相關技術,在不依賴於動畫序列等數據的前提下,讓角色產生非常自然且自適應各種狀態的動畫表現。

  
試想今後在這樣的工作流程中,現有形式的音頻數據都沒有類似於動畫序列這樣的載體去依託,我們又該如何去設計和整合角色的動作聲音呢?因此相對應地在音頻設計領域,自然也會有程序化音頻(Procedural Audio)的設計思路。

  程序化音頻這個概念雖然不是一個新事物,但是目前在業界似乎還沒有大規模的討論與應用,甚至都還沒有相應的 Wiki 頁面。在此我暫且不對程序化音頻的學術定義展開討論,僅結合上述角色腳步聲設計的案例,來梳理一下我對程序化音頻的理解,以及實際運用的可行性思路:

  
1. 首先,程序化音頻的思考重點是物體為什麼發聲和怎麼樣發聲,而不是簡單地只考慮具體的聲音表現。如果從相對寬泛的尺度下去考量,現在的遊戲音頻設計其實已經包含了許多程序化音頻的設計思路。在《遊戲音頻設計的一種思路:解構與建模》一文中我也表達過類似的想法。

  
2. 有一點需要明確的是,程序化音頻並不是說要完全拋棄樣本素材的使用,這一點與物理建模聲音合成(Physical Modelling Synthesis)是有本質區別的。基於物理模擬的聲音合成是指對物體的物理屬性進行解構並通過算法建模的方式來生成聲音,學界在這方面已經有了多年的研究和成果,之後是有機會作為程序化音頻設計思路中的一項技術而被實際運用在遊戲音頻設計工作流中的。但就目前的實際開發而言,使用樣本素材的方式在聲音質量、運算速度和性能消耗等各個方面都還是有絕對優勢的。

  
3. 引入程序化音頻設計思路的主要目的是,使用有限的聲音資源來實現儘可能豐富且動態的聲音表現。在目前的遊戲音頻設計工作流中許多方法其實是與此契合的,比如使用來自引擎中的動態參數來實時調製聲音的屬性,這仍然會是程序化音頻中的一個重要手段。

  
4. 對於角色腳步聲設計中的步態因素而言,我認為目前運用程序化音頻最主要的障礙是還沒有一個有效的模型從更為解構的角度去描述腳步的結構與狀態。比如平臺解謎遊戲《Inside》裡的角色腳步聲設計就做了一次有趣且成功的嘗試,將腳步聲拆分成腳尖(Toe)和腳跟(Heel)兩部分,然後通過角色速度等參數來實時控制這兩部分的播放間隔、響度和音調等屬性,來無縫銜接地表現角色在不同速度下行進的腳步聲。儘管這種解構模型的精度還是相對簡單,但是對像《Inside》這類橫版移動和藝術化美術風格的遊戲類型來說確實已經足夠而且是有效的。而對於寫實風格的第三人稱射擊遊戲來說,我們在腳步聲解構模型上還需要有更進一步的思考與探索。

  
5. 材質(Material)是遊戲引擎中一個基礎且重要的系統,目前在音頻設計方面對其的應用還是比較簡單和直接的,即一種材質映射一組包含若干隨機變化的樣本素材的聲音,這也是腳步聲的聲音資源數量和結構複雜程度會隨著材質種類的增加而成倍擴大的主要原因。如果引入程序化音頻的設計思路,我們可以從材質的硬度、厚度和粗糙度等物理屬性去分析,並結合物理建模聲音合成的技術,這樣就可以使用儘可能少的聲音資源通過參數控制和排列組合的方式去實現儘可能多的材質聲音表現。

  
6. 最後,從務實的角度來討論一下為什麼程序化音頻還沒有被大規模地運用在實際開發中。我認為可能的原因有二:一是,目前絕大多數遊戲類型的開發規模和資源數量還是可控的,使用樣本素材是最為直接有效且相對廉價的製作方式。受限於人員技術背景和人力成本等因素,遊戲音頻團隊投入時間精力去從事程序化音頻的基礎研究或許不是一件划算的事情;二是,儘管學界可能在相關領域已經有了研究進展和成果,但由於缺少實際需求的驅動,因此還沒有形成一個相對完整的解決方案。

  聲學環境建模(Acoustic Environment Modeling)

  在強競技的寫實風格射擊遊戲中,玩家對聲音的關注點不僅僅是槍聲聽起來爽不爽,更會對槍械射擊和人物動作等聲音的空間感和方位感提出更高的要求,因為這些聲音在符合物理常識和聽覺習慣的情況下能夠給玩家提供更多的戰局信息。所以在遊戲音頻設計中,我們需要解決的一大問題就是如何在遊戲世界中重建一個擬真的聲學環境,讓聲音在其中傳播時聽起來真實可信。

  
聲學環境建模本身就是學術研究中的一大方向,在建築聲學等領域已經有了非常多的研究成果和實際應用,我在這方面沒有任何的研究經驗,因此僅從遊戲音頻設計的角度來討論一下目前常見的解決方案。

  

  首先從響度的角度來考慮,一個聲音在從激發到消失的過程中可以被分為三個部分,即直達聲(Direct Sound)、反射聲(Early Reflect)和混響聲(Late Reverb),這三部分聲音會以動態地生成、變化和混合,來形成聲源在空間中的整體效果。同時考慮聲音在傳播過程中的兩個行為特徵,衍射(Diffraction)與透射(Transmission),這兩者與空間的幾何體(Geometry)信息是強相關的,需要配合聽者(Listener)與聲源(Emitter)的空間信息和相對關係共同參與運算。簡單理解,以上五點就是在遊戲中重建聲音傳播(Sound Propagation)現象時可以被設計和控制的要素。

  

  以音頻中間件 Audiokinetic Wwise 的 Spatial Audio 解決方案為例,遊戲音頻設計師可以從以下幾個方面入手:

  
1. 在 Wwise 中對各類聲音定義不同的 Attenuation 設置,其中包含了聲音可傳播的最大距離以及基於距離變化的響度、低頻和高頻的衰減曲線,主要定義的是直達聲這一部分的傳播屬性。另外還會包含聲音在不同距離上響應混響效果的曲線,後續被用於混響聲部分的計算。

  
2. 在 Wwise 中創建 Auxiliary Buss,並在各條 Buss 上配置不同效果的 Reverb 插件來模擬不同空間的混響效果。這些 Buss 之後會被映射到引擎中所定義的空間中以確定各自不同的混響屬性,並實時計算生成混響聲的部分。

  
3. 在 Wwise 中創建 Reflect Buss,通過 Reflect 插件來完成反射聲部分的實時計算。反射聲是由引擎中所定義的建築或物體表面反射引起的,與空間幾何緊密相關,因此 Reflect 插件中定義了反射聲的最大響應距離以及基於距離變化的響度、低頻和高頻的衰減曲線等屬性。

  
4. 在 Wwise 中創建各種 Acoustic Texture,用來模擬不同材質對反射聲的吸收程度。這些 Texture 之後會被映射到引擎中所定義的建築或物體表面上,配合 Reflect 插件共同實現更精細的反射聲效果。

  
5. 在 Wwise 中設置全局的 Obstruction 和 Occlusion 曲線,分別對應衍射和透射的效果。直達聲在傳播過程中,遇到表面邊緣發生轉折和直接透過牆體時會分別引起不同程度的 Obstruction 和 Occlusion 計算,得出的數值會在 Attenuation 設置的基礎上進一步影響直達聲的響度以及低頻和高頻的衰減。

  
6. 在引擎中根據地形和建築物模型來定義各個 Room,並在其中配置相應的 Reverb Buss、Acoustic Texture 和牆體 Occlusion 等空間屬性,以及在門窗等空間開口處定義 Portal 當作聲音傳播的通道。定義空間主要有兩種方式:一是使用 Spatial Audio Volume 組件手動繪製立方體之類的簡單幾何圖形,二是使用 Geometry 組件直接調用建築物模型的 Static Mesh 信息。

  
7. 在完成以上這些設計與整合工作之後,引擎就可以根據聽者、聲源與幾何體的空間信息和相對關係進行實時運算來模擬各類聲音在不同空間中的聽感效果。

  以下是我對上述這種解決方案的理解:

  
1. 從對聲學環境建模的角度來看,這種方案是建立在 Room & Portal 基礎上的,將遊戲空間劃分為一個個相對獨立的 Room,並通過 Portal 將其連接起來。雖然建模精度有限,但這種簡化了的模型在實際表現上確實是有效的,在儘可能降低性能消耗的同時也能夠體現出聲音傳播的特點。

  
2. 儘管這種建模與還原是有效的,但是與真實的聲音表現相比還是有很大差距的,我認為主要瓶頸還是在於性能有限。比如,混響聲其實是由無數漫反射混合形成的效果,但在實際開發中我們還無法從這個更本質的角度去進行模擬,大量的射線檢測(Raycasting)極耗性能,只能通過混響插件來實現,而插件本身對混響的建模也是簡化的,即使是使用效果更好的卷積混響(Convolution Reverb),目前也存在可控動態參數有限的問題。

  
3. 再比如,目前我們通常只能用簡單幾何體去近似擬合,也不會對所有材質表面都定義反射屬性,更不會對所有聲音都進行反射計算。而真實環境中聲音的細節表現,恰恰就體現在這些無序的、不規則的聲音相互影響之中的。

  
4. 也正是因為性能有限,這種方案需要人工定義 Room 和 Portal,且對於複雜模型還需要考慮組合拼接,從工作量的角度來看也是一個不小的人力成本。

  
5. 當然,這種由於性能有限而引發的還原精度降低和工作成本增加的現象,其實在遊戲開發中是普遍存在的,比如對模型設置 LOD(Level of Detail)來調整不同視距下的模型精度等。

  那除了等待硬體性能提升之外,我們能不能換個思路來解決遊戲中聲學環境建模的問題呢?

  
Microsoft 在2011年提出了一種叫做 Wave Acoustics 的模擬方法,用一種類似於光照烘焙(Static Light Baking)的思路,將複雜環境中聲波傳播的真實效果進行演算並記錄下來,並從中提取重要參數用於設計控制和實時運算。這種方法以不依賴於大量射線檢測的方式提高了聲學環境的模擬精度,同時也省去了音頻設計師手動定義 Room 和 Portal 的大量工作。當然,這種方案目前也存在一些需要改進的地方,比如如何進一步減少烘焙文件的存儲大小和如何實現空間信息動態變化等問題。

  
目前此方案正式命名為 Project Acoustics,並已在《Gear of War》、《Sea of Thieves》和《Borderlands 3》等項目中經過驗證,感興趣的朋友可以前往官網查閱詳情,或者直接試用 Unreal 或 Unity 整合方案。

  
限於本人研究深度有限,暫且不論 Room & Portal 和 Wave Acoustics 這兩種方案孰優孰劣,至少作為一線工作者是非常樂於見到新技術的出現的,不斷從實現效果和工作效率上帶給我們新的可能。

  空間聲與雙耳聲音頻(Ambisonics & Binaural Audio)

  

  目前主機平臺上的大多數遊戲都會按 5.1 環繞立體聲以上的重放標準來進行最終的混音,而絕大多數玩家是沒有這樣規格的重放條件的,主要還是以雙聲道立體聲音箱、耳機甚至只是電視機揚聲器居多。因此,無論我們在音頻實現上採用了多麼先進的技術,或是在混音階段使用了多麼高端的環境與設備,最終都要考慮一個非常重要且實際的問題,那就是如何保證玩家在規格各異的終端設備上也能聽到高質量的聲音重放效果。那麼耳機作為一個大多數玩家都能獲取的設備,因而也就成了我們的研究重點,值得去研究如何在耳機上實現一個更加立體且逼真的聽覺效果。

  

  針對這個問題,我們首先要理解目前遊戲中是如何處理聲音定位(Sound Positioning)的。在遊戲的三維世界中,聽者與各個聲源都有各自的坐標,任意兩者之間的相對關係經過向量計算便可得出,基於聽者而言的聲音定位信息是簡單且明確的。這種處理方式與遊戲開發中基於對象的編程邏輯類似,也可以理解為是 Object-Based Audio。遊戲本身的動態和交互特點,要求聲音必須包含完整的定位信息用於實時計算,因此在遊戲開發階段,我們更多考慮的是聽者與聲源之間相對關係的變化,而非特定聲道上具體的重放內容,這一點與音樂和電影等基於聲道(Channel-Based)的聲音製作思路是完全不同的,我認為也是其優越性的體現。正是因為 Object-Based Audio 具有這樣的特點,Dolby Atmos 等環繞聲技術也引入了類似的設計思路,用於實現更豐富立體的電影聲音重放效果。

  
儘管 Object-Based 的方式保留了聲源完整的空間信息,我們最終還是要把聲音映射到只有兩個聲道的耳機上進行重放,目前最常見的方式是 VBAP(Vector-Based Amplitude Panning)。VBAP 的優點在於無需對聲場做額外改動就能映射到各種聲道配置的重放系統上,然而它的缺點也是明顯的,玩家聽到的並不是真正的全方位的聲場,聲源相對於聽者在前後方向和高度上的差異被壓縮了,直觀地來說就是原本的三維空間被壓扁成了一個二維平面。

  
所以對於上述耳機重放的問題,我們可以結合兩種技術來有針對性地解決,先是使用空間聲(Ambisonics)技術將聲源的空間信息映射到一個立體的球形聲場中,然後再使用雙耳聲音頻(Binaural Audio)中的頭部相關傳遞函數(HRTF,Head-Releated Transfer Function)對球形聲場中的聲源進行濾波處理,最終實現空間感更加準確且適合耳機重放的聲音定位效果。

  對此我的理解是:

  
1. Ambisonics 早在70年代就已發明,只是因為此前 Channel-Based 的製作方式佔據主流,導致其沒有太大的用武之地。直到前幾年 Virtual Reality 的興起,Ambisonics 對整體聲場捕捉和還原的特點才重新被人重視,Ambisonics 話筒配合全景攝像機的拍攝方式很好地順應了 VR 影片的製作需求。

  
2. 在遊戲音頻設計中,Ambisonics 的應用遠不止是使用話筒採集 Ambisonics 聲音素材,更重要的是 Ambisonics 可以作為一種中介空間表示法(Intermediate Spatial Representation)來模擬聲場,為後續使用 HRTF 進行更精準的雙耳化定位提供了可能。目前音頻中間件 Audiokinetic Wwise 也已將 Ambisonics 整合進自身已有的 Spatial Audio 工作管線中。

  
3. Binaural Audio 也不是一個新技術,Binaural Recording 錄音方式早已出現且被廣泛使用,現在流行的所謂 ASMR 視頻其實就是使用 Binaural 話筒錄製來營造一種更親近的聽覺體驗而已。其原理非常簡單易懂,就是在靠近人耳鼓膜附近布置話筒或者使用人工頭模型話筒來錄製聲音,這樣就能把聲音受耳道、耳廓、頭型和軀體等部位的影響更精確地捕捉下來,而人之所以能辨別聲音方位,與受到這些部位的濾波影響而產生細微變化有很大的關係。

  
4. 在遊戲音頻設計中,Binaural Audio 的應用也遠不止是使用 Binaural 話筒採集聲音素材,最主要的是我們能從以這種方式將人體部位對聲音的濾波影響提取成 HTRF,這樣就可以對遊戲中實時變化的聲音進行雙耳化處理。

  
5. 目前 HRTF 數據採集需要在高標準的聲學環境下使用話筒陣列來進行,費時費力成本高,因此常規的 HRTF 數據只能對有限樣本進行採集再處理成籠統的分類預設。然而由於個體器官構造的差異性,這些數據無法精確地匹配到每一個個體。所以,如何更方便快捷地採集個人 HRTF 數據可能會是之後值得探索的一項技術。

  總之,耳機是目前普通消費者體驗高質量聲音表現最易獲取的設備,針對耳機的聲音重放體驗肯定會受到越來越多的重視,因此在開發階段專門針對耳機重放做特殊的聲音定位和混音處理也是尤為必要的。

  再創造,而非純模擬(Recreation,Not Simulation)

  上述三個例子分別從資源生成、聲學建模和終端體驗三個角度展開,討論了遊戲音頻設計的發展方向和進展,也從都側面反映了對技術進步的一致要求:設計工具更可控(Controllable),運算性能更快速(Fast),呈現效果更精確(Accurate)。這可能多少回答了開頭的問題,What will the next gen of Game Audio Design be like,至少算是一個相對明確的技術要求。

  
上文通篇都是對技術本身的討論,其重要性不言而喻,但是純粹追求技術手段的發展更多屬於科學研究的範疇,而遊戲音頻設計是技術與藝術的結合,技術手段要服務於藝術表達,遊戲作品的好壞最終取決於玩家的體驗和評價,而非技術手段的先進與否。

  
科學研究的技術成果提供了模擬(Simulation)現實的工具,而遊戲開發者則應該思考如何將這些工具運用到虛擬世界的再創造(Recreation)中去。當技術發展到能讓我們越來越接近真實的時候,我們又該如何去定義虛擬世界中的「真實性」呢?

  關聯閱讀:

  (1)《2020了,遊戲還能給我們帶來什麼》播客節目:

  https://m.ximalaya.com/yule/40134221/319415380

  (2)遊戲音頻設計的工作流

  https://soundoer.com/2020/09/08/the-workflow-of-game-audio-design/

  (3)遊戲音頻設計的一種思路:解構與建模

  https://soundoer.com/2020/07/18/a-thought-of-designing-sound-in-game-deconstruction-and-modeling/

相關焦點

  • 劍網三周邊看遊戲文化發展趨勢,多元化將成為遊戲主要發展方向
    前不久,劍網三的同人設計大賽中有一款設計可以說是非常有人氣的,是一款劍網三門派系列的香水。當然,作者主要是畫出瓶子的形狀和材質並沒有說明香水的氣味。不過光是看這個設計就很美觀了,許多網友都在評論區留言表示希望官方能夠推出這一系列的產品,看得出來大家對遊戲的周邊的關注度和熱情也是非常高漲的。不光是劍網三系列,陰陽師、王者榮耀、崩壞三等等都有推出過同人周邊等等。
  • Facebook AR/VR負責人回顧2020展望2021:致力於AR
    結束2020,走進2021,現在正是時候好好總結過去並展望未來。日前,Facebook Reality Labs(FRL)的負責人安德魯·博斯沃思(Andrew Bosworth)撰文回顧了去年的點滴,並對今年制定了全新的目標。
  • 前沿研究:中國工程科技發展戰略研究展望|中國工程院院刊
    文章指出,展望2035年我國的科技水平,通過各項目明確的頂層設計、兩大運行系統的保障,即行政線系統保證戰略研究的效率,技術線系統保證戰略研究的質量,定能達到預期目標。 到2035年,我國在工程科技方面將與美國並駕齊驅——中國的工程科技將從跟蹤階段發展到與之並行,再到引領工程科技發展方向,實現工程科學、工程技術源頭創新。屆時我國主要大學裡的工科結構將與現在大不相同,工程科學領域大學中的許多研發工作將轉到企業,企業將成為創新的真正主體。為什麼在中國會發生這樣的變化?
  • 可傳輸音頻信號的簡易無線充電器設計
    摘要:無線充電技術是近年新出現的一種充電方式,其極大的方便性在很多方面有重要的應用,所以擴展無線充電器的應用功能必不可少,基於電磁耦合共振原理設計一種充電過程中可同時進行音頻信號傳輸的無線充電裝置,實現信號、能量同時傳遞的多功能化,針對無線充電器的電磁場分布和發射電路的設計,從工作原理到電路逐步分析,並通過實驗驗證此裝置的可行性,為無線充電器的發展提供一種可行的方案。
  • 【圖書推薦】煤層氣(煤礦瓦斯)勘探開發技術進展及發展方向
    部分目錄 第一篇 總體篇 第一章 我國煤層氣產業發展現狀與技術前景 3 第一節 煤層氣地面開發發展現狀 3 第二節 煤層氣地面開發形勢與挑戰 17 第三節 煤層氣地面開發技術發展方向
  • 音頻D類功放LC濾波器設計(一)
    LC串聯諧振的意義 有了上一節的基礎,這一節我們來看看D類音頻功放的LC濾波器如何設計,思路是怎麼樣的,可以看作是一個案例。 考慮到有些同學沒接觸過D類音頻功放,我會先簡單介紹下D類功放的工作原理,然後D類功放為什麼要用LC濾波器,再到LC濾波器設計具體過程。
  • 沒有3D音頻,VR將會怎樣? | 獵雲網
    而 3D 音頻,作為 VR 產業的關鍵性技術節點,值得在今天被關注。你將看到如下內容:為什麼說 VR 回春關鍵在於 3D 音頻技術?3D 環繞立體聲技術發展這麼多年了,為什麼最近才火?深藍DeeperBlue 為你盤點了 7 家做 3D 音頻的公司,到底哪家靠譜?
  • 護理專業發展方向有哪些?
    隨著我國經濟的發展,國家大力發展醫療事業與各種私立醫療機構的發展,現在的人才市場急缺大量專業護理人才,在這樣的就業前景下,有不少的同學都選擇就讀護理專業。但同學們你們知道嗎,學習了護理專業不僅僅可以從事護士工作,還有其他崗位可以選擇哦,今天小編就給大家介紹一下!
  • 外媒展望CES:從5G手機到8K電視,有什麼值得一看
    CES展望:製造商們是時候完全擁抱HDMI 2.1,並推出專為微軟和索尼的下一代遊戲主機而優化的4K HDR電視。遊戲顯示器上已經出現的功能(比如可變刷新率)將出現在電視產品上,120Hz的4K將會把遊戲流暢性提升到新的高度。在軟體方面,2019年CES上最重大的電視發布都與蘋果有關。
  • 盛趣遊戲副總裁郭臻:抓數字轉型機遇 三個方向探索遊戲新價值
    本屆峰會從遊戲、動漫、影視、電競、雲遊戲、新科技等多個維度呈現數字娛樂產業融合的諸多業態,總結2020年數字娛樂產業發展變化的同時,共同探索未來數字娛樂產業發展的新趨勢。盛趣遊戲黨總支書記、副總裁郭臻受邀出席會議,並發表了《數字賦能 遊戲新生》的主題演講,總結了今年以來,以網路遊戲為代表的數位技術對於中國社會的重要價值,並展望了未來數字娛樂產業實現突破的三個方向。
  • VR中的聲音技術:如何聽到來自各個方向的聲音呢?
    希辰是一位——按照他在對自己的介紹中說的那樣——音頻工程師和聲音設計師。他的個人網站SounDoer主要關注的是聲音設計方面的話題,而希辰本人也搜集、編譯了不少國內外有關聲音的資訊。
  • 基於《十三機兵防衛圈》的音頻整合設計理念及工程分享
    所以,我們在實現遊戲音頻設計理念前,需要先了解我們的聽覺。在本文中,我將與大家分享日本知名遊戲音頻設計師金子老師參與的《十三機兵防衛圈》中的設計思路給我帶來的啟發,並試圖探索從已知的人體生理心裡科學現象中來引導遊戲聲音設計的方向。希望以此來引出更多的技術上的探討。
  • 秒針攜三大音頻發布移動音頻媒體價值白皮書
    10月22日,中國領先的第三方營銷數據技術公司秒針系統在京召開發布會,並聯合喜馬拉雅FM、蜻蜓FM、多聽FM這三大移動音頻發布了國內首個《移動音頻媒體價值白皮書》,為發掘音頻媒體價值及推動行業建立統一的音頻評估標準,邁出了第一步。
  • 小旭音樂8月遊戲音頻作品《路人超能100》《我的勇者》
    小旭音樂團隊深度參與了本作音樂與音效的設計與製作,靈異的音樂色調,助攻超能力者對戰各式怪咖與惡靈。豐富的場景配樂與各類招式的特性音效,讓玩家與招募的小夥伴們沉浸於這個靈能世界,在馳騁除惡中經歷青春的章節。
  • 【獻言】展望「十四五」,聽聽鄭州青年說什麼!
    【獻言】展望「十四五」,聽聽鄭州青年說什麼!新年伊始我們邀請了一些來自平凡崗位而又做著不平凡貢獻的鄭州青年和他們一起學習討論鄭州「十四五」規劃建議和二〇三五年遠景目標聆聽他們的宏偉夢想、奮鬥方向科技創新
  • 兩隻貓科技:便攜理念是產品設計的堅持方向
    (原標題:兩隻貓科技:便攜理念是產品設計的堅持方向) 隨著生活娛樂重要性不斷提升
  • 科學技術推動藝術設計的發展
    科學技術服務於人類的生活與生存需求,與設計的目的幾乎相同,同樣都是為人而設計。設計藝術需要藉助科學技術創造更新、奇、異的效果。科學技術同樣也離不開藝術,因為他需要藝術的外殼來包裝自己、推廣自己、以最快的方式得到大眾的認可。
  • 未來20年醫療的發展方向是什麼?
    2015,我們是否也應該停下腳步有所展望呢?2016年、未來5-10年,甚至於20年,生物醫療將朝著什麼方向發展?會在2015年熱門突破上實現哪些革新?微生物群對大健康的意義人體內共存著數以萬億計的微生物,遠多有人體的細胞數。這些微小生命體對於我們的健康不可或缺。
  • 藝術生專業及就業發展方向全介紹!
    隨著傳媒業發展,影視藝術衍生出來的眾多文化產業組織和管理工作。主要是從事企事業單位會展與展覽的策劃、設計與製作、從事室內設計、廣告設計、會展經營與管理等工作。 遊戲設計專業 遊戲設計或遊戲策劃是設計遊戲內容和規則的一個過程,好的遊戲設計是這樣一個過程:創建能激起玩家通關熱情的目標,以及玩家在追求這些目標時做出的有意義的決定需遵循的規則。
  • 2019年飼料養殖產業發展形勢及2020年展望
    來源:陸家嘴大宗商品論壇作者: 油粕面 2019年畜牧業發展出現較大波動,生豬產能大幅下滑,家禽產業快速發展,牛羊產業穩中有增。在生豬產品價格大幅上漲的帶動下,畜產品價格總體上漲,引起各方關注。當前,為做好抗擊新冠狀病毒肺炎疫情,統籌抓好畜產品保生產保供給,做到兩手抓,兩手硬,更好服務和引導生產,農業農村部畜牧獸醫局、全國畜牧總站組織畜牧業監測預警專家團隊,以監測數據為基礎,回顧了2019年畜牧業生產形勢,展望了2020年發展趨勢。供行業內人士參考。