原創 深焦DeepFocus 深焦DeepFocus
作者 Tom
沉迷遊戲的電影研究生
豆瓣 @Tom
(本文很大程度是學習過程中的歸納整理，希望能讓更多人了解虛擬製片這一很重要的數位技術）
作為當下電影製作領域的一項技術變革，虛擬製片以強大的交互性和靈活性，不斷顛覆著行業規則。數位技術在電影製作中全方位滲透，動態交叉的創作過程最大程度地解放創意與靈感，這意味著虛擬製片不僅僅是一種技術變革，更是電影製作觀念的革新。
一、電影製作的數位化發展
由於素材的實體化，膠片時期的電影製作流程是趨於線性的、穩定的。隨著數位技術發展，電影製作逐漸從實體空間進入虛擬空間，大致經歷了三個階段：數字非線性編輯（Non－Linear Editing）、數字中間片（Digital Intermediate）和虛擬製片（Virtual Production）。
數字非線性編輯於上世紀80年代在好萊塢興起，是對傳統膠片電影編輯過程的虛擬化。它是指將編輯過程中的所有素材轉化為數位訊號儲存在計算機硬碟，對素材進行隨機訪問與編輯。這一階段的虛擬化集中在電影編輯上。
數字中間片在2000年逐漸成熟和普及，此時膠片與數字共存。它是將整部影片進行高解析度數位化，在此基礎上完成編輯、調色、視覺特效等一系列後期工作，最終生成數字發行母版，當然也經常輸出到膠片介質上供非數位技術放映。相較於第一階段的數字非線性編輯，數字中間片將虛擬化拓寬到整個電影後期製作，並為影片的發行、放映提供了極大便捷。
虛擬製片從2010年詹姆斯卡梅隆的《阿凡達》開始被推廣開來，現已成為許多主流大片的製片方式。虛擬製片整合了遊戲和交互娛樂行業的新技術和流程，進一步把數位技術應用於電影製作的各個環節，它是一個相對寬泛的術語，指一系列計算機輔助製片和可視化電影製作方法。維塔數碼團隊（Weta Digital）給出了一個精簡的定義：「虛擬製片是現實和數字世界交融的區域。」也就是說，製作人員能夠看到虛擬場景在面前實時展開，相當於虛擬實境和增強現實。用一句話概括就是「所見即所得」。從製片流程上來看，虛擬製片圍繞著創作者的創作個性與創作需要設計流程，專注於解放靈感和想像力。這意味它更加靈活、多元化，呈現出非線性的網狀結構，同時也需要各個部門之間積極交流配合，並行處理問題。
二、虛擬製片的分類
虛擬製片大致可分為四種類型：可視化（visualization）、表演捕捉（performance capture）、混合虛擬製作（hybrid virtual production）、實時LED牆鏡頭內虛擬製作（live LED wall in-camera）。下面我們來簡要了解一下這四種類型。
可視化可謂由來已久。它的前身預可視化（pre-visualization，簡稱previs）廣為人知，指在電影真正進入大規模製作前對部分或全部鏡頭進行可視化呈現，從而探索故事創意、測試後續技術操作性。如今，可視化不再局限於前期使用，可以包攬推銷預覽、視效預覽、虛擬採景、技術預覽、特技預覽和後期預覽多種形式。這裡著重介紹一下虛擬採景，它採用VR形式提供一個全虛擬化場景，以便製作者互動。虛擬場景內有可供調整的道具及虛擬攝影機，可預先規劃拍攝和場景建構。
《疾速追殺3》中玻璃辦公室的場景搭建和調度就運用了虛擬採景技術，這一場景內複雜的打鬥戲單從平面概念圖是難以想像的。在高質量的VR場景中，製作人可以第一人稱視點切實感受到布景環境，更便捷地做出攝影決定，也可以切換至虛擬攝影機實時預覽視覺效果。
《疾速追殺3》，虛擬採景中的第一人稱視點與虛擬攝影機
表演捕捉本質上是一種應用於動畫電影的2D轉描機技術。按照影片的創意需求，可以採用面部捕捉和全身動畫的形式。面部捕捉顧名思義，是捕捉演員的面部表演，套用在另一個角色身上，比如《班傑明巴頓奇事》裡布拉德皮特老年樣貌的表演。全身動畫則是將演員的整個動作轉移至另一個角色身上，比如《猩球崛起》、《阿麗塔》等等。這一類型的虛擬製片同時也涉及了數位化表演、動力學模擬等問題，如何讓數字角色表演更具真實感是需要不斷探索的問題。
混合虛擬製片通過攝影機實時追蹤，將綠幕攝影元素與CG元素合成，可以為攝影師提供實時預覽，並在後期製作階段中完善，也可以直接作為最終畫面。混合虛擬製片可被應用於實時製作和後期製作，前者類似於「虛擬演播室技術」，後者則是為了提供實時的視效參考，方便後期視效製作與合成。
實時LED牆鏡頭內虛擬製作是時下最為先進的技術，在演員背後的LED牆投射實時圖像，實時引擎的圖像輸出與攝影機跟蹤結合，生成完全位於鏡頭內的最終圖像。與綠幕相比，LED背景牆不再具有溢色問題，它呈現的高精度圖像相當於實景，演員、攝影師可以更加自然地進行表演、取景，避免憑空想像帶來的不確定性。這一技術概念很容易令人聯想起過去拍攝汽車駕駛鏡頭時的實景影像投影，但它具有一個致命缺點即視差問題，攝影機必須處於一個固定視角。實時LED牆運用的實時引擎就解決了這一根本缺點，圖像可以變換視角以同步攝影機的視差。另外，實時引擎的實時光線追蹤也是核心技術，一方面數字場景中寫實的燈光效果能夠與實體燈光效果匹配，另一方面來自屏幕的光照具備實時動態效果，增強了沉浸感與真實感。劇集《曼洛達人》是首批利用虛幻引擎採取該技術的項目，視效團隊工業光魔為此研發了一套控制系統StageCraft，允許創作者隨意調整場景，控制拍攝參數。這讓攝影師在很大程度上減少了綠幕拍攝時的困難度，重新回歸實景拍攝的自然狀態。
《曼洛達人》，實時LED牆及局部綠幕的運用
三、虛擬製片與傳統製片
傳統製片
虛擬製片（由Fox VFX Lab提供的視覺流程圖）
在了解了虛擬製片的概念和類型後，我們來比較一下它和傳統製片的區別，進一步理解它給電影製片流程所帶來的顛覆性創造。
上圖為我們展示了傳統製片與虛擬製片的各個部門及合作流程。可以看到，傳統製片如同裝配線，各部門彼此孤立，拍攝最終效果在後期製作中才能敲定。這使得資源難以兼容，迭代修改過程往往代價高昂。由於無法做到「所見即所得」，實際製作階段會充滿不確定性，想像一下燈光該如何匹配不可見的綠幕，虛擬角色又會是怎樣的情態。而虛擬製片則促使製片過程更加迭代化、協作化和非線性。各部門開展更高效的協作，從開發階段就可開始對視覺細節進行實時迭代，不必再等到後期階段。實時引擎具備的高質量圖像實時生成技術，讓各團隊創建的資源能彼此兼容，預可視化所使用的資源也可以快速更新並在後期中使用，避免重複浪費。如圖所示，虛擬製片中特效製作已被提前到準備階段，藝術部門、虛擬藝術部門和後期部門圍繞視覺呈現展開緊密協作。這意味著規則對創意的束縛越來越小，創意能夠被及時付諸實踐，並讓更多團隊成員提前分享最終內容的願景。
傳統製片的另一大難題在於特效剪輯的不確定性。剪輯師在考慮大量片段元素時，還要面對缺失或未完成的鏡頭，實現鏡頭間的連續性和流暢性。虛擬製片則要求剪輯師參與製作階段，使用後期預覽進行現場剪輯，並能夠及時與導演、攝影溝通，避免出現不必要的拍攝行程。
從根本上而言，虛擬製片意味著電影製作觀念和視覺觀念的改變。團隊的思維方式正從「在後期中解決」轉變為「在製作前和製作中解決」。
四、實時引擎
虛擬製片得以顛覆傳統製片的一個重要技術運用就是實時引擎，Unreal Engine和Unity是兩款主流引擎。由於實時引擎起源於遊戲，實時性是它的重要優勢。實時物理效果可以檢查攝影機的移動軌跡，也可以模擬寫實的物理效果；實時光線追蹤讓預覽畫面更加真實，降低了攝影師對於光照的不確定。遠程及多用戶協作同樣受惠於遊戲開發，團隊成員如同在開放式聯機遊戲中進行工作，實現協作與共享。
資源創建是實時引擎的另一大優勢。創建資源時，在視覺保真和實時效率方面付出的努力越多，從視效預覽到最終呈像階段就越能頻繁地利用資源。這些資源也具備可塑性，能在拍攝場景中快速更新，滿足創作者的需求。由於資源優質，相同的製作資源可以在相應的遊戲開發、玩具等領域重複利用。
實時引擎等數位技術的發展將不斷革新虛擬製片的方式。最新公布的虛幻引擎5揭示了兩大全新核心技術Nanite虛擬幾何體和Lumen全動態全局光照，也許會對虛擬製片的未來帶來顛覆。Nanite虛擬幾何體意味著影視級美術作品可以被直接導入虛幻引擎，那麼視效預覽畫面將可能達到最終呈像水平，後期階段的視效製作將完全前置。Lumen光照能夠對場景和光照變化做出實時反應，且無需專門的光線追蹤硬體。如果不再需要實時光線追蹤，實景中笨拙的燈光也可以完全交付給全虛擬的光照系統，燈光師只需在虛擬環境中操作燈光就能實現逼真光效。我想這一預想可能更適用於採用實時LED牆的虛擬製片類型。
虛擬製片展示了電影製作的無限可能。數位技術在解放創作者想像力的同時，也提醒著他們跟上技術前進的步伐，創作出符合時代甚至超越時代的新影像。
【參考資料與文獻】
1.Noah Kadner編，《Unreal Engine虛擬製片實踐指南》，2019，Epic Games
2.孫承健，《由「拍」至「做」:數位技術開啟電影的虛擬製作時代》，電影藝術，2019年05期
3.劉戈三、王春水、郭蘊輝，《電影虛擬化製作中預演技術的研究與應用探討》，現代電影技術，2016年02期
4.中文電影百科，數字中間片
http://www.cinepedia.cn/w/%E6%95%B0%E5%AD%97%E4%B8%AD%E9%97%B4%E7%89%87/
5.虛擬採景技術應用案例可參考：在VR中為《疾速備戰》設計電影布景
https://www.unrealengine.com/zh-CN/spotlights/designing-a-film-set-in-vr-on-john-wick-chapter-3---parabellum
6.實時LED牆鏡頭內虛擬製作技術應用案例可參考：《曼達洛人》拍攝幕後揭秘新世代StageCraft特效技術https://www.bilibili.com/video/BV1ei4y1x7Em/?spm_id_from=333.788.videocard.0
相關文章還可閱讀：
Art of (LED Wall) Virtual Production Sets https://www.fxguide.com/fxfeatured/art-of-led-wall-virtual-production-sets-part-two-how-you-make-one/
7.初探虛幻引擎5
https://www.unrealengine.com/zh-CN/blog/a-first-look-at-unreal-engine-5
原標題：《虛擬製片：電影製作的新變革》
閱讀原文