幕後 | 異世界冒險的實時可視化——時光坐標《刺殺小說家》虛擬拍攝特輯

文 | 陳奕 朱驥明

在開始今天的這篇科普文章前，先了解下電影《刺殺小說家》的一些幕後數據：設計團隊繪製超過2000張概念設計圖；「分鏡」做了4個月多，分鏡故事板有2095張；整個場景搭建耗時5個月；建了20多個攝影棚，搭建面積17萬平方米；全片2003個特效鏡頭，總參與特效製作人員800人左右。值得提出的是，杭州時光坐標影視傳媒團隊為《刺殺小說家》提供專業的虛擬拍攝技術服務

以下文章由國內知名視效指導、影視數位技術專家、時光坐標傳媒創始人陳奕老師與視效導演朱驥明共同撰寫，ENJOY~

2020年，「虛擬拍攝」這個詞一下子火了起來，在動作捕捉（Motion Capture）、實時引擎（Realtime Engine）、攝影機追蹤（Camera Tracking）等一系列技術的加持下，似乎「一切皆可虛擬」。其實，虛擬的終極目標恰恰是真實，早期的電影拍攝，都是在「實景」中完成的，只不過在藍綠幕技術盛行了20餘年後，新的技術升級在現代電影拍攝流程上劃了一條美妙的弧線，用數字模擬的方式再一次將導演和主創們帶入到了全新的「異世界」，在這個世界裡，既有光怪陸離、天馬行空的無盡想像力，又有「真實」的角色、場景、道具和光影，將文學劇本虛擬的無盡想像和現實影像的纖毫畢現巧妙地融為一體，正如《刺殺小說家》（下文簡稱《刺殺》）中關寧所經歷的冒險一樣，為電影人開啟了新的創作之旅。藍綠幕拍攝和實景拍攝的最大問題在於——拍攝現場面對藍綠幕「背後」（摳像後）的影像統一性，雖然有了概念設計（Concept Art Design）前期預示（Previz）等手段，但與實景拍攝相比，藍綠幕拍攝仍然無法讓所有主創們「身臨其境」，實現多部門高效、精準的協同。「現場虛擬拍攝」（On-set Virtual Camera）就是在這樣的要求下誕生並發展的。通過實時追蹤、實時摳像、實時渲染技術，將攝像機拍攝與CG元素實時合成，將數位化的空間、透視、運動、光影帶到拍攝現場，為導演提供實時的畫面預覽，這種實時預覽作為前期動畫預覽（Previz）的延展，結合現場實拍畫面繼續傳遞敘事與視效相結合的創作意圖，從而使整個團隊的創作更加順暢。它可以看做是藍綠幕拍攝技術的「現場升級版」。為影視工業化全流程的貫通提供了保障。

虛擬攝影系統的「三重異能之一」——實時攝影機運動追蹤（Realtime Camera Tracking）

電影誕生百年來，運動（Motion）方式始終只有兩種——攝影機的運動和被攝體的運動，通過這兩種運動的結合，創作出了千變萬化的敘事方式。因此，虛擬拍攝系統首先必須具備實時攝影機運動軌跡追蹤能力（Realtime Camera Tracking）。在《刺殺》的拍攝現場，每臺攝影機都會有一套Ncam跟蹤系統進行實時的攝影機跟蹤，通過安裝在攝影機上的兩個魚眼鏡頭，可以實時計算攝影機的位置和旋轉，不管是手持還是電子伸縮炮，各種複雜的運動都會被實時的記錄和解算，並傳遞到數字三維場景中，將CG製作的虛擬場景的空間透視無縫地與現場攝影機軌跡匹配。每一臺攝影機和鏡頭都有自己的物理光學屬性，在使用虛擬攝影前，虛擬攝影系統也需要將所有的攝影機和鏡頭都進行詳細的標定，獲取每一個鏡頭精確的數據。在《刺殺》中，時光坐標虛擬攝影團隊標定了3套攝影機，建立了近50支鏡頭的光學參數資料庫。

▲現場實時雙眼相機和實時顯示引擎

虛擬攝影系統的「三重異能之二」——實時摳像（Realtime keying）

虛擬攝影系統具備實時摳像能力，就像傳統的CG製作一樣，虛擬系統需要通過摳像、模型、動畫、渲染、合成這些複雜的步驟才能最終將複雜的現場畫面和CG渲染結果合成到一起，不同的是這些步驟在現場實時的產生。在現場不管是複雜的CG場景還是角色動畫都可以被摳像和合成，實時看到最終的合成效果，從而協助導演和主創人員更好的把握「實」與「虛」的關係，將現實與虛擬的場景和角色真正融入到創作的「異世界」中。

▲實時摳像和實時合成系統畫面

虛擬攝影系統的「三重異能之三」——實時渲染輸出（Realtime rendering）

虛擬攝影系統具備實時合成渲染輸出的能力，最終在監視器上實現可視化，同時還可以保留元數據進行畫面錄製，這樣剪輯可以使用現場合成畫面進行剪輯，同時也可以很輕鬆的在後期進行素材回套。現場虛擬攝影系統會記錄每個鏡頭攝影機數據和現場點雲數據，實時生成精確的虛擬攝像機路徑文件、包含攝像機焦距等重要參數，以及追蹤穩定的點雲，提高後期製作中攝影機跟蹤精度和質量，實現前期數據到後期的無縫對接，用科學化的生產方式為後期製作節省大量成本。

▲虛擬拍攝技術現場（圖片來源：《刺殺小說家》預告片）

作為科學的數位化現場流程，虛擬拍攝系統用可視化方式幫助劇組更好地理解拍攝目標，確定機位、虛擬物體的位置，以及幫助各部門嚴格執行導演及視效總監的創作意圖。正如導演路陽說的：「拿出中國的辦法和流程來，拍一部非常新鮮感，視效非常好的講中國故事的電影。」時光坐標虛擬拍攝團隊憑藉多年積累的數字虛擬拍攝經驗，有幸在2017年協助主創將全流程工業化拍攝流程運用到拍攝現場，從空間、虛擬角色、互動等多個維度為《刺殺》提供專業的虛擬拍攝技術服務。

▲（圖片來源：上圖為《刺殺小說家》預告片/下圖為拍攝現場）

《刺殺》的場景在拍攝過程中，虛擬攝製團隊在現場置景的基礎上，實時合成並反饋藍綠布上的畫面，根據拍攝場景進行延伸。

▲（場景延伸左右對比（左：實拍畫面/右：虛擬合成畫面）

除了實時跟蹤本身，真實場景和虛擬場景的一致性也至關重要。每個場景拍攝前都需要預製現場掃描文件、最終虛擬場景和虛擬角色，開拍前每個虛擬物體都需要和現場進行快速對位，現場會產生點雲，這些點雲和已經完成的模型進行準確的對位，這樣可以確保虛擬物體在畫面中的位置和構圖的準確性。

▲虛擬拍攝赤發鬼數位化宮殿

《刺殺》中場景宏大，攝影棚的現場的制景對應巨大的場景來說也只是冰山一角，在大量藍綠布的環境下現場燈光和畫面風格是一個巨大的挑戰，很多虛擬場景現場烘焙了燈光，實時顯示了整體畫面的環境和氣氛。

▲赤發鬼宮殿現場虛擬光影

而當虛擬場景被完整的顯示在畫面中時，相機的透視情況、場景完整度、畫面構圖，以及特效最後會呈現的大致效果都會清晰化，導演、攝影、視效很容易判斷該畫面是不是想要的，從而加快整體效率。

▲赤發鬼拍攝現場（圖片來源：《刺殺小說家》預告片）

《刺殺》中的赤發鬼體型巨大，高達15米。處理這種巨大的虛擬角色，對於前期拍攝而言是很大的挑戰。在傳統拍攝現場，一般會採用等高的杆子等作為參照物，或者標定一個點作為虛擬角色的位置，當面對動態的虛擬角色時，這種方法完全無法滿足赤發鬼的拍攝呈現，也無法滿足精準鏡頭運動和演員調度的需求。

▲赤發鬼虛擬拍攝對比

而在《刺殺》的拍攝中，虛擬拍攝團隊將事先動作捕捉完成的虛擬角色預合成到現場畫面中，主創人員可以實時看到虛擬角色的大小、位置和運動。畫面越接近電影完成效果，越有助於導演對演員、攝影機以及虛擬角色進行調度，尤其當遇到複雜的拍攝角度和空間位置關係。另一位值得一提的就是《刺殺》中的另一重要角色——紅甲，當「紅甲」高速運動、跳躍時，通過虛擬拍攝，我們可以輕鬆實現攝影機對虛擬角色的跟隨。這種對虛擬角色的精準拍攝，使現場工作目標一致，不用去猜需要給後期預留多少時長。

▲紅甲虛擬拍攝對比

▲幕後視頻（圖片來源：《刺殺小說家》預告片）

正如導演在幕後視頻中說的，對演員來說憑藉想像力表演絕對是一大挑戰，通過虛擬拍攝技術實現演員和虛擬角色互動，實時把控演員和虛擬角色互動的速度、節奏及位置，根據現場預演實時調整位置構圖，使演員與虛擬角色置身其中，實時可視化幫助演員找到更好的表演狀態。基於穩定的攝影機追蹤技術，主創團隊在設計鏡頭時，也可以更精準把控虛擬角色資產的比例、運動，從而實現良好的表現效果。

▲數字虛擬拍攝與動捕技術結合

《刺殺小說家》向中國視效新高度發起挑戰，國內電影製作的發展軌跡也映射了當下技術革新的過程。劇情裡平行的現實與虛擬時空，在虛擬拍攝技術的幫助下在攝影棚內合二為一，誰能說這不是一個電影創作的異世界呢？我想，每一個中國的視效人進入這個充滿挑戰的行業的初心，無不因為我們可以在虛擬與現實之間穿梭，在想像力的異世界中成為那一個無所不能的英雄。時光坐標虛擬攝製團隊作為《刺殺》影視科技全流程創作的重要一環，很高興能在一個充滿信念和力量的異世界冒險歷程中，與同行們一起暢快淋漓地向頂峰衝了一回，雖艱險，而滿足！感謝所有的幫助、信任與期待！虛擬的終極目的就是真實，只要相信，就能實現，一起去電影無盡的空間冒險吧！