有錢就砸技術!《曼達洛人》虛擬製作解析

「 感知CG · 感觸創意 · 感受藝術 · 感悟心靈 」

Hi大家好，今天咱們來聊聊星戰系列美劇《曼達洛人》第一季幕後製作，畢竟之前沒空閒下來寫這個（不是忙，主要是懶，是懶），讓你們等待好久的話題終於來了。

作為迪士尼流媒體平臺的開篇之作，《曼達洛人》製作成本每集1500萬美元，第一季共八集成本總計1.2億美元，光是創作劇中標誌性角色Baby Yoda就花了500萬美元（數據來源於福布斯網站）。錢是燒了不少，但是剛更新2集的時候，豆瓣評分就衝到了9.4，即使是現在評分也還是9.2，國外IMDb評分8.8（一開始是9.1），相當不低了。本劇獲得了2020年第18屆美國視覺效果協會獎的最佳電影模型，有網友評論，這星戰外傳可比正傳好看多了，真香。

《曼達洛人》採用了一些新技術，其中涉及到了LED牆、虛擬製作和StageCraft等多方面技術。將幾個具有不同技術角度的團隊召集在一起，協同電影製作中的虛擬實境和遊戲引擎，用軟體實時相機渲染的極限進行了測試，最終實現了令人驚嘆的視覺效果。

本片編劇/製片人喬恩費儒（美國導演編劇演員，代表作《獅子王》《蜘蛛俠：英雄遠徵》等）的Golem Creation公司與ILM、Epic Games共同合作，通過一種新的虛擬製作形式展現了曼達洛人的故事。ILM與技術合作夥伴Fuse、Lux Machina、Profile Studios、NVIDIA和 ARRI一起研發了一個新的實時環繞舞臺，在他們StageCraft虛擬製作拍攝平臺和UE4平臺實時交互的配合下完成了攝像機內合成和現場特效的技術形式和工作流程。

 

拍攝團隊通過新型虛擬製作舞臺和工作流程，利用實時遊戲引擎技術和環繞LED屏幕在相機中捕捉大量複雜的視覺效果鏡頭，在拍攝時，真實照片質量級別的動態數字風景和場景就可以實時顯示出來，極大地減少了對於綠幕的需求，生成了我們所看到的最接近於Holodeck風格的技術。就像是照相機單獨拍攝的過程，可以動態更新背景來匹配實拍的視角和視差。為此，LED舞臺需要與一個「動作捕捉體」結合使用，當然了事先需要明確相機的位置或者使用已經預先設計好的相機運動軌跡。

中文字幕

《曼達洛人》第一季中有50%的鏡頭都是採用這種新方式拍攝的，避免了拍攝外景地的需求。演員們在20英尺（約6.1米）高，270°半圓形的LED視頻牆（包括天花板）前表演（包括1326個單獨的LED屏幕），表演空間直徑約為75英尺（約23米）。然後實際場景與屏幕上的數字背景結合到一起拍攝。那麼是如何實現的呢？

 

用ILM創建的3D環境在LED牆上交互播放，注意這裡是交互的。拍攝過程中可對播放內容進行實時編輯，NVIDIA GPU支持的系統可進行精確到像素的跟蹤，並對高分辨渲染的3D圖像進行透視校正。3D環境會根據攝像機角度顯示照明效果並渲染，實時提供視差，同時來自LED屏幕的交互光會照亮演員和舞臺內的實際場景。

180英寸的屏幕和天花板無法實時渲染出高解析度的真實圖像，這需要巨大的圖像渲染處理能力。解決的方法有點像我們在軟體中處理場景的方式。就是對鏡頭拍攝範圍內的進行高精度渲染，將相機上使用的特定鏡頭輸入到系統中，在給定範圍渲染出照片級的高解析度圖像，而屏幕的其餘部分則顯示較低解析度的圖像。

格裡夫·卡爾加（卡爾·威瑟斯飾）和曼達洛人與導演黛博拉·周在現場討論場景

製作團隊在這套系統下改變了以往的工作流程，可預先做出一些決策，通過虛幻引擎提供的「最終像素效果」實現相機內的實時合成，拍攝過程中針對視覺效果再做出具體的創意決定。如果碰到無法在相機內拍攝最終背景的情況，ILM團隊會用傳統的3D製作方式代替LED部分，但仍然避免了許多用綠幕的問題，例如綠色溢出和角色接觸光差等。

 

與傳統的綠幕舞臺相比，LED牆在《曼達洛人》反光服上呈現出的高光、反射和反彈更為精確，如果以傳統方式進行拍攝，在片場實拍達到這種效果是完全不可能實現的。

 

在整個拍攝和製作過程中有許多新的嘗試和我們值得學習的細節技術點，小編再來為大家介紹一下。

 

場景測試

 

在確定每個位置之前都會在現場進行實景預演。在製作場景針對實時表演進行優化之前，ILM會渲染出360°的Lat-Long（經緯度）放置在LED中，到了測試階段，設計團隊會帶來場景實物進行匹配，現場精確調整燈光效果，為之後拍攝和最終圖像做準備。

 

實際場景：匹配真實和虛擬場景

在預拍攝階段需要對數字場景和現場布景做出很多調整。第一組布景不僅需要遮擋，還要允許美術部門在需要時能夠重新噴塗道具，畢竟調整顏色是一件很複雜的事情。由於現場是通過虛擬LED設備照明的，匹配顏色就好比「先有雞還是先有蛋」的問題。

 

攝影導演格雷格·弗雷澤在StageCraft Volume內取景。

（插圖）從現場拍攝的最終鏡頭

拿一艘船來舉例，如果船一半是真實的另一半是數字製作的，僅調整數字部分的顏色就會影響到投射到真實船體的光效。如果顏色不匹配，就需要現場重新噴塗實物，因為這樣做要比調整CG物體的顏色更容易。知道了它在數字版本燈光下顏色是什麼樣子的，就會改變落在實景部分的燈光。而且如果調整數字部分可能會破壞道具和/或演員身上的光照。

 

3D體積顏色校正

 

UE4團隊在早期開發了一種新的顏色校正形式，可以把它想成是3D球體的「電動窗」，在這個球形體積內可以調整任何東西。開發團隊之所以把它設計成球體而非圓形，是因為他們想讓這個系統適用於UE4的整個三維空間。

 

這個球形體積中可以進行羽化和軟化，來減輕顏色校正效果在理想空間的內外差。這個體積顏色校正不需要是一個精確的球體，它可以由任何一個在LED牆的人在iPad上交互控制。比如，有一塊地上的巖石需要更高飽和度，操作員可以選擇物體，或把顏色校正體移回3D部分，可以對體積空間中任何物體的任何部分進行顏色分級。

 

現場置景：道具

 

在《曼達洛人》拍攝現場的舞臺上有很多道具都是真實存在的，有的時候拍的是真實道具，有的時候拍得是LED屏幕上與之類似的道具。除了要對物體進行顏色校正之外，工作人員還要考慮」反射光」的2D物體。

比如片中有一場在莫斯艾斯利（Mos Eisley）小酒館的戲，現場地面都是真實的沙子，連接著虛擬場景中的沙子一直往外延伸，讓觀眾產生一種場景很大的感覺。在拍攝現場，拍攝團隊設置了黃色和紅色的小罐子，當然在實物沙子邊緣30英尺以外的數字牆上也有。從相機角度能看這些罐子是正確的，但在屏幕上會顯得很小。但當不透過相機的鏡頭看時，這些紅色和黃色的罐離屏幕上的沙子有12英寸的距離，因為屏幕正好靠著沙地。LED屏幕為現場提供所有照明光源，我們看到紅色和黃色的光直接照亮了屏幕前的沙子，從屏幕反射出了顏色，但是在拍攝Nevarro熔巖深色調地面時並沒有遇到這種情況。

在片場拍攝時使用帶有片子的實時片場擴展。

注意較暗的色調，避免了不必要的反彈汙染。

燈光反射到3D屏幕牆

 

就像LED牆照亮現實場景物體一樣，還必須要考慮到大屏幕也會被實際場景物體反射回來的光照亮。一般來說實際場景中比較大型的物體一定會把光亮反射到數字場景上，3D燈光團隊就需要解決現場真實黃色罐子把黃色光反射到數字資產的問題。ILM團隊要時刻與美術部門緊密保持同步，畢竟莫斯艾斯利小酒館是星球大戰重點標誌性場景，有著非常複雜的道具。拍攝現場搭建了包括吧檯在內的所有出現在小酒館的東西，裝飾、飲料、分酒器等等，這些物品都具有很強的反光表面，還有桌子、椅子、攤位和環境中的其他東西也都搭出來了。有些元素不需要出現在鏡頭中，但是還需要其投射的間接光影效果，因此ILM團隊會有選擇性地關閉相機拍攝。

 

HDRs

 

利用SLRs捕捉HDRs是任何VFX團隊在片場的基本日常工作。ILM 3D燈光團隊從拍攝現場獲取的HDRs沒有任何意義，因為現場是由3D團隊自己搭建的環境照亮的。ILM必須取代HDR，且不依賴於任何有用的HDRs。

現場拍攝舞臺

 

拍攝現場的許多布景都是在凸起的平面和支柱上建造的，把LED屏幕底部的尖角隱藏起立，避免把屏幕直接放置在地上。搭建平面中間的位置填充了草和巖石塊，可以把接縫線隱藏在整個布景的底部。以便能和實景部分銜接的更加自然。

 

外部燈光和陰影

外景拍攝地點是在Manhattan Beach Studios舞臺附近，藝術部門的工作人員專門在那裡搭建了各種曼達洛風格的場景。

在拍攝時，LED裝置提供了效果良好的穹頂天，可以用iPad進行交互式定位，但LED屏幕像一個大型的柔光箱，而不是點光源。即使演員擁有1800尼特的亮度 ，也不會有強烈的燈光輪廓，也就沒有來自太陽的平行光產生的外部銳利陰影。所以在現場設置的時候，LED面板是可以選擇性地移除的，然後添加傳統的聚光燈。

 

相機和色彩響應

 

《曼達洛人》採用的是Alexa LF專用相機進行拍攝的。ILM團隊測試了ROE Black Pearl BP2 LED性能，並將其與LF的色彩敏感度和reproduction進行了匹配。

 

聲音

由於LED牆是彎曲的，且有著堅硬的表面，再加上LED天花板，所以現場舞臺的聲音效果特別好。站在空間中的某個位置自然而然地就能聽到幾米之外的對話。大家去天壇或者某個圓形的空間都有過這種感受，就在站這樣的空間中聲音傳遞特別清晰。因此這裡要求絕對安靜，絕對不允許產生外部噪音或是相機晃動之類的情況。

 

景深

 

為了減少LED屏幕的莫爾條紋效果，背景通常都是柔和拍攝的，儘量減少數字背景牆的感覺。這個問題雖然可以從鏡頭選擇和燈光層面來解決，卻沒辦法消除由此帶來的失焦，如果鏡頭太近而沒法對焦，數字圖形原則上應該離得遠一些，而在已經對焦的情況下，拉近圖像又不能重新聚焦了。在這種情況下，唯一的解決方法是在後期製作環節用清晰且對焦的素材來替換數字LED素材。

 

莫爾條紋

 

喬恩費儒想要模仿原版《星球大戰》電影，特別是第四部《星球大戰：新希望》，因而並不是要製作過於清晰的圖像，而是要那種在70年代變形鏡頭中看到的光滑細膩感，這樣一來解決了人們在LED屏幕上看到的任何潛在莫爾條紋問題。

捕捉體積傳感器

 

Profile Studios的紅外攝像機動作捕捉系統可以捕捉到《曼達洛人》劇組的整個環境，相機布滿了LED屏幕頂部，用來監控安裝在製作相機上紅外（IR）標記。當系統識別到攝影機的X，Y，Z位置時，它將實時根據攝像機的位置渲染正確的3D視差。這個數據從Profile導入到ILM專有的StageCraft軟體中，軟體管理並記錄了所有信息以及完整的製作流程，同時又將圖像輸入到了虛幻引擎中。然後在Lux Machina團隊的幫助下將圖像輸出到屏幕。 

 

網絡延遲和指令延遲（Latency and lag）

 

從Profile系統接收到攝像機位置信息，到Unreal渲染完成投放到LED牆上的新位置，時間上大概會有8幀的延遲。如果要把信息反饋給Steadicam操作人員的話，延遲的時間還會再稍微長一些。考慮到這一點，團隊渲染高解析度時，演員後面用於補丁的攝像機（從攝像機的角度顯示正確的視差）團隊會渲染出一個40%大的超大補丁。這種額外的誤差幅度為攝像機操作員提供了平移或傾斜的空間，並且在系統趕上正確的視野之前看不到補丁的邊緣。

真實背景和微縮模型

 

無論是現場視覺效果還是後期視覺效果，目的都是為了使創建的世界看起來更真實，製作團隊從一開始就計劃儘可能的使用真實素材做背景。他們瀏覽了ILM檔案，從突尼西亞以及拍攝過《星球大戰》的取景地（例如格陵蘭島）獲取了一些圖像和照片，然後建立了《曼達洛人》資料庫供團隊使用。除此之外，他們還對北加州灣區安吉爾島上一棟廢棄破舊混凝土建築物的內部進行了完整的攝影測量掃描重建。

 

一個微縮例子是漁村裡的房子，它是用CG進行照片建模和重建的

ILM拍攝了數百張照片，構建了高度詳細且紋理密集的3D環境，將其導出到UE4中。畫面在LED屏幕上播放，照相機跟隨演員進行拍攝，當演員走到某個位置，就可以獲得正確的光偏移。拍攝完成之後，再擴展到構建微縮模型和全景球體，對模型進行完整的攝影測量後也導入到UE4中。

 

匹配渲染

 

儘管有50%的鏡頭可以在相機內完成，但還是有很多鏡頭必須通過ILM傳統的環境流程完成製作。相機內的環境是在UE4中渲染的，但是ILM標準流程環境是在V-Ray中渲染，並不是UE4，所以這兩部分還需要進行視覺複雜性、顏色、紋理和角點等方面的匹配。

ILM的管線是在3ds Max或Maya中建模，然後再V-Ray中對圖像進行光線追蹤。

 

VR偵查

 

由於LED屏幕上的場景必須提前完成準確製作，製作團隊需要對資產進行VR攝像機偵查。喬恩費儒在之前的《獅子王》中非常廣泛地用到了VR技術，因而此次非常輕車熟路。通過VR技術，虛擬藝術部門可以非常快速地完成置景並進行燈光測試，完成各種細節問題。

 

技術背景

 

1.組成弧形牆的LED屏幕使用的是 ROE Black Pearl BP2屏幕，最大亮度可以達到1800尼特，可以說是非常亮。在峰值亮度下，假設相機使用的是標準180°快門以24fps的速度進行拍攝，LED牆會產生約168英尺燭光（在平方英尺上通過的光通量）的強度，相當於 f/8 3⁄4 在800 ISO時的強度。這意味著光的亮度級並不是問題，通常在製作過程中，LED的的亮度會大大降低，遠低於其最大亮度。

2.總共有11臺相互連接的計算機把圖像傳送到LED屏幕上。三個處理器專用於實時渲染，四個伺服器負責提供三幅4K圖像並且能在屏幕上無縫拼接,可在天花板上提供一幅4K圖像。LED牆上的輸出圖像尺寸為12288像素寬，2160像素高，天花板上的圖像尺寸為4,096 x 2,160。

 

3. 《曼達洛人》使用了Panavision全畫幅Ultra Vista1.65x變形鏡頭，變形壓縮允許充分利用LF的 1.44:1 縱橫比來創建2.37:1 的自然縱橫比，最終輸出僅略微裁剪為2.39:1。

 

4.現場拍攝舞臺為弧形，高20英尺，180°LED電視牆，包括1326個單獨的LED屏幕。

 

5.主LED屏幕為270°半圓形背景，帶有LED視頻天花板，為演員和道具提供了直徑為75英尺的表演空間。

 

6.舞臺的入口是進出和拍攝的必經之地，這裡有兩個懸掛的18英尺x20英尺的平板，由132個LED屏幕組成，平板可以下降放到合適的位置完成360°的效果。

 

7.LED屏幕所使用的線性色彩空間儘可能保持中性。

 

8.LED屏幕的像素間距為2.84mm，這一點非常重要，因為間距會影響拍攝LED屏幕時可能出現的莫爾條紋。Panavision Ultra Vistas Lens的T 2.3，類似於Super35中的T0.8，產生的景深很小，導致LED屏幕經常失焦。在製作中通常會使用更長的鏡頭，50mm, 65mm, 75mm, 100mm, 135mm, 150mm或是180mm Ultra Vista lens，範圍從T2到 T2.8，DOP更傾向於T2.5-T3.5曝光。

 

9.現場有一個由ILM、Unreal和Profile的工作人員以及藝術家組成的「Brain Bar」，他們會控制場景和運動捕捉體。

 

技術信息來源：

https://www.fxguide.com/fxfeatured/art-of-led-wall-virtual-production-part-one-lessons-from-the-mandalorian/

公眾號CGView：https://mp.weixin.qq.com/s/QU5DibwAuoWfsdb_ftJTTA

  

CG世界粉絲觀光團現已開放

B站請搜索「CG視界」

微博請扣一波@愛CG世界

 如需加入CG世界粉絲交流群 

 請添加官方微信號ilove-cgi 

歡迎熱鬧歡迎騷擾