本文來自Netflix技術博客，講述了相機和電影行業如何通過技術手段還原圖像與視頻的原始色彩的。在現代電影製作過程中，這些技術被數位化了。感謝快手視頻和圖像算法團隊的翻譯與技術審校。
文 / Kylee Peña， Chris Clark， and Mike Whipple
譯 / 章佳傑
技術審校 / 張元尊
原文
https://medium.com/netflix-techblog/protecting-a-storys-future-with-history-and-science-e21a9fb54988
我叫 Kylee， 我手頭有兩張我父母的婚禮照片，只有這兩張。 今年我父母已經結婚 40 周年了， 所以這兩張當時的照片是用膠片拍攝的， 上面記錄了年輕時婚禮上的尷尬和歡樂。 這兩張照片都是如此的生動活潑， 是對另一個時代的最直接的記錄。
其中一張照片是用寶麗來一次性成像相機拍的， 是唯一的記錄。 這張照片只有三四寸大， 而且顏色已經開始褪去。
另一張是用 35mm 相機拍的， 我的父母並排站著， 旁邊是伴郎和伴娘。 但是照片曝光太暗， 細節都丟失了， 而且底片也在很久以前就丟了。
這兩張照片有歷史意義， 對我非常重要。 但是我可能永遠沒辦法把他們弄得更好了。 其中一張是一種過時的格式 (譯註: 指寶麗來一次性成像相片)， 所有的色彩和對比度都嵌入在這個原始相片中。 另一張倒是可以通過現代技術手段讓畫面變更乾淨， 並且顯著提升亮度， 前提是原始底片還在。
每個人都有對他們來說很珍貴的圖像: 你的狗做各種神奇的動作的視頻， 你的祖父母他們最後的周年紀念日合影， 你積蓄很久費盡心思籌劃的自己的婚禮。 想像一下， 如果視頻不能播放了， 或者你祖父母的合影變的模糊， 或者你的皮膚和婚紗上有綠色色調。
對於電影和電視節目來說， 導演和攝影師每時每刻都在面對這樣的事情。 他們竭盡全力到達那個正確的地點， 並且正確的拍下了圖像， 結果播出時圖像看起來不太對， 很糟糕， (更糟糕的是) 每秒播放 24 次。
我們一直致力於為 Netflix 解決這樣的問題。 我們不止於在電影和電視藝術領域探索， 而且研究了歷史和科學。 我們行業的技術創新加速非常快， 對未來我們總是充滿未知。 但是， 我們可以使用過去的經驗和知識， 包括百年電影製作歷史中積累的經驗， 以及對人類感知系統的研究。 我們使用這些經驗和知識， 最大限度的保存內容， 以便在新技術出現時可以用上， 使得我們可以有更好的觀看體驗。 我們的目標是保留這些重要圖像的同時保留創作意圖。
只要我們在構建和測試色彩管理工作流程上仔細一點， 花費一點注意力， 就可以讓一個電視節目從頭到尾的每一點看起來都很完美。 素材做好存檔， 可以讓節目的生命力更持久， 而不需重製。 我們在 Netflix 上需要的素材， 比如 NAM， GAM 和 VDM， 也許是一些數碼文件， 通過我們的內容中心 (Content Hub) 進入雲端存儲， 但這些概念植根於歷史和科學。
NAM， GAM 和 VDM 中有什麼?
交付 (素材) 給 Netflix 的人， 或者有興趣交付的人， 都對這些術語很熟悉: 未分級檔案主文件 (non-graded archival master， NAM)， 分級檔案主文件 (graded archival master， GAM) 和視頻顯示主文件 (video display master， VDM)。 在我們 Netflix 這麼叫， 其他工作室或者機構可能有別的名稱。 一般來說， 每次交付 Netflix 都要包含這些檔案素材。
未分級檔案主文件 (NAM) 是未進行色彩分級的副本， 但是與最終剪輯鎖定版本是完全統一的， 包括後期特效 (VFX)。 未分級檔案主文件在原始工作色彩空間 (如學院影像編碼系統 ACES， 詳見後文， 或原始相機 Log 空間) 中渲染， 沒有疊加輸出變換或顯示變換。
分級檔案主文件 (GAM) 將最終的顏色分級策略添加到與最終剪輯鎖定畫面一致的副本中， 並且也在原始工作色彩空間 (如 ACES 或原始相機 Log 空間) 中渲染。 同樣的， 也沒有疊加輸出變換或顯示變換。
未分級檔案主文件和分級檔案主文件看起來都不好看， 因為這些圖像是在對數 (也就是 Log) 或者線性色彩空間中的。 這樣的圖像不是為了顯示的， 而且這些圖像比顯示屏能記錄更多潛在的信息量。 為了方便對比視覺效果， 我們需要視頻顯示主文件 (VDM)。
視頻顯示主文件 (VDM) 也是與最終剪輯鎖定畫面相一致的一個副本， 包括後期特效， 只不過這次加上輸出或顯示變換一起渲染， 這意味著它在主顯示器的顏色空間中進行編碼。
NAM-GAM-VDM 樣例: Log 空間工作流 (ARRI LogC)
NAM-GAM-VDM 樣例: 線性空間工作流 (ACES)
SMPTE IMF (Interoperable Master Format， 可交互主格式) 是用於製作所有流媒體素材的主控格式， 為了交付可交互主格式， 上面提到的這素材都是必須的， 每一種素材都要以未壓縮或無損壓縮格式交付， 例如 16 位 DPX， EXR 或 TIFF 序列。
這些素材在未來為我們提供了巨大的靈活性， 因為我們使用原始色彩空間保存該影像的副本。 一方面我們保留了最初拍攝的所有原始信息和動態範圍， 另一方面我們可以在保留原始的創作意圖的同時來重製節目 (並且更輕鬆)， 確保它們在未來幾年內繼續保持最佳狀態。
要了解這些術語和流程的來源， 我們必須回到電影課。
電影史入門
更深入地思考 Netflix 以及那些創意技術工作的演變， 這些技術演變在背後推動著電視和電影發展， 我們最終想到的可能是物理膠片。 事實上， 我們的 NAM， GAM 和 VDM 檔案素材源於超過一百年的電影史。
在今天拍攝製作 (節目) 大部分都轉用數位化採集， 使用相機卡和硬碟存儲。 一個世紀以前， 那個時候影像拍攝的唯一介質就是賽璐珞 (譯註: 老式電影膠片)。 而對它的物理處理手段， 在隨後的幾年裡得到了發展和完善。
一段電影膠片 (來源: Wikimedia Commons)
在對膠片的物理處理工作流程中， 批量拍攝完後， 所有曝光的膠片底片被送到暗房進行洗印。 好幾個膠捲串在一起形成暗房卷， 然後使用一組簡單的光線值衝印樣片， 製作出方便人看的正片 (譯註: 原始膠捲上留有的圖像顏色與正常顏色相反， 被稱作負片， 而衝印出的照片顏色是正常的， 稱作正片)。
剪輯師會將膠捲剪切在一起， 並將負片剪輯表單 (類似於 EDL， 但不是文件名和時間碼， 而是剪輯表單和鍵碼) 發送給負片剪切員， 以確保剪輯鎖定畫面與原始負片符合。
負片剪切員把膠片粘起來形成最終版本， 這個版本就相當於我們今天的未分級檔案主文件 (NAM)。
在這之後，攝影導演會和配光員一起對所有負片進行單光衝印， 然後對每個場景進行創意調整。 配光員將通過模擬曝光， 逐個鏡頭對曬印機燈光進行調整， 這個過程類似於現在創建顏色策略清單 (CDL)。 當顏色確定後， 用定好時的曬印燈來曬印負片。 這個第二負片， 也就是負片的負片， 被稱為中間正片 (interpositive， IP)。
這個中間正片， 或者說負片的負片， 包括最終的調色策略， 就相當於現在我們的分級檔案主文件 (GAM)。由於這個膠片版本基於原始的負片， 它可以與原始負片保持相同的信息量和動態範圍。
中間負片 (Internegatives) 是從中間正片 (IP) 創建的， 用於批量洗印， 並且用於製作方便給人看的印片用正片。 這種印片用正片與負片不一樣， 通過膠片投影儀投射出來， 就是方便人看的正常色彩的圖像。 這種印片用膠片就相當於我們今天的視頻顯示主文件 (VDM)。
35mm 印片用膠片。 來源: 維基百科
膠片處理流程不斷向數字工作流程轉變， 而動態影像專家們不斷改進和提高這一過程，逐漸形成了現代的工作流程。 電影行業數十年來的努力， 加上近年來產量激增的更快， 價格更便宜的存儲系統， 以及體積更小， 性能更好的相機傳感器， 使得我們能夠創建一個穩健的存檔系統， 隨時準備好對節目進行重製， 不會有任何場景丟失。
接下來， 科學課堂: 色彩科學
要在當今的數位化工作流程中創建這些檔案素材 (並且維持一個開心而富有創意的團隊， 在查看他們的節目時， 過程中的每一點， 都保持了他們的拍攝意圖)， 關鍵在於從一開始就要做好色彩管理。 對色彩科學有所了解是有益的， 有助於理解色彩 / 感知 / 以及顯示技術是什麼， 以及為什麼這些概念是重要的。
如今大多數圖片都是彩色圖片。 顏色由不同的波長的光組成， 不同波長的顏色， 我們稱之為紅色， 綠色， 藍色， 或者許多其他名稱。
來源: Colour Science for Python
顏色形成有兩個階段:
光線進入眼睛， 視網膜上小小的細胞 (錐細胞) 對此產生反應。
神經信號向後傳導到我們的大腦 (視覺皮層)， 形成了一種顏色感知。
來源: Wikimedia Commons
這其中， 視網膜部分 (1) 是相對研究得比較透徹的， CIE 對此進行了標準化， 形成了可測量的三刺激值， 稱為 XYZ 。 三刺激值的測量基於我們人眼的三種錐細胞， 分別對應可見光波長中的長波 (L)， 中波 (M) 和短波 (S)。
XYZ 通常被稱為色度或顏色的度量， 如果給出 XYZ1 和 XYZ2 一樣的話， 那麼對於一般觀察者來說， 這兩個顏色就是一樣的。 舉個例子， 我們用印表機列印一個蘋果的圖像， 用的是印表機的顏料， 而如果列印結果的 XYZ 和真實蘋果的 XYZ 是一樣的， 即使顏料的光譜特性和蘋果的不一樣， (但是看起來列印結果和蘋果就是一樣的)。 這就是大多數色彩系統的工作原理。
而認知部分 (2) 就複雜多了， 這涉及你的觀察環境， 適應狀態， 期望和記憶。 這被稱為顏色表觀， 並且也經過充分研究和建模。 我們將在以後的博客裡討論。
出於這個原因， XYZ 提供了一種經過驗證的方法， 可以精確校準顯示器進行匹配。 除非有人想出如何直接向大腦傳信號， 否則顯示器 (譯註: 此處指代一切顯示設備) 是我們查看內容的唯一方式， 因此我們需要了解它們的特性並確保它們按預期工作， 這非常重要。
但是在我們討論顯示器之前， 我們需要創建用來顯示的圖像。
一般來說， 我們行業中的相機在對光的響應方面， 儘可能嘗試模擬接近人類視覺系統， 通過使用濾鏡來模擬人眼的三種錐細胞的響應。 一臺完美的相機將能夠記錄所有可見顏色， 並將它們存儲為 XYZ， 從而完美存儲場景中的所有顏色! 不幸的是， 讓相機的電子系統實現這一點很困難， 因此大多數相機都不是完美匹配真實顏色的。 儘管如此，「模擬人眼」 的設計標準仍然是對的， 而且大多數相機都做得相當不錯。
既然相機不完美， 那麼在簡單情況下， 相機做兩件事:
採用一個輸入變換， 將原始傳感器的 RGB 信號變為 XYZ 色度， 對這個變換進行優化， 以使得對真實世界中的大部分重要的顏色表現良好。
採用一個輸出變換， 將 XYZ 色度轉變為用於顯示的 RGB。
有時候這兩個步驟合在一起完成。 比如當你用相機或者智慧型手機拍了一張 JPEG 照片， 這兩個步驟都被執行了， 然後你得到了一張所謂的 「顯示器相關」 的圖像。 換句話說， RGB 值對應於從顯示器發出的 (光線的) 顏色。
值得注意的是， 廣播攝像機通常以相同的方式操作。 它們執行步驟 1 和步驟 2， 輸出 「顯示器相關」 的圖像， 這些圖像可以直接發送到顯示器。
而拍攝 RAW 是不同的。 專業相機可以不用執行步驟 1 和步驟 2。 這意味著你將獲得原始傳感器 RGB 值。 在處理或 「衝印」 該圖像之前， 不會使用任何顏色變換。
現在， 比如說， 你執行了上面的步驟 1， 但是沒有執行步驟 2， 然後你輸出了一個 XYZ 的圖像， 這就是所謂的 「場景相關」 的圖像。 換句話說， 這個圖像的像素值大致（這裡用大致， 是因為相機不是完美色度匹配的。）對應於場景中的顏色， 不管是直接的 XYZ 還是 XYZ 所定義的 RGB 值。
一般來說， 場景相關的圖像包含的信息了比顯示器能顯示的更多， 就像膠片負片一樣。 對動態範圍和色彩來說都是如此。 我們可以用很多種方式來存儲， 業界的相機廠商通常會定義他們自己的 「場景相關」 的色彩空間。
以下是一些例子:
ARRI: Alexa LogC Wide Gamut
Sony: S-Log3 S-Gamut3。cine
Panasonic: V-Log V-Gamut
RED: RED Wide Gamut Log3G10
這些色彩空間是專門優化的， 包含了相機可記錄的光線和色彩， 並且以整型數字編碼存儲 (通常為 10 位或者 12 位編碼)。 這就是輸入變換了 (譯註: 即前述兩個步驟中的步驟 1)。
將 「場景相關」 的色彩空間中的顏色直接顯示到屏幕上， 看起來這樣操作沒什麼問題。 但是考慮到場景和屏幕之間亮度的變化， 以及觀看環境的不同， 我們還是需要做輸出變換 (譯註: 前述兩件事中的步驟 2)。 比如說， 一張晴天的照片， 不會和真實的太陽亮度一樣， 所以在色彩和對比度方面就必須考慮這樣的不同。 這種 「圖片渲染」 有很多辦法可以做到， 不過本篇博客不會詳細討論這些方法。 但是這個概念又對圖片系統整體的 「觀感」 非常重要， 我們還是值得在此進行一些簡單介紹。
出於上述的原因， 相機廠商通常會提供一個默認的輸出變換 (用色彩查找表的形式， 或者說 LUT)， 讓你可以拍一張 Log 空間的圖像， 並且 (直接) 在某個色彩空間 (比如 BT。 1886) 進行觀看。
來源: 柯達公司
練就色彩管理的黃金眼
這些概念匯集在一起， 就形成了色彩管理的工作流程。 由於色彩管理可以確保圖像的保真度， 觀看效果的可預測性， 並且方便處理不同的片源， 所以這是對電影和電視劇的現在 和 未來進行保護的最佳手段。 色彩管理工作流程需要一個定義好的工作色彩空間， 和一個統一的輸出變換或者 LUT。 這些必須明確記錄存檔， 並且提供給工作流中的所有參與者。
一旦工作色彩空間確定了， 所有的色彩校正步驟都在那個色彩空間中進行。 但是， 我們知道這個色彩空間是 「場景相關」 的， 不方便直接觀看， 所以我們必須加上輸出變換， 來預覽我們的圖片在顯示器上顯示的效果。
在這個例子中， 工作色彩空間是 Log， 顯示色彩空間是 BT。 1886。 輸出變換將兩者劃分開。 只有對 BT。 1886 的流媒體主文件才加入輸出變換， 歸檔主文件 (未分級主文件和分級主文件) 還是在 Log 色彩空間中。
如果把所有圖像都轉變到 BT。 1886 這樣的顯示色彩空間中， 看起來 好像 會讓流程簡單一點， 但是這會導致後期特效處理過程和最終結果檔丟失了所有的動態範圍和額外信息。 當過幾年新的顯示技術出現的時候， 你的圖像就會像 Kylee 父母的婚禮照片一樣留下遺憾。
使用輸出變換或者說顯示 LUT， 不管這個 LUT 是由色彩學家還是數字傳媒公司設計的創意 LUT， 甚至相機的默認 LUT， 比如 ARRI 的 709 LUT， 這不止是提供了一個基本的 「觀感」， 而且也保護和保留了工作色彩空間。 工作色彩空間可以提供完整的動態範圍， 為後續的色彩調整和後期特效， 以及最終的 NAM 和 GAM 歸檔素材提供便利。
此外， 在有第二相機的拍攝製作過程中， 可以用輸入變換來把圖像轉換到這個更大的工作色彩空間中。 大多數專業相機都公布他們的色彩空間定義， 而大多數專業的色彩分級軟體 (譯註: 調色軟體) 在工具集中都實現了這些色彩空間。 這可以將圖像轉換到一個統一的色彩空間中， 減少了對不同相機進行顏色配準所花費的時間。
學院色彩編碼系統 (Academy Color Encoding Standard， ACES) 是一個色彩管理體系， 嘗試將這些 「場景相關」 的色彩空間統一成一個更大的、標準的色彩空間。 它涵蓋了所有的可見顏色， 使用 16 位的半精度浮點來編碼 (32 檔的線性動態範圍， 譯註: 這是錯誤的， 16 位半精度浮點無法記錄完整的 32 檔線性動態範圍)， 使用 OpenEXR 容器格式進行存儲。 ACES 遠超過目前所有相機的能力。 相機廠商也發布了輸入變換， 以便將相機原生的傳感器 RGB 圖像轉變到 ACES RGB 圖像。
來源: 學院派電影藝術與科學
學院色彩編碼系統 (ACES) 同樣也定義了一個標準的輸出變換， 以便在一個校準過的顯示器上觀看圖像， 而不用管是用什麼相機拍攝的。 由於主流的色彩分級和後期特效軟體都內置了這些 ACES 輸出變換， 因而這成為關鍵的一步， 為工作圖像提供一個一致的觀感。
需要指出， 以前由於設備性能不足， 這些輸出變換不得不以不可變 LUT 的形式輸出。 不過， 隨著現代 GPU 的迅速發展， 系統不再需要 LUT， 而可以直接用純數學的方式來計算這些顏色變換。
把這些放一起怎麼樣?
與相機色彩空間類似， 屏幕色彩空間也是在 XYZ 空間中定義的。 但是， 由於受到絕對亮度和色域的限制， 目前沒有一款顯示器可以顯示 「場景相關」 的圖像中的所有信息。 同時， 顯示器技術的發展， 使得你在屏幕上看到的效果每年都會提升。
顯示器接受一個信號， 發出對應的光。 顯示器標準， 以及標定過程， 允許我們發送一個信號， 得到一個確定的輸出光線和顏色。
當今大多數顯示器都採用紅綠藍 (RGB) 三原色的光線， 使用加色三原色系統， 當三原色混合起來， 或者說加在一起， 就顯示出白色。 「白點」 就是等量的三原色信號發送給顯示器所顯示的顏色。
來源: Wikimedia Commons
顯示器標準存在的意義， 就是可以讓你從 1 號顯示器上拿一個圖像放到 2 號顯示器上顯示， 並且得到同樣的色彩。 換句話說， (顯示器標準) 決定了 (顯示器) 使用怎樣的紅綠藍三原色和白點。
這對於廣播電視以及網際網路來說是非常重要的。 在這些場合下， 圖像被同時發送給成千上萬的顯示器去顯示。 常見的顯示器標準包括 sRGB (網際網路， 行動裝置)， BT。 1886 (高清廣播電視)， Rec。 2020 (超高清以及高動態範圍廣播電視) 以及 P3 (數位相機和高動態範圍圖像)。
這些標準定義了三個主要的部分:
三原色， 通常用 XYZ 坐標表示;
白點， 通常用 XYZ 坐標表示;
電-光傳遞函數 / 信號-亮度 (Y)
ITU-R BT。709 標準 (也就是 Rec。 709) 定義的三原色和白點
ITU-R BT。1886 標準定義的電光傳遞函數
為了調試顯示器以便儘可能地符合標準， 需要測量一些測試圖樣。 通常測試圖樣包括紅綠藍白的色塊， 以及用於測量電光傳遞函數的灰階。
只有標定了顯示器， (對圖像的) 創意加工才是有意義的， 色彩變換也才是有用的。 一個有色彩管理的工作流必須包括這一步， 才能真正影響圖像保真度和一致性。
自從我們第一次開始在公共場所和家庭中能顯示動態影像以來， 顯示技術已經走過了漫長的道路。 從影院中的投影系統到無線廣播， 再到自發光屏幕， 比如 OLED 甚至是 iPhone 的屏幕， 我們對圖像的顯示技術也在不斷發展。 色彩管理和正確的歸檔素材可保證電影滿足未來的高質量顯示需求。
總結
回到一開始的我父母的故事， 以及他們留下的婚禮照片， 很明顯， 與你周圍發生的事情相比， 及時處理那一刻的所有挑戰是多麼微不足道: 預算、時間、人員、技術。 但隨著時間的推移， 那段經歷的遺留記錄只會變得更加珍貴， 你會完全錯失令它保持良好狀態的機會。
與電影和電視一樣， 妥善保護這些精彩時刻的照片， 並保持當時的創作意圖， 是非常重要的。 它們可以在之後多年的回味和享受中保持良好的狀態。 有一些電視節目成為文化經典， 有一些是個人收藏， 多年來提供休閒娛樂。 無論什麼情況， 對許多電影製作人來說， 這些節目是他們個人生涯的高潮， 值得我們心懷敬意， 提供高質量的觀看體驗， 並使用高保真存檔。
在 Netflix， 我們不斷完善我們的流程和方法， 同時繼續依賴這麼多年的電影歷史和科學研究的廣泛集體智慧。 在創新技術與基礎設施團隊中， 我們始終在尋找新的創新方法， 以增加素材的實用性， 同時為創意人員和技術人員提供更多靈活性。 歷史和科學可以為我們提供許多資源， 而我們與生產社區建立的關係可能會給予最好的指導。
有一些電影隨著時間消失了， 有些重製的電影也遇到整段場景缺失的情況。 而且我也不是唯一一個倒黴蛋， 家庭相冊的照片正在褪色， 這些照片的質量也被當時的技術所限制了。 而詳細周到的規劃和技術， 可以讓人們的經歷和故事， 在未來幾十年內得以妥善保存。
點擊【閱讀原文】或掃描圖中二維碼了解更多LiveVideoStackCon 2019 上海 音視頻技術大會 講師信息。