作者：DIGITIMES陳明陽
Google AI開發的"The Relightables"系統結合可調整動態人體3D模型照明的重建技術，以及全視點(free-viewpoint)容積測量捕捉(volumetric capture)技術，可生成高解析度、光源可調的動態人體3D模型，能被應用與融入於計算機產生(CG)的任意環境且幾何正確性非常高。
容積測量捕捉技術通過360度設置的多部攝影機拍攝動態人體，可產生如相片般真實的影像，具備包括服裝變形、頭髮移動等細節。但要用於製作動態人體的3D模型卻存在2個嚴重缺陷：首先輸出的結果比較像3D電影而非3D模型，人體的姿勢、特徵、服裝等都無法再變動；其次照明的光源只能維持拍攝時的原樣無法後制調整。
一般容積測量捕捉系統所生成的3D模型，缺乏高解析度的細節且主體的陰影已被prebake到紋理(texture)中，以往多數容積測量捕捉技術的研究進展，主要偏重於具有高解析度紋理的3D幾何重建(geometric reconstruction)，極少涉及實現光源調整(relighting)所需的復原光度測量(photometric)特性。
已有許多研究致力於取得可調整光源的影像，在1組基礎照明(basis lighting)環境中拍攝人體，然後重新結合影像顯示於目標環境中並能正確反映環境中的照明狀況。"The Relightables"率先將此技術應用於高解析度的容積測量捕捉系統，通過解決光源調整的問題，讓所產生的3D模型可被應用於任何虛擬環境並能反映虛擬環境的光源照明。
"The Relightables"系統可拍攝人體的全身動作，產生高解析度、如相片般真實、光源可調的動態人體3D模型，能以虛擬光源讓3D模型產生的影像猶如以真實光源照射般，因此能運用於遊戲、電影等各種照明會改變的環境並自然的融入應用場景。Google AI的研究團隊已於SIGGRAPH Asia 2019大展中介紹"The Relightables"系統。
研究團隊讓拍攝主體置身於1個客制的大地測量(geodesic)球體，球體配置了大量的高解析度攝影機、1組高解析度的主動景深傳感器(active depth sensor)、331個可在攝影機拍攝人體時以特殊的結構化模式移動並產生各種顏色的LED燈，如此即可產生高解析度、照明獨立(lighting-agnostic)、可調光源(relightable)的動態人體3D模型。
"The Relightables"系統創新之處在於Google AI的研究團隊所設計的專屬硬體與軟體，包括可捕捉高達12.4MP景深圖(depth map)的主動景深傳感器；結合幾何與機器學習(machine learning)的3D影像重建系統，以處理輸入的高解析度影像，並輸出光源可調的容積測量視頻(volumetric video)。
此外還能善用在60Hz拍攝的2個不同色彩漸層(color gradient)照明的影像所內含的信息，產生動態人體的時間一致(temporally consistent)反射係數圖(reflectance map)。經過多次試驗、比較、應用的結果顯示，"The Relightables"系統通過容積測量捕捉取得的可調整光源、動態人類3D模型，在應用於計算機產生的任意環境時能顯著強化真實感。