更新：網友Alegriabaile指正「最新的3d照片與原來的主要區別是，原來的是根據蘋果人像模式RGB-D進行三維全景圖生成，重點在深度圖的全局一致性變形，當時Facebook發布的只是用到了裡面較簡陋的內容生成方法；最新的這個和19年的practical 3d photography更像，拍攝單幅RGB顏色圖片，利用深度學習得到深度圖（這個時候才有RGBD)，後面重點進行內容生成。」
有關於2D圖像轉3D圖片，或轉移3D模型相關技術，我們報導過多項研究，其中關於3D圖片和3D拍照涉及最多的就是Facebook，與此同時包括谷歌、微軟、NVIDIA也已公布都在研究2D圖像到三維模型（3D模型）之間的訓練模型。
可以肯定的是，在很長一段時間內，這種將2D圖像轉變3D效果或生成三維模型的AI技術將發揮巨大作用，例如應用到電子商務平臺，遊戲，影視劇，大眾娛樂應用等領域有著極大價值。
目前，在2D圖像轉3D照片，以及3D照片拍攝相關方面，Facebook已經提出初步構建了一套已有的拍攝方案，並在不斷完善中。
而近期，維吉尼亞理工學院暨州立大學、臺灣清華大學、Facebook再次公布一項有關3D拍照的AI技術論文，本研究著重改善了現有3D拍照中模糊和不連續性等問題。
Facebook 3D拍照/3D圖片技術
在講述新的研究之前，我們先來回顧一下Facebook現有的3D拍照和3D圖像的研究成果。
2018年5月份的F8開發者大會上，Facebook公布3D照片研究，其將嵌入Facebook信息流中，行動裝置可通過左右晃動呈現3D景深效果，而PC端則可通過滑鼠拖拽觀看立體效果，且僅支持擁有「人像模式」的iPhone設備。
實際上，這項技術初衷是為了讓用戶更輕鬆的創建出3D圖片或其他3D內容，並且讓大家可以通過自己的手機完成。
當時Facebook給出的方案是，通過雙攝手機拍攝同一圖像並計算深度信息，然後進行深度信息解碼，再結合單一攝像頭拍攝多張圖像，通過雙組數據對比推算出圖片中不同深度數據，將圖像進行分層從而實現三維拍攝的目的。
2020年2月，又公布了一項可以讓2D照片轉3D效果技術，而方法適用於單攝像頭手機，完全基於AI技術實現，從而實現功能的互補，意味著幾乎主流的智慧型手機全部支持Facebook 3D照片。
相比來看，這就是一套完全基於2D照片來實現模擬3D效果的升級版，其通過單目數據結合CNN模型，對算法要求更高，並且也需要前期進行大量數據實驗積累，實現了在行動裝置上快速處理，這對今後普及3D照片，甚至3D內容理解、環境感知等領域方面有極大的幫助。
新方法：單張RGB-D轉換3D照片
雖然說上述兩個研究已經很出色的完成了消費級場景的應用需求，但是為了滿足未來潛在且廣泛的3D照片需求，維吉尼亞理工學院暨州立大學、臺灣清華大學、Facebook近期公布了一項基於單目RGB-D圖像完成3D照片轉換。
簡單來說，這是一項將多個圖層圖像合作的新穎方法，甚至可以還原出原圖中被遮擋的部分物體和顏色。其中比較關鍵的一個就是引入「圖像修復模型」，該模型採用上下分層內容感知形式，來填充缺失部分的顏色和內容等細節。
與此同時，通過此方法生成的3D照片可以通過標準圖形引擎的運動視差來展示。最終結果就是，3D照片的效果極為出色。
不同方法對比：a，圖像缺失、扭曲；b，圖像邊緣拉伸；Facebook 3D照片效果；4，本方法最終效果
圖像預處理過程：a-b，顏色和深度輸入；c-d，使用雙邊濾波銳化；e，基於視差值檢測不連續性；f，消除虛假差值，優化圖像邊緣深度
圖像前後感知處理過程：LDI繪圖算法、合成區域（紅色）、合成區域寬度5個像素寬
通過上述對比圖來看，我們原有的3D圖像或者存在圖像缺失、或者邊緣拉伸情況，而Facebook 3D照片也存在邊緣模糊。
我們再來通過視頻了解一下，該方法應用在最常見的家庭照片的效果。
上面的視頻是多種不同方法之間的對比。
另外，我們再來看2.5D視差、舊照片和Dolly Zoom場景的效果圖：
Dolly Zoom效果圖
2.5D視差效果圖
舊照片的效果圖
根據論文自身的說法，在日常場景的照片中，本方法和高性能3D拍攝技術效果基本接近。
3D照片就是未來？
當然，本方法也有它的局限性，那就是它要求的是RGB-D圖像，必須要求帶有深度信息。回過頭來看，也就是和Facebook最初發布的3D照片類似，需要雙攝版iPhone機型，而安卓設備目前還不確定。不過，多攝像頭機型越來越普遍，而且實現3D拍照的方法也越來越多，這點基本不用擔心。
前面我們解釋過，Facebook在3D照片方便已經耕耘許久，這背後的原因又是什麼？
3D攝像技術絕對是一種新穎且能帶來更有趣的展現效果，相比常規的2D照片要更有趣。但是，以往想要進行3D拍攝只能通過專業的攝像機，或全景相機，雖然消費級全景相機已經價格較低，但目前仍未達到普及的程度。
而我們又知道，Facebook絕對是AR/VR領域資深玩家，甚至此前還推出過 Surround360全景相機平臺，其宣稱世界上首個3D和全景視頻拍攝端到端解決方案。但是， Surround360計劃在2018年之後就很少被提及，甚至與RED合作的全景相機RED Manifold此後聲音也越來越小。
其中一方面是目前全景拍攝需求相對小眾，即便是消費級全景相機普及率也非常低；另一方面大眾媒介直接從2D跳轉到三維還需要一個過渡。
很顯然，直接利用好大家手中的手機就是一個非常聰明的選擇。這時，相信你已看出Facebook早已開始在AR/VR已經未來各種不同場景進行布局和探索嘗試。
通過上面的預覽效果圖來看，可實現多種形態的3D照片模式，可以預想到的是，該技術可直接應用到手機圖片處理App中，甚至應用到短視頻製作App等等場景，而Facebook自身（包括旗下平臺）就是一個圖像、視頻分享的平臺，顯然這對於之後的業務拓展也十分有利。
至於未來3D照片是否能夠大範圍普及，顯然還是未知數，但可以肯定的是這些技術和過程的探索無疑對未來AR/VR/全息時代三維信息產生、交互擁有重大意義。