蕭簫 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
想研究可微分渲染，卻擔心找不到合適的框架？
現在，世界上首個官方支持可微分渲染的深度學習框架來了：
清華自研的「計圖」 （Jittor）深度學習框架，在更新的版本中加入了可微分渲染庫。
可微分渲染是計算機圖形學的熱門領域，CVPR 2020的最佳論文獎，就頒給了可微分渲染的相關工作（Jittor已優化開源相關代碼）。
當然，作為一個主打計算機圖形學的深度學習框架，Jittor的這次更新也「緊隨潮流」，加入了最新的Vision Transformer等模塊，性能優化上較之PyTorch等框架優秀不少。
一起來看看。
可微分渲染，圖像重建利器
渲染究竟是什麼？
簡單來說，「渲染」通常是指將3D場景，轉變為2D圖像的過程。
對於人眼來說，這種事情非常容易，因為現實世界中存在大量自然光線，人眼通過光線反射，能看清物體各個方位的深度、形狀。
但計算機眼裡的3D場景，並沒有現實世界中各種各樣的光線，這種情況下生成的2D圖像不僅沒有參數，形狀也容易出錯。那麼，直接在計算機中模擬四面八方來的所有光線？
計算量太大。
所以，為了讓計算機生成圖像效果更好，即更快、更逼真地生成接近於人眼看到的2D圖像，「渲染」目前是圖形學重要的研究領域，通常被用於如製作動畫電影等方向：
那麼，可微分渲染呢？
這有點像是「渲染」的「反向操作」，從2D圖像中，生成所需的3D場景信息，包括3D幾何、燈光、材質、視角等等。
在用深度學習生成3D場景的過程中，同樣需要進行梯度下降優化算法，這其中，就會用到可微分渲染。
目前在圖像領域中，可微分渲染仍然是非常新穎的一個方向，但相比之下，此前還沒有深度學習框架設立一個相關的庫，便於進行可微分渲染的相關工作。
清華「計圖」，自發布實例分割模型庫和3D點雲模型庫後，目前正式發布可微分渲染庫，支持obj的加載和保存、三角網格模型渲染。
除此之外，這一可微分渲染庫內置2種主流可微渲染器，支持多種材質渲染，相比於PyTorch，速度提升了1.49~13.04倍。
當然，這次「計圖」的更新，帶來的驚喜不止這些。
視覺玩家福音：訓練速度較PyTorch更快
繼在NLP領域取得最優性能後，Transformer又進入了圖像領域，目前Vision Transformer也已經在視覺分類上取得了最佳效果。
有關Vision Transformer，目前「計圖」已經實現了復現，訓練速度相比於PyTorch還要快上20%。
同時，這次更新還帶上了YOLOv3的加速和復現，訓練速度相較於PyTorch提升11%。
原來在Jittor上可以運行的MobileNet，這次的訓練和推理速度也得到了全面提升，在不同的圖像及batchsize大小上，速度提升從10%~50%不等。
簡直是視覺分類玩家的福音。
搞圖形學，選哪個深度學習框架？
就傳統的幾大主流框架而言，相比於Caffe的速度，Tensorflow和PyTorch更側重於「容易上手」。
這裡面相較於Tensorflow，PyTorch搭建在更高層，雖然上手更友好，但訓練速度也會因此更慢。
此外，這些深度學習框架並非像「計圖」一樣，完全針對於圖形學領域，因此無論是渲染、還是圖形處理等方向，並不能做到每個新領域都及時地跟進。
Caffe作者賈揚清也曾在知乎表示，「計圖」更關注計算圖優化及JIT（實時）編譯。
也就是說，在訓練速度、上手友好度方向，「計圖」都是要優於PyTorch的，而接口仿PyTorch，也是為了讓大家能更快適應新的框架。
那麼，這次的可微渲染庫，與胡淵鳴的Taichi渲染工具相比怎麼樣呢？
據開發者之一梁盾介紹，二者整體來說屬於不同的領域。
Taichi做的是類似下圖的可微物理模擬，而Jittor這次加入的則是可微渲染庫。
但就渲染領域來看，Taichi並沒有可微分渲染部分，主要也是通過物理模擬光線的折射，來完成簡單的渲染工作。
也就是說，渲染是完成三維模型和圖像之間的變換，而物理模擬，則是完成三維模型和作用力之間的變化。
如果想要系統地上手CV，「計圖」會是一個不錯的深度學習框架。
作者介紹
「計圖」的開發團隊，均來自清華大學計算機系圖形學實驗室，負責人是清華大學計算機系的胡事民教授。
而主要負責開發的，則是來自實驗室的博士生們：梁盾、楊國燁、楊國煒、周文洋……
梁盾認為，這次「計圖」的升級，兼具創新、前瞻性，而且可微分渲染也是逐漸火熱的研究領域。
而針對Vision transformer的訓練，速度也比許多國際主流平臺要快。
心動的同學，可以更新/安裝起「計圖」來了~
Jittor項目地址：
https://github.com/Jittor/jittor
參考連結：
https://mp.weixin.qq.com/s/MpxW82hqW7cgPL6IgncwRA
— 完 —
本文系網易新聞•網易號特色內容激勵計劃籤約帳號【量子位】原創內容，未經帳號授權，禁止隨意轉載。
原標題：《清華「計圖」迎來重大更新：支持熱門的可微渲染，多項CV任務速度超越PyTorch》
閱讀原文