清華「計圖」迎來重大更新:支持可微渲染,多項任務速度超PyTorch|...

2021-01-11 騰訊網

蕭簫 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

想研究可微分渲染，卻擔心找不到合適的框架？

現在，官方支持可微分渲染的深度學習框架來了：

清華自研的「計圖」 （Jittor）深度學習框架，在更新的版本中加入了可微分渲染庫。

點擊播放 GIF 0.0M

可微分渲染是計算機圖形學的熱門領域，CVPR 2020的最佳論文獎，就頒給了可微分渲染的相關工作（Jittor已優化開源相關代碼）。

當然，作為一個主打計算機圖形學的深度學習框架，Jittor的這次更新也「緊隨潮流」，加入了最新的Vision Transformer等模塊，性能優化上較之PyTorch等框架優秀不少。

一起來看看。

可微分渲染，圖像重建利器

渲染究竟是什麼？

簡單來說，「渲染」通常是指將3D場景，轉變為2D圖像的過程。

對於人眼來說，這種事情非常容易，因為現實世界中存在大量自然光線，人眼通過光線反射，能看清物體各個方位的深度、形狀。

但計算機眼裡的3D場景，並沒有現實世界中各種各樣的光線，這種情況下生成的2D圖像不僅沒有參數，形狀也容易出錯。那麼，直接在計算機中模擬四面八方來的所有光線？

計算量太大。

所以，為了讓計算機生成圖像效果更好，即更快、更逼真地生成接近於人眼看到的2D圖像，「渲染」目前是圖形學重要的研究領域，通常被用於如製作動畫電影等方向：

那麼，可微分渲染呢？

這有點像是「渲染」的「反向操作」，從2D圖像中，生成所需的3D場景信息，包括3D幾何、燈光、材質、視角等等。

在用深度學習生成3D場景的過程中，同樣需要進行梯度下降優化算法，這其中，就會用到可微分渲染。

目前在圖像領域中，可微分渲染仍然是非常新穎的一個方向，但相比之下，此前只有少數深度學習框架設立一個相關的庫，便於進行可微分渲染的相關工作。

清華「計圖」，自發布實例分割模型庫和3D點雲模型庫後，目前正式發布可微分渲染庫，支持obj的加載和保存、三角網格模型渲染。

除此之外，這一可微分渲染庫內置2種主流可微渲染器，支持多種材質渲染，相比於PyTorch，速度提升了1.49~13.04倍。

當然，這次「計圖」的更新，帶來的驚喜不止這些。

視覺玩家福音：訓練速度較PyTorch更快

繼在NLP領域取得最優性能後，Transformer又進入了圖像領域，目前Vision Transformer也已經在視覺分類上取得了最佳效果。

有關Vision Transformer，目前「計圖」已經實現了復現，訓練速度相比於PyTorch還要快上20%。

同時，這次更新還帶上了YOLOv3的加速和復現，訓練速度相較於PyTorch提升11%。

原來在Jittor上可以運行的MobileNet，這次的訓練和推理速度也得到了全面提升，在不同的圖像及batchsize大小上，速度提升從10%~50%不等。

簡直是視覺分類玩家的福音。

搞圖形學，選哪個深度學習框架？

就傳統的幾大主流框架而言，相比於Caffe的速度，Tensorflow和PyTorch更側重於「容易上手」。

這裡面相較於Tensorflow，PyTorch搭建在更高層，雖然上手更友好，但訓練速度也會因此更慢。

此外，這些深度學習框架並非像「計圖」一樣，完全針對於圖形學領域，因此無論是渲染、還是圖形處理等方向，並不能做到每個新領域都及時地跟進。

Caffe作者賈揚清也曾在知乎表示，「計圖」更關注計算圖優化及JIT（實時）編譯。

也就是說，在訓練速度、上手友好度方向，「計圖」都是要優於PyTorch的，而接口仿PyTorch，也是為了讓大家能更快適應新的框架。

那麼，這次的可微渲染庫，與胡淵鳴的Taichi渲染工具相比怎麼樣呢？

據開發者之一梁盾介紹，二者整體來說屬於不同的領域。

Taichi做的是類似下圖的可微物理模擬，而Jittor這次加入的則是可微渲染庫。

點擊播放 GIF 0.0M

但就渲染領域來看，Taichi有簡單的可微分渲染部分，目前主要還是通過物理模擬光線的折射，來完成簡單的渲染工作。

也就是說，渲染是完成三維模型和圖像之間的變換，而物理模擬，則是完成三維模型和作用力之間的變化。

點擊播放 GIF 0.0M

點擊播放 GIF 0.0M

如果想要系統地上手CV，「計圖」會是一個不錯的深度學習框架。

作者介紹

「計圖」的開發團隊，均來自清華大學計算機系圖形學實驗室，負責人是清華大學計算機系的胡事民教授。

而主要負責開發的，則是來自實驗室的博士生們：梁盾、楊國燁、楊國煒、周文洋……

梁盾認為，這次「計圖」的升級，兼具創新、前瞻性，而且可微分渲染也是逐漸火熱的研究領域。

而針對Vision transformer的訓練，速度也比許多國際主流平臺要快。

心動的同學，可以更新/安裝起「計圖」來了~

相關焦點

  • 中國航天迎來大豐收，已經取得兩大核心成就，又將迎來重大任務
    2020年中國航天迎來了大豐收，在今年之內，中國北鬥三號系統完成了全球組網，中國的「空天飛機」完成了發射與回收任務。這使得中國航天取得了兩大核心成就，而在接下來的時間裡，中國航天又將迎來一項重大任務，一旦完成了這個任務，那麼今年中國航天就可以宣布完美收官了。
  • 清華自研深度學習框架「計圖」開源!多項任務性能超過PyTorch
    而現在框架呈現出來的能力，的確有超越「前輩」的傾向：基於Jittor開發的深度學習模型，可以實時自動優化並運行在指定的硬體上，如CPU，GPU，在多種機器視覺任務上能夠比同類產品PyTorch性能提高10%~50%。團隊還介紹，如此成果，得益於Jittor的兩大創新點：元算子和統一計算圖。
  • 《王者榮耀》「破曉」版本高清圖公布 使用次世代PBR2.0渲染技術
    IT商業新聞網12月11日訊 昨日晚間，《王者榮耀》官微發布消息稱，王者榮耀2021年度重磅版本【破曉】峽谷新生的部分細節高清圖來啦。破曉將至，萬物新生。　　官方表示，破曉版本以中國園林造景為靈感，結合中國現代審美與王者特色進行設計，打造人與自然和諧，充滿生機的王者峽谷。
  • 不懂如何高效出圖?試試渲染神器Lumion吧!
    作為一款簡單快速的渲染軟體，與VRay等其他主流建模渲染軟體相比，它的優點在於能夠實現實時觀察場景效果，出圖速度快，水景逼真，樹木真實飽滿，後期效果也相當容易。同時，Lumion更容易上手操作。快速放置整齊的模型用Lumion自帶的「關聯菜單」快速整齊擺放模型。先選中需要依照擺放的模型，並點擊「關聯菜單」。
  • 百度發布 Paddle Fluid v1.3 版本,帶來多項重要更新
    正式發布 AnalysisConfig 預測接口，支持計算圖分析、算子融合等優化，並支持利用 Intel MKLDNN、Nvidia TensorRT 子圖引擎等第三方庫的加速.模型庫新增發布 PaddlePaddle 視頻模型庫，提供 5 個視頻分類經典模型以及適合視頻分類任務的通用骨架代碼，用戶可一鍵式高效配置模型完成訓練和評測。
  • TensorFlow Lite發布重大更新!支持移動GPU、推斷速度提升4-6倍
    乾明 發自 凹非寺量子位 出品 | 公眾號 QbitAITensorFlow用於行動裝置的框架TensorFlow Lite發布重大更新，支持開發者使用手機等行動裝置的GPU來提高模型推斷速度。在進行人臉輪廓檢測的推斷速度上，與之前使用CPU相比，使用新的GPU後端有不小的提升。
  • Egret3D 1.1 發布,支持更多高級渲染特性
    9月4日，Egret3D 推出1.1版本，該版本是 1.0 正式版之後的第一次大版本更新。本次更新後，Egret3D1.1支持更多高級渲染特性，為即將發布的3D編輯器打造了更堅實的底層基礎。
  • 計算機圖形也能自動可微:MIT學神的微分太極框架開源
    例如，利用微分太極框架的可微彈性對象模擬器（ChainQueen）的速度比 TensorFlow 實現快了 188 倍；微分太極框架的運行速度與 CUDA 實現相當，但代碼縮短了 4.2 倍。大多數可微模擬器可以在 2 至 3 小時內實現。
  • 「渲雲渲染」
    千等萬等，終於迎來了 V-Ray for SketchUp 的新版本公測版發布~V-Ray 5 for SketchUp 的這次更新，新增三個按鈕：V-Ray Vision（V-Ray 實時預覽）、Displacement（置換）、Light Gen（燈光生成器）-
  • 計算機圖形自動可微:MIT學神微分太極框架開源,論文被ICLR接收
    例如，利用微分太極框架的可微彈性對象模擬器（ChainQueen）的速度比 TensorFlow 實現快了 188 倍；微分太極框架的運行速度與 CUDA 實現相當，但代碼縮短了 4.2 倍。大多數可微模擬器可以在 2 至 3 小時內實現。以下是其中一些模擬器的動態展示圖：可微 2D 彈性對象模擬器左：梯度下降迭代步數 0；右：梯度下降迭代步數 80。
  • Unity更新2019.2版本,HDRP現已支持VR
    HDRP現已支持虛擬實境，這個新變動或許會讓Oculus Quest應用程式表現更加出色。2018年，Unity引入了可編寫腳本的渲染管線。開發者可以對引擎渲染有更大的控制。引擎包含兩個預製渲染管線，即高清晰度渲染管線(HDRP)和輕量級渲染管線(LWRP)。HDRP 主要適配電腦遊戲和高端遊戲機，注重的是高視覺保真度，而不是性能。
  • 速度提升、準確率更勝一籌,周志華等人提出可微XGBoost算法sGBM
    最後，完成對學習器 h_m 和係數 β_m 的參數更新之後，就可以將其用作條件來更新 GBM 的預測結果：圖 1：GBM 和 sGBM 示意圖然後進入下一輪訓練流程。算法 1 總結了這個訓練過程，圖 1 左圖也給出了其示意圖。
  • PyTorch最新:支持分布式模型並行、Java程序、移動端等多項新功能
    機器之心報導參與：一鳴、Jamin繼 TensorFlow 更新後，PyTorch 也迎來了最新的 1.4 版。本次更新是最後一個支持 Python2 的版本，同時增加了對分布式模型並行、移動端、Java 程序等方面的支持。
  • 愛奇藝HD iPadOS版10.12.5內測版更新:新增支持分屏多任務
    IT之家12月28日消息 據IT之家網友反饋，近期愛奇藝HD迎來了iPadOS內測版本10.12.5更新，帶來了對分屏多任務的支持，另外還修復了部分體驗問題。愛奇藝HD新增支持分屏多任務後，你就可以一邊刷IT之家新聞，一邊觀看愛奇藝視頻了。
  • 訓練有素的昆明金誠保安:已執行多項重大安保任務
    但什麼樣的保安才能連續3年參與執行「中國-南亞博覽會」的安保任務？什麼樣的保安才能承擔起「一線明星演出」的安保任務？又是什麼樣的保安才能參與執行「昆明安寧PX項目」治安防控任務，以及參與執行「黨的十九大」期間社會治安防控任務？答案很簡單，那就是訓練有素。所謂訓練有素，就是素質過硬、紀律嚴明、團結向上、令行禁止。如此，方能參與執行重大安保任務。
  • iOS 13迎來史上最強修圖功能 手機秒變修圖神器
    應該說每一次iOS系統的重大更新，都是對老款設備的一次性能升級，而相比于越用越慢的Android系統，這樣的福利也只有iOS用戶可以獨享了。01 調整、濾鏡、裁剪，iPhone秒變修圖神器   相信我，一旦你使用了iOS 13的照片編輯功能就會驚喜於它豐富的可調整選項，除了沒有瘦臉瘦身以及秒變大長腿這些第三方軟體慣用的功能，其他日常你需要用到的圖片編輯功能基本上全都具備了。
  • 渲雲影視客戶端1.3.11版本發布,全面支持FStorm渲染器!
    本次更新新增功能點囊括子帳號管理優化、單幀多圖預覽、keyshot質量設置等，話不多說，下面一起來了解下具體詳情，功能雖小便利多多，為您的任務渲染打開方便之門。新增支持FStorm渲染器渲雲影視客戶端已全面支持FStormRender——一款基於3dmax軟體上的GPU（N卡）渲染器，能夠幫助用戶實現無偏差和快速渲染，擁有十分出色的性能。
  • 「空天飛機」任務取得圓滿成功後，中國航天再次迎來重大任務
    來到2020果不其然，今年到目前為止，我國空間站任務順利進行，北鬥三號全球組網順利收官，火星探測發射成功任務有序進行，可重複試驗太空飛行器任務取得成功，而下階段嫦娥五號任務無疑將會成為2020年航天大戲的收官之戰
  • 2020 Google 開發者大會:多項 ARCore 更新帶來AR開發全新可能!
    隨著 ARCore 的不斷更新，越來越多的中國開發者正在創新應用這項技術，為本地用戶帶來更多新奇體驗。在定位時，ARCore 會提示用戶獲得一張有效定位圖片，利用運動追蹤功能，感知用戶位置、移動速度和角度。同時，ARCore 通過環境理解功能可以理解周圍現實環境，估算平面信息，不論是商場地面，還是垂直於水平地面的牆壁、指示牌，它都能快速理解並相應放置虛擬指示路標，使引導信息渲染得更加逼真，讓用戶一看就明白。
  • Unity 最新版本迎來260項功能改進,高清渲染管線HDRP升級
    隨著HDRP 7.2.0版本的發布，我們確定管線已有穩定的平臺支持和數據遷移路徑，已帶有成熟的調試工具、可拓展選項、各式藝術創作工具，以及適用於全平臺的可拓展設定。大家現在就可以正式使用起高清渲染管線了。高清渲染管線的目標平臺是高端PC、Mac和遊戲主機（Xbox One和PlayStation 4），可製作高清晰度的逼真圖像。