清華「計圖」大更新：支持可微渲染，多任務速度超PyTorch

2020-12-09 量子位

蕭簫 發自 凹非寺
量子位 報導 | 公眾號 QbitAI

想研究可微分渲染，卻擔心找不到合適的框架？

現在，世界上首個官方支持可微分渲染的深度學習框架來了：

清華自研的「計圖」 （Jittor）深度學習框架，在更新的版本中加入了可微分渲染庫。

可微分渲染是計算機圖形學的熱門領域，CVPR 2020的最佳論文獎，就頒給了可微分渲染的相關工作（Jittor已優化開源相關代碼）。

當然，作為一個主打計算機圖形學的深度學習框架，Jittor的這次更新也「緊隨潮流」，加入了最新的Vision Transformer等模塊，性能優化上較之PyTorch等框架優秀不少。

一起來看看。

可微分渲染，圖像重建利器

渲染究竟是什麼？

簡單來說，「渲染」通常是指將3D場景，轉變為2D圖像的過程。

對於人眼來說，這種事情非常容易，因為現實世界中存在大量自然光線，人眼通過光線反射，能看清物體各個方位的深度、形狀。

但計算機眼裡的3D場景，並沒有現實世界中各種各樣的光線，這種情況下生成的2D圖像不僅沒有參數，形狀也容易出錯。那麼，直接在計算機中模擬四面八方來的所有光線？

計算量太大。

所以，為了讓計算機生成圖像效果更好，即更快、更逼真地生成接近於人眼看到的2D圖像，「渲染」目前是圖形學重要的研究領域，通常被用於如製作動畫電影等方向：

那麼，可微分渲染呢？

這有點像是「渲染」的「反向操作」，從2D圖像中，生成所需的3D場景信息，包括3D幾何、燈光、材質、視角等等。

在用深度學習生成3D場景的過程中，同樣需要進行梯度下降優化算法，這其中，就會用到可微分渲染。

目前在圖像領域中，可微分渲染仍然是非常新穎的一個方向，但相比之下，此前還沒有深度學習框架設立一個相關的庫，便於進行可微分渲染的相關工作。

清華「計圖」，自發布實例分割模型庫和3D點雲模型庫後，目前正式發布可微分渲染庫，支持obj的加載和保存、三角網格模型渲染。

除此之外，這一可微分渲染庫內置2種主流可微渲染器，支持多種材質渲染，相比於PyTorch，速度提升了1.49~13.04倍。

當然，這次「計圖」的更新，帶來的驚喜不止這些。

視覺玩家福音：訓練速度較PyTorch更快

繼在NLP領域取得最優性能後，Transformer又進入了圖像領域，目前Vision Transformer也已經在視覺分類上取得了最佳效果。

有關Vision Transformer，目前「計圖」已經實現了復現，訓練速度相比於PyTorch還要快上20%。

同時，這次更新還帶上了YOLOv3的加速和復現，訓練速度相較於PyTorch提升11%。

原來在Jittor上可以運行的MobileNet，這次的訓練和推理速度也得到了全面提升，在不同的圖像及batchsize大小上，速度提升從10%~50%不等。

簡直是視覺分類玩家的福音。

搞圖形學，選哪個深度學習框架？

就傳統的幾大主流框架而言，相比於Caffe的速度，Tensorflow和PyTorch更側重於「容易上手」。

這裡面相較於Tensorflow，PyTorch搭建在更高層，雖然上手更友好，但訓練速度也會因此更慢。

此外，這些深度學習框架並非像「計圖」一樣，完全針對於圖形學領域，因此無論是渲染、還是圖形處理等方向，並不能做到每個新領域都及時地跟進。

Caffe作者賈揚清也曾在知乎表示，「計圖」更關注計算圖優化及JIT（實時）編譯。

也就是說，在訓練速度、上手友好度方向，「計圖」都是要優於PyTorch的，而接口仿PyTorch，也是為了讓大家能更快適應新的框架。

那麼，這次的可微渲染庫，與胡淵鳴的Taichi渲染工具相比怎麼樣呢？

據開發者之一梁盾介紹，二者整體來說屬於不同的領域。

Taichi做的是類似下圖的可微物理模擬，而Jittor這次加入的則是可微渲染庫。

但就渲染領域來看，Taichi並沒有可微分渲染部分，主要也是通過物理模擬光線的折射，來完成簡單的渲染工作。

也就是說，渲染是完成三維模型和圖像之間的變換，而物理模擬，則是完成三維模型和作用力之間的變化。

如果想要系統地上手CV，「計圖」會是一個不錯的深度學習框架。

作者介紹

「計圖」的開發團隊，均來自清華大學計算機系圖形學實驗室，負責人是清華大學計算機系的胡事民教授。

而主要負責開發的，則是來自實驗室的博士生們：梁盾、楊國燁、楊國煒、周文洋……

梁盾認為，這次「計圖」的升級，兼具創新、前瞻性，而且可微分渲染也是逐漸火熱的研究領域。

而針對Vision transformer的訓練，速度也比許多國際主流平臺要快。

心動的同學，可以更新/安裝起「計圖」來了~

Jittor項目地址：
https://github.com/Jittor/jittor

參考連結：
https://mp.weixin.qq.com/s/MpxW82hqW7cgPL6IgncwRA

— 完 —

量子位 QbitAI · 頭條號籤約

關注我們，第一時間獲知前沿科技動態

相關焦點

  • 清華「計圖」迎來重大更新:支持可微渲染,多任務速度超PyTorch
    現在，官方支持可微分渲染的深度學習框架來了：清華自研的「計圖」（Jittor）深度學習框架，在更新的版本中加入了可微分渲染庫。目前在圖像領域中，可微分渲染仍然是非常新穎的一個方向，但相比之下，此前只有少數深度學習框架設立一個相關的庫，便於進行可微分渲染的相關工作。清華「計圖」，自發布實例分割模型庫和3D點雲模型庫後，目前正式發布可微分渲染庫，支持obj的加載和保存、三角網格模型渲染。
  • 清華「計圖」迎來重大更新:支持熱門的可微渲染,多項CV任務速度...
    現在，世界上首個官方支持可微分渲染的深度學習框架來了：清華自研的「計圖」 （Jittor）深度學習框架，在更新的版本中加入了可微分渲染庫。目前在圖像領域中，可微分渲染仍然是非常新穎的一個方向，但相比之下，此前還沒有深度學習框架設立一個相關的庫，便於進行可微分渲染的相關工作。清華「計圖」，自發布實例分割模型庫和3D點雲模型庫後，目前正式發布可微分渲染庫，支持obj的加載和保存、三角網格模型渲染。
  • 清華自研深度學習框架「計圖」開源!多項任務性能超過PyTorch
    而現在框架呈現出來的能力，的確有超越「前輩」的傾向：基於Jittor開發的深度學習模型，可以實時自動優化並運行在指定的硬體上，如CPU，GPU，在多種機器視覺任務上能夠比同類產品PyTorch性能提高10%~50%。團隊還介紹，如此成果，得益於Jittor的兩大創新點：元算子和統一計算圖。
  • 清華開源深度學習框架計圖,開源超級玩家再進階
    基於元算子開發的深度學習模型，可以被計圖實時自動優化並且運行 CPU、GPU 等指定的硬體上。Jittor 特性Jittor 是基於易用、可定製、實現與優化分離、即時的理念設計的。用戶只需要數行代碼，就可定義新的算子和模型，且所有的代碼都是即時編譯運行。
  • 「雲算鏈」雲渲染平臺來啦！
    隨著5G商業時代的到來，VR、算力、分布式技術、人工智慧和大數據將會齊驅高速發展。根據預測，AI的算力每年將以10倍的速度迅猛發展，算力對整個VR行業的智能型轉化是一個至關重要的因素。隨著5G、LOT、邊緣計算自動駕駛技術的發展，就要求算力技術必須不斷發展。全社會信息化、智能化水平不斷提升，人工智慧、物聯網等新一代技術應用快速發展，海量的數據處理對計算能力提出更高要求。
  • Android 11 更新:多任務界面又有大變化,還有這些新功能
    ▍新的多任務界面，同時提供「後悔藥」 多任務界面或許是每天和我們打交道次數最多的交互界面之一，因此在更新到 Android 11 DP3 之後，很多人應該也能第一時間發現 DP3 相較往期版本最大的變化——多任務界面。
  • 華為「鴻蒙」出世:全球首個微內核全場景分布式OS,可取代安卓
    使用微內核還可以提高系統的安全性，也降低了維護難度，提升了可擴展性。因為用戶態服務模塊是獨立的，微內核系統天然支持分布式運算。華為鴻蒙 OS 是非常安全的系統，首次通過形式化方法顯著提升了 TEE 的內核安全。「我們希望所有作業系統在未來都可以使用微內核，」餘承東表示。「通過數學方法來驗證可以保證絕對的安全。」
  • 微信驚現類蘋果手機「虛擬 Home 鍵」,等待 6 年的多任務功能來了
    微信新版本又出現了一個「作業系統」級的更新：「浮窗」。這個懸浮窗像極了蘋果手機的小圓點，虛擬 Home 鍵，從而讓微信可以正式支持多任務的切換。如此具有標誌性的調整，讓人聯想到微信在 2017 年底下拉任務欄的開啟。
  • 清華背景「圖靈人工智慧」成立新公司「南京圖寧」,或在人工智慧...
    頭圖來源 | pexels 36氪一直關注清華大學技術轉移成果轉移項目，最近發現，一家名為南京圖寧人工智慧技術研發有限公司（以下簡稱「南京圖寧」）與清華系團隊有關。該公司成立於2018年7月，法定代表人為常予瑩，註冊資本為50萬人民幣。
  • 清華最強本科畢業生Top10出爐,「從來沒有什麼天才學霸」
    △名單來自清華大學官方公眾號這份清華在校生「最高榮譽」名單出爐，也再度在網絡上掀起圍繞清華學霸們成長曆程的熱烈討論。有人感慨於「種子選手」劉泓、張晨等人學術履歷的硬核。物理系實力與顏值兼具的陳逸賢，則刷屏了清華官微評論區。
  • Chrome 大版本更新來了,這是一次「史詩級」增強
    更快的後臺標籤頁加載速度通過 Chrome 的標籤頁瀏覽可以一次打開多個網頁方便信息的查找，但如果切換到新的標籤頁還處於「加載中」，這種需要等待的體驗就算不上太好了。因為文件拖拽壞事的情況我們並不會每天遇到，但偶爾一次或許就足以帶來毀滅性的傷害（遇到過的朋友請把「終於」打在評論區）。終於，剛剛加入 Chromium「大家庭」的 Edge 瀏覽器注意到了這個問題，Edge 瀏覽器開發者 @Eric Lawrence 早前曾分享過的解決方案這次也隨著 Chromium 底層的更新來到了 Chrome 85 正式版當中。
  • 微信正式更新「深色模式」,還有「群待辦」等6大新功能
    能讓手機續航提升，能讓暗色環境中的手機體驗變更好，「深色模式」一定會很受歡迎。一、微信深色模式，支持哪些界面？微信深色模式支持哪些頁面？問題又來了，很多人不知道怎麼在Appstore中更新應用。打開App Store，點擊右上角帳戶「頭像」，然後向下滑動頁面刷新，即可出現待更新的應用，最新選擇微信更新即可。
  • 清華自研深度學習框架「計圖」開源!多項任務性能超過PyTorch
    而現在框架呈現出來的能力，的確有超越「前輩」的傾向：基於Jittor開發的深度學習模型，可以實時自動優化並運行在指定的硬體上，如CPU，GPU，在多種機器視覺任務上能夠比同類產品PyTorch性能提高10%~50%。團隊還介紹，如此成果，得益於Jittor的兩大創新點：元算子和統一計算圖。這也是Jittor的立身之本。
  • 「緊急科普」Adobe的渲染硬體加速與硬體關係
    Graphics （iGPU）的 Windows 10 系統安裝了受支持 NVIDIA 或 AMD 顯卡的 Windows 10解決方法則是：更新到最新版本的軟體以及最新的系統，更新最新的顯卡驅動可以使渲染的時候顯卡有50%的使用率，極大地加速了渲染。
  • 近期更新:「剪藏」升級、「掃描寶」登陸安卓端…還有更多
    App store最佳掃描應用；　　　　「印象微清單」小程序升級：任務清單可以在微信群內共享/協作啦。相關內容會保存到「我的剪貼板」默認筆記本當中，可根據自身需要分類歸檔到對應筆記本哦～　　不論是微博、還是公眾號文章，其中包含的 文字、圖片、連結 都一鍵同步保存；保存的筆記會 包含原文連結 ，點擊即可1秒打開原始內容，是不是超級方便？收集、存儲效率立刻提升200%！　　本次更新，只為幫你將資料的收集、整理變得更加便捷高效！
  • 《Temtem》:更為硬核的「類寶可夢」大型多人在線網遊
    編者按：《Temtem》是一款大型多人生物收集類冒險遊戲，玩家需要捕捉各類騰獸，與其他馴獸師戰鬥，與自己的騰獸小隊一起，在美麗的愛邦群島尋求冒險。雖然遊戲的畫面風格如「寶可夢」系列那般五彩繽紛、夢幻可愛，但戰鬥機制卻要更為硬核。《Temtem》目前已開啟「搶先體驗」，支持簡中，感興趣的「寶可夢」粉絲可以考慮加入一探究竟。
  • 來自本科生的暴擊:清華開源「天授」強化學習平臺,純PyTorch實現
    機器之心報導項目作者：thu-ml參與：思、肖清訓練模型的極速，與 1500 行原始碼的精簡，清華大學新開源強化學習平臺「天授」。值得注意的是，該項目的兩位主要作者目前都是清華大學的本科生。是否你也有這樣的感覺，成熟 ML 工具的源碼很難懂，各種繼承與處理關係需要花很多時間一點點理清。
  • 華為EMUI 11來了,「多屏協同」升級,支持「AI字幕」
    其最直觀的變化，莫過於 UX 層面的更新。首先在 UI 的設計上，EMUI 11 變得年輕了不少。尤其是近兩年開始流行的 AOD（息屏顯示），EMUI 11 在這一功能上融入了藝術化的風格。比如蒙德裡安的格子，這一經典的藝術元素，就被「搬」進了 AOD 裡。有意思的是，格子的配色可以自由 DIY，還支持拍照取色。
  • 華為EMUI 11來了，「多屏協同」升級，支持「AI字幕」
    其最直觀的變化，莫過於 UX 層面的更新。 首先在 UI 的設計上，EMUI 11 變得年輕了不少。尤其是近兩年開始流行的 AOD（息屏顯示），EMUI 11 在這一功能上融入了藝術化的風格。 比如蒙德裡安的格子，這一經典的藝術元素，就被「搬」進了 AOD 裡。有意思的是，格子的配色可以自由 DIY，還支持拍照取色。