中國AI開源的新生力量!曠視「天元」深度學習框架全解讀

2020-12-23 智東西

中國AI開源陣營再添一軍!

3月25日,曠視宣布正式開源工業級深度學習框架「天元(MegEngine)」,成為國內第一家開源AI框架的AI企業。

作為曠視AI生產力平臺Brain++的核心組件之一,天元擁有訓練推理一體化、動靜合一、兼容並包和靈活高效四個特點,能幫助開發者用戶進行靈活、高效的大規模深度學習模型訓練和部署。

從「AI」這一概念誕生至今,在這片浩瀚的AI海洋中,算力、算法和數據已經為這片海域貢獻了許多珍貴的技術資源,而「開源」作為其中一個經久不衰的話題,為AI乃至計算機行業構建了一個開放共進的生態環境,進一步加速AI產業的落地和行業轉型。

而天元深度學習框架的誕生,不僅為曠視AI業務的開拓和成熟提供強有力的底層技術支持,其本身的開源,在豐富國內AI開源生態的同時,也為近年來全國火熱的新基建中AI領域的發展,提供了重要的創新力和生產動力。

那麼,「天元」深度學習框架究竟是什麼?它的背後隱藏了哪些曠視的AI布局野心?在谷歌TensorFlow和Facebook PyTorch大肆收割開發者的AI時代下,「天元」深度學習框架的開源,之於曠視,或是之於中國的AI行業生態,到底意味著什麼?

一、授人以漁,智能化時代曠視的開源初心

從授人以魚到授人以漁,天元深度學習框架的開源,不僅僅是曠視一次面向AI行業和開源生態的技術釋放。從本質上看,它的開源還是曠視在產業智能時代頭部玩家搶位戰的一次入局。

對曠視這麼一家以AI為本業的公司來說,在當下迅猛發展的AI行業中,選擇將自己的核心競爭力開源,無疑需要巨大的勇氣和對市場時機的把握。

天元的開源,在直面全行業開發者實踐和檢驗的同時,也將激發更多開發者的創造力,為天元自身的迭代和創新帶來了無限可能性。而在這背後,其實也隱藏了曠視對自身技術實力的強大自信。

但邁出開源的這一步,給曠視帶來的意義不止於此。

若我們將眼光放在整個行業來看,曠視天元深度學習框架的開源,亦為各個行業的AI化轉型,以及AI行業的加速落地引擎,增添了潤滑劑。

一方面,天元通過簡單高效的AI性能,為追求AI轉型的產業提供了一種新的嘗試和選擇,進一步解放傳統產業的生產力;另一方面,天元也將成為一個新契機,將上遊應用、算法、場景,以及下遊的作業系統和晶片等更好地結合起來,開拓一個AI生態和產業鏈緊密結合的新局面。

與此同時,天元對中國高新技術產業而言,亦是中國在全球科技競賽舞臺上的一次實力亮相。

當下,我國新基建如火如荼地開展,5G、AI、工業網際網路和大數據中心等技術的構建和發展,已經成為國家大力發展智能產業的重要科技因素。

而曠視天元的開源,為國家新基建的在線化、數位化和智能化發展和升級,提供了不可或缺的創新力和生產力。

更重要的是,它作為中國計算機發展階段的新興代表,同時也是中國AI企業中唯一一個開源的深度學習框架,它的面世不僅代表著中國AI企業的科研實力和包容開發的態度,亦彰顯著中國AI產業在當下全球科技競賽的複雜時代下,與巨頭抗衡的底氣與決心。

「我們開源的初心,是希望開源後有更多開發者貢獻更閃光的想法和創意,一起參與天元的建設和發展。」曠視首席科學家、曠視研究院院長孫劍談到,曠視希望通過開源,進一步解決目前行業發展和國家建設中尚未解決的技術難題,為國內的AI開源生態提供創新動力。

二、開源為何重要?

從Linux作業系統的開源,到AI領域谷歌TensorFlow的入局,「開源」一直是風雲變幻的計算機界發展史中,經久不衰的一個話題。

什麼是「開源(Open Source)」?簡單地說,開源全稱為開放原始碼,程式設計師和普通終端用戶能夠利用原始碼在其基礎上進行修改和學習。

如今,包括Linux、Android、NetBSD和Symbian在內的作業系統,以及谷歌TensorFlow、Facebook PyTorch等AI框架,都在漫長的計算機歷史中走向了開源,為各個行業的創新和發展增添了不可或缺的重要驅動力。

例如,Android作業系統的開源,直接催生了一個獨立於蘋果iOS之外龐大的智慧型手機生態,包括三星、華為、小米等手機均基於Android進行軟體開發。

實際上,除了作業系統外,AI框架的開源亦是近年來業界火熱的開源趨勢之一。

如何理解AI開源?在AI最為本質的算法、算力和數據三大元素中,如果把算法比作一道菜,那麼框架就像是一個中央廚房,能夠規模化地生產各種各樣的菜式。

在開源之前,「大廚們」需要獨自全手工地進行洗菜(洗數據)、配菜(選模型)、炒菜(算法訓練)、調味(調參數)和裝盤(部署)等操作,整個過程既冗長又費力。

而開源,就像是將食材和菜譜全都準備妥善,「大廚們」不用再重複進行造鍋、生火和洗菜等步驟,直接基於前人的經驗開始炒菜就夠了。

與此同時,「大廚們」還能在這一開放式廚房中,對前人的經驗進行學習、交流和創新,一同逐漸完善廚房的功能,提高生產效率。

如今的AI開源領域,則有以谷歌TensorFlow和Facebook PyTorch為首的深度學習框架,受到廣大開發者們的歡迎。

「目前看來,開源已經成為軟體時代非常關鍵的一條技術路線。」曠視副總裁謝憶楠談到,谷歌、微軟和亞馬遜等國外科技巨頭早已在AI領域推行開源,並通過AI開源工具與平臺打通產業鏈,形成開源生態。

在此背景下,曠視選擇開源AI框架,不僅是對其解決算法無限性這一長期戰略的探索,同時曠視作為目前國內開源企業中唯一以AI為主業的公司,也期望能夠通過開源讓更多的合作夥伴實現AI+轉型,進一步推動AI技術的加速落地。

三、六年打磨,天元深度學習框架的前世今生

其實早在2014年,曠視就開始著手「天元」深度學習框架的研發,當時它的名字叫做MegEngine。

為了讓MegEngine早日跟上公司業務的發展進度,研究人員不斷加速優化和研發,成功在2015年年中實現了MegEngine與公司內部所有業務的接軌。當時,曠視所有業務線上的模型,都已全部更換成MegEngine訓練出來的版本。

但MegEngine的發展並非一帆風順。

2015年11月,谷歌TensorFlow的正式開源,對當時已逐漸走入穩定發展期的MegEngine帶來了巨大衝擊,幾乎打亂了曠視自研框架的開發節奏。面對國外科技巨頭的壓力,自研框架的路子是堅持還是放棄,成為當時曠視內部一場激烈持久的討論。

終於,在經過一次大規模的性能評測後,曠視的研究人員發現,當時剛開源的TensorFlow性能並不理想,比曠視的自研框架還要慢上10倍。

正是這一發現,讓曠視更加堅定不移地踏上自研框架的道路,並一路狂飆突進,不斷克服研發道路上的阻礙,相繼研發了深度學習雲計算平臺MegCompute和數據管理平臺MegData,與深度學習框架共同構成了AI生產力平臺Brain++。

因此,Brain++是一個集算法、算力和數據為一體的AI底層平臺,擁有數據處理、清洗、管理,以及大規模分布式訓練和計算等能力,幫助曠視開發了大量部署於雲端、移動端、邊緣端等全計算平臺的先進深度神經網絡。

值得一提的是,在Brain++的數據、算法和算力三大核心架構中,最為核心開源了的深度學習框架天元MegEngine。

隨著AI產業發展的浪潮越來越洶湧,為了進一步加速AI技術落地,給更多開發者和企業用戶提供開發選擇,曠視從2019年起決定開源Brain++最核心的深度學習框架MegEngine,並為它了一個全新的名字——天元。

「天元」意味著圍棋中棋盤的正中心,也代表著古代數學概念中所有複雜方程式的基礎,還是古代天文學中指代萬物本源和開始的北極星。

「天元」這一名字的寓意背後,既表達了曠視希望MegEngine成為AI行業發展壯大的基石和重要組成部分,也透露出它之於曠視技術戰略布局的最核心地位,是其AI宏圖中最為關鍵和重要的底層基礎設施。

在準備開源的一年時間裡,曠視對MegEngine的整個框架進行了脫胎換骨般的基礎性升級和改動,研究人員對框架的所有代碼進行了梳理和重組,並引入了動靜合一等新特性,同時還進一步打磨對外接口,使其更符合廣大開發者們的使用習慣。

直至昨日,前後歷時6年產業實踐和工業驗證的天元MegEngine,終於開源面世。

同時,曠視雲服務業務資深副總裁趙立威在發布會上表示,曠視將面向高校師生、企業開發者逐步開放Brain++的核心能力,為企業用戶提供AI生產全流程服務。

實際上,曠視的開源定位與大多數開源玩家的定位不太一樣,最顯著的差異在於曠視是目前所有AI開源公司中,唯一一家以AI為主業的公司。

「天元是為了工業級、研究院規模的研發機構而開發的算法研發基礎組件。」曠視研究院高級技術總監田忠博談到,天元所具備的訓練推理一體化等核心特點,都是為了解決開發者現實研發過程中的痛點而存在。

至此,曠視天元MegEngine的AI開源宏圖正朝著未來緩緩鋪開。

四、五大架構+四大技術優勢助力多產業AI化發展

歷時6六年自主研發和打磨的天元深度學習框架到底是什麼?

從架構上看,天元具體分為計算接口、圖表示、優化與編譯、運行時管理和計算內核五層。

若說谷歌TensorFlow採用利於部署的靜態圖更適用於工業界,而Facebook PyTorch採用靈活且方便調試的動態圖更適合學術科研。那麼曠視的天元則在兼具了雙方特性的過程中,找到了一個的平衡點。

「天元是一個訓練和推理在同一個框架、同一個體系內完整支持的設計。」田忠博談到,天元從實際問題出發,提供了許多深度學習和AI落地問題的解決方案。基於這些創新性的框架設計,天元深度學習框架擁有推理訓練一體化、動靜合一、兼容並包和靈活高效四大優勢。

1、訓練推理一體化

天元既能夠支持開發者進行算法訓練,同時其訓練得到的模型,還可以直接用於產品的推理和封裝,無需進行多餘的模型轉換。這極大地簡化了算法開發流程,實現速度和精度的無損遷移。

與此同時,天元在模型部署時還能夠自動優化模型,自動幫助開發者刪除冗餘代碼。

2、動靜合一

天元將動態圖的簡單靈活,與靜態圖的高性能優勢進行整合,能在充分利用動態圖模型訓練優勢的同時,通過動靜態一鍵轉換功能,以靜態圖的形式完成生產和部署。

此外,天元還支持動靜態的混合編程,進一步提高其靈活性。

3、兼容並包

天元部署了Pythonic的API和PyTorch Module功能,支持模型直接導入,進一步降低框架遷移的入門門檻和學習成本。

同時,它內置高性能計算機視覺算子和算法,能夠深度優化計算機視覺相關模型訓練和應用。

4、靈活高效

在部署方面,天元擁有多平臺多設備適應能力,其內置算子能夠在推理或生產環境中充分利用多核優勢,靈活調用設備算力,十分適用於大模型算法訓練。

從另一角度看,天元亦是一個面向工業級、研究院規模的研發機構而設計的算法研發基礎組件。

例如其訓練推理一體化優勢,能夠幫助開發者簡化複雜的模型生產流程,大幅度地縮短了算法研發和部署的時間,幫助企業快速地將算法變成產品,以投放到市場中,更好地滿足大規模工業級、生產級項目的AI需求。

天元的這些優勢和特點,無疑為中國各大產業的AI化轉型和發展提供了重要的技術支持。

目前,曠視推出的天元是Alpha版本,其中包括曠視前期整理的代碼和關鍵步驟。田忠博談到,今年6月曠視將推出天元的Beta版本,屆時將添加對Arm系列CPU的支持,以及更多加速晶片的支持。

而天元的正式版本將於今年9月發布,除了添加對主流計算設備的支持外,還將升級其動態計算能力,進一步優化訓練推理全流程的使用體驗。

與此同時,曠視天元已在GitHub和國內新一代人工智慧開源開放社區OpenI上同步開源。

結語:國家新基建浪潮下,曠視的開源初心與野望

隨著計算機產業和AI技術的發展,開源已經成為行業創新和技術落地的推動力,同時也是加速AI行業落地的重要引擎之一。

隨著近年來大國之間的科技競賽愈演愈烈,AI技術的成熟與落地即代表著一個國家的科技硬實力水平。與此同時,5G、AI、物聯網和大數據等新興技術的每一步發展,都將不同程度地推動國家新基建的成長與爆發。

而曠視天元,則是引燃這場爆發,以及時代變革浪潮中的一股重要力量。

未來,中國要想真正立於世界AI科技舞臺的潮頭,不僅需要靠新科技力量的發展和創新,更需要一個開放、包容和多樣化的科技環境和生態。

在這場變革的漩渦之中,曠視還會給我們帶來哪些新的技術和驚喜?時間會告訴我們答案。

相關焦點

  • 剛剛,曠視重磅開源深度學習框架天元 MegEngine
    北京時間 2020 年 3 月 25 日,AI 獨角獸曠視科技宣布開源其 AI 生產力平臺 Brain++ 的核心組件 — 深度學習框架天元(MegEngine)。InfoQ 有幸對曠視研究院院長孫劍、曠視雲服務業務資深副總裁趙立威、曠視研究院高級技術總監田忠博等專家進行了採訪,技術細節、關鍵特性、開源信息…有關天元的一切,本文一「網」打盡。
  • 曠視落子天元:深度學習框架開源,是成為偉大AI企業的第一步
    不過曠視沒有給聽眾太多考慮的時間,而是一遞上奇招:先開源,再開放。3月25日,曠視按計劃正式開源其自研、自用了6年的工業級深度學習框架「天元」(MegEngine)。在開源框架的同時,曠視還將開放Brain++的算力和數據平臺,其目的是降低AI算法的研發門檻,讓「深度學習,簡單開發」——「降低開發者的門檻,讓 AI 變得平凡,才能真正的釋放 AI 生產力。」曠視表示。
  • 曠視開源天元夯實AI基礎層 獲CSDN「AI開源貢獻獎」
    CSDN「百萬人學AI」評選活動結果在會上正式揭曉,曠視自研的深度學習框架天元(MegEngine)入選「AI開源貢獻獎」TOP5。圖:曠視天元獲CSDN「百萬人學AI」評選活動「AI開源貢獻獎」作為新一輪產業變革的核心引擎,人工智慧已經成為未來發展的必然趨勢。
  • 曠視天元深度學習框架全球首發!3個實習生寫下一行代碼
    【新智元導讀】剛剛,中國AI獨角獸曠視宣布開源其深度學習框架曠視天元(MegEngine),力圖為中國AI應用打造一個新基石。6年前3名實習生從第一行代碼寫起,艱難創業中在全球AI競賽斬獲27項冠軍,今日天元開源,敢與TensorFlow等全球主流深度學習框架爭雄。這個絕密武器又解決了開發者哪些痛點?
  • 從算法爬坡到 AI 基建,曠視「天元」開源背後的 AI 生產力破局
    近日,計算機視覺領頭公司曠視正式宣布開源其深度學習框架 MegEngine,中文名「天元」(傳送門:MegEngine.org.cn)。深度學習,簡單開發天元是圍棋棋盤最中心的點,MegEngine 中文名藉此命名,一來致敬 AlphaGo;二來,天元是萬物的基礎,這個名字也是曠視對 天元(MegEngine) 成為中國人工智慧發展的一塊基石的寄望。
  • 曠視開源 落子天元
    六年間,曠視打造了自己的基礎設施,今天我們想與更多的企業、開發者開放,合作共贏,促進 AI 產業繁榮。同時這套基礎設施的核心——深度學習框架「天元」也將全面開源,正式邀請全球開發者參與共建這套中國自研的生產力平臺核心部分。
  • 曠視開源 落子天元:一圖讀懂曠視Brain++ · 天元開源發布會
    來源:格隆匯2020年3月25日下午2點,曠視科技於線上正式發布Brain++·「天元」深度學習開源框架。「Brain++」是由曠視自主研發的端到端人工智慧算法平臺,具備大規模算法研發能力。而天元(MegEngine)則是曠視Brain++最核心的組件,可幫助開發者用戶藉助編程接口,進行大規模深度學習模型訓練和部署,具備訓練推理一體化,動靜合一,兼容並包和靈活高效四個特點。下面讓我們通過一圖來了解曠視Brain++ · 天元開源發布會的基本情況。
  • 落子「天元」瞄準新基建 曠視發力AI基礎設施建設
    3月25日,中國人工智慧領域頭部企業曠視舉行了一場線上發布會,正式推出新一代AI生產力平臺Brain++,並開源其核心組件——深度學習框架天元(MegEngine)。發布會上,唐文斌宣布將通過開源、開放的形式逐步把Brain++的能力釋放出來,和行業共享,並由曠視研究院高級技術總監田忠博詳細介紹了曠視即將開源的自研深度學習框架——天元(MegEngine)。「天元是一個訓練推理一體化、動靜合一的工業級深度學習框架。」
  • 長期主義者曠視:開源人工智慧算法框架,能為中國帶來什麼?
    算法的生產有賴於深度學習框架。但是深度學習研究的門檻較高,中國AI開發者面臨基礎薄弱、學習資源較少和開發工具不系統等問題。掌握深度學習和算法開發技術的中國企業也是屈指可數。一來一去,人工智慧產業出現了嚴重的供需不平衡。
  • 聚焦AI開源開放 2020中關村論壇曠視平行論壇即將上線
    人工智慧技術和底層基礎設施的開源開放能夠有效降低AI研發成本、提高研發效率,加速技術創新和AI應用落地。在此背景下,曠視科技將於2020年中關村論壇期間舉辦「人工智慧開源開放與生產力促進平行論壇」,邀請十餘位來自海內外的專家學者和企業代表,共同探討如何通過技術共享,降低企業人工智慧應用門檻、推動人工智慧產業落地。
  • 曠視落子「天元」,如何殺出谷歌、Facebook包圍圈?
    你抬起手機的每一次面部解鎖,背後可能都離不開曠視的面部識別技術,但曠視遠不只是一家面部識別解決方案提供商。今天下午,AI 獨角獸曠視科技在線上直播中正式宣布開源旗下深度學習框架 MegEngine(天元)。
  • 國產開源這一年,好生熱鬧
    最開始的萌芽階段,開源的貢獻者主要以個人和大學為主。第二個階段是以非盈利組織為主,比如Apache基金會等。2005年之後,谷歌等網際網路企業紛紛發布開源軟體,最著名的是Android作業系統。近幾年,國內科技企業與人工智慧企業逐漸參與到開源中來,成為開源的新生力量。 人工智慧時代,開源是算法迭代與創新的主要驅動力。
  • 曠視推出AI生產力平臺Brain++,覆蓋AI全流程研發
    【獵雲網北京】3月26日報導2020年3月25日,曠視科技正式發布了曠視AI生產力平臺Brain++,同時宣布開源其核心框架天元(MegEngine)。作為全球最早用深度學習方法開展人工智慧商業化探索的科技企業,曠視成立於AI 開發工具匱乏的早期人工智慧時代,於是曠視靠自主研發,從0到1地解決了算法生產的問題。自公司創辦以來,曠視一直奔跑在AI的主流賽道上,並形成了眾多基於核心AI算法的硬體、軟體、解決方案。但曠視唐文斌認為,真正影響產業跑速的不是算法、不是軟體和硬體,也不是解決方案,而是AI的基礎設施。
  • 這家企業是馬雲的驕傲 3月底將開源深度學習框架 據說很厲害
    希望通過MegEngine,逐步將Brain++的生產力賦能給學術界和產業界。曠視的這一舉動,有望為中國AI開發生態注入新活力。No.1 MegEngine 是一口「萬能鍋」AI因算法而點亮,萬物因技術而互聯。中國人工智慧獨角獸曠視,早在2014年就開始研發其深度學習框架MegEngine。
  • 天才黑客George Hotz開源了一個小型深度學習框架tinygrad
    天才黑客George Hotz開源了一個小型深度學習框架tinygrad 人工智慧與大數據 發表於 2020-12-16 09:36:56 最近,天才黑客
  • 人工智慧的下一個十年,曠視看好三大技術趨勢
    國產算法框架的緊迫性與天元的誕生6月23日下午,曠視研究院高級技術總監、天元(MegEngine)項目負責人田忠博受邀參加 AI 框架專題論壇,與大會分享曠視開源深度學習框架天元的設計之道。圖示:曠視開源深度學習框架天元曠視天元是 AI 生產力平臺曠視 Brain++ 的最核心組件,可幫助開發者用戶藉助編程接口,進行大規模深度學習模型訓練和部署,具備訓練推理一體化,動靜合一,兼容並包和靈活高效四個特點
  • 新基建浪潮下,中國需要什麼樣的開源天團?
    天元、MindSpore、計圖、OneFlow……一連串國產開源深度學習框架的相繼問世,讓中國的開源AI迎來了遲到的「暖春」。8月15日的「2019中國電子學會科學技術獎」頒獎儀式上,百度自主研發的「飛槳產業級深度學習技術與平臺」,更是榮獲2019年度中國電子學會科學技術獎科技進步一等獎。國產開源深度學習框架開始得到行業的認可。
  • 「獨角獸」企業曠視科技擬登陸科創板 號稱「AI四小龍」之一
    天目新聞 記者 甘居鵬圖源:證監會網站1月12日晚,北京證監局備案公告顯示,曠視科技正在接受中信證券上市輔導,擬以公開發行中國存託憑證(CDR)的方式在科創板上市。曠視科技是人工智慧領域的領先企業,與商湯、依圖、雲從並稱AI計算機視覺領域「四小龍」。
  • 停課不停學|曠視×北大《深度學習實踐》課程全面開放!
    疫情期間,我們每日聽到的最多的信息之一可能就是號召大家在線堅持學習。不過,在左有「名師授課」、右有「速成深度學習」,多重信息的圍攻之下,大部分人最終還是選擇了那條無數「英雄」選擇的道路——「收藏+下次一定」,重回電子虛擬世界,麻痺自己,蹉跎人生。怎麼辦?曠視研究院為你支招!
  • 醫療AI公司繞不開的選擇難題:開源框架與專用晶片
    在醫療AI領域,圍繞晶片和AI開源框架的討論也一直熱度不減。《後浪》視頻一夜刷屏。其實在AI時代,晶片和開源框架也有諸多不斷趕超「前浪」的攪局者和顛覆者。為了搶佔市場、營造生態,科技巨頭也都推出了自己的開源深度學習框架,如Google的TensorFlow、Amazon的MXNet、Facebook的Pytorch和Microsoft的CNTK等。