中國AI開源陣營再添一軍!
3月25日,曠視宣布正式開源工業級深度學習框架「天元(MegEngine)」,成為國內第一家開源AI框架的AI企業。
作為曠視AI生產力平臺Brain++的核心組件之一,天元擁有訓練推理一體化、動靜合一、兼容並包和靈活高效四個特點,能幫助開發者用戶進行靈活、高效的大規模深度學習模型訓練和部署。
從「AI」這一概念誕生至今,在這片浩瀚的AI海洋中,算力、算法和數據已經為這片海域貢獻了許多珍貴的技術資源,而「開源」作為其中一個經久不衰的話題,為AI乃至計算機行業構建了一個開放共進的生態環境,進一步加速AI產業的落地和行業轉型。
而天元深度學習框架的誕生,不僅為曠視AI業務的開拓和成熟提供強有力的底層技術支持,其本身的開源,在豐富國內AI開源生態的同時,也為近年來全國火熱的新基建中AI領域的發展,提供了重要的創新力和生產動力。
那麼,「天元」深度學習框架究竟是什麼?它的背後隱藏了哪些曠視的AI布局野心?在谷歌TensorFlow和Facebook PyTorch大肆收割開發者的AI時代下,「天元」深度學習框架的開源,之於曠視,或是之於中國的AI行業生態,到底意味著什麼?
一、授人以漁,智能化時代曠視的開源初心
從授人以魚到授人以漁,天元深度學習框架的開源,不僅僅是曠視一次面向AI行業和開源生態的技術釋放。從本質上看,它的開源還是曠視在產業智能時代頭部玩家搶位戰的一次入局。
對曠視這麼一家以AI為本業的公司來說,在當下迅猛發展的AI行業中,選擇將自己的核心競爭力開源,無疑需要巨大的勇氣和對市場時機的把握。
天元的開源,在直面全行業開發者實踐和檢驗的同時,也將激發更多開發者的創造力,為天元自身的迭代和創新帶來了無限可能性。而在這背後,其實也隱藏了曠視對自身技術實力的強大自信。
但邁出開源的這一步,給曠視帶來的意義不止於此。
若我們將眼光放在整個行業來看,曠視天元深度學習框架的開源,亦為各個行業的AI化轉型,以及AI行業的加速落地引擎,增添了潤滑劑。
一方面,天元通過簡單高效的AI性能,為追求AI轉型的產業提供了一種新的嘗試和選擇,進一步解放傳統產業的生產力;另一方面,天元也將成為一個新契機,將上遊應用、算法、場景,以及下遊的作業系統和晶片等更好地結合起來,開拓一個AI生態和產業鏈緊密結合的新局面。
與此同時,天元對中國高新技術產業而言,亦是中國在全球科技競賽舞臺上的一次實力亮相。
當下,我國新基建如火如荼地開展,5G、AI、工業網際網路和大數據中心等技術的構建和發展,已經成為國家大力發展智能產業的重要科技因素。
而曠視天元的開源,為國家新基建的在線化、數位化和智能化發展和升級,提供了不可或缺的創新力和生產力。
更重要的是,它作為中國計算機發展階段的新興代表,同時也是中國AI企業中唯一一個開源的深度學習框架,它的面世不僅代表著中國AI企業的科研實力和包容開發的態度,亦彰顯著中國AI產業在當下全球科技競賽的複雜時代下,與巨頭抗衡的底氣與決心。
「我們開源的初心,是希望開源後有更多開發者貢獻更閃光的想法和創意,一起參與天元的建設和發展。」曠視首席科學家、曠視研究院院長孫劍談到,曠視希望通過開源,進一步解決目前行業發展和國家建設中尚未解決的技術難題,為國內的AI開源生態提供創新動力。
二、開源為何重要?
從Linux作業系統的開源,到AI領域谷歌TensorFlow的入局,「開源」一直是風雲變幻的計算機界發展史中,經久不衰的一個話題。
什麼是「開源(Open Source)」?簡單地說,開源全稱為開放原始碼,程式設計師和普通終端用戶能夠利用原始碼在其基礎上進行修改和學習。
如今,包括Linux、Android、NetBSD和Symbian在內的作業系統,以及谷歌TensorFlow、Facebook PyTorch等AI框架,都在漫長的計算機歷史中走向了開源,為各個行業的創新和發展增添了不可或缺的重要驅動力。
例如,Android作業系統的開源,直接催生了一個獨立於蘋果iOS之外龐大的智慧型手機生態,包括三星、華為、小米等手機均基於Android進行軟體開發。
實際上,除了作業系統外,AI框架的開源亦是近年來業界火熱的開源趨勢之一。
如何理解AI開源?在AI最為本質的算法、算力和數據三大元素中,如果把算法比作一道菜,那麼框架就像是一個中央廚房,能夠規模化地生產各種各樣的菜式。
在開源之前,「大廚們」需要獨自全手工地進行洗菜(洗數據)、配菜(選模型)、炒菜(算法訓練)、調味(調參數)和裝盤(部署)等操作,整個過程既冗長又費力。
而開源,就像是將食材和菜譜全都準備妥善,「大廚們」不用再重複進行造鍋、生火和洗菜等步驟,直接基於前人的經驗開始炒菜就夠了。
與此同時,「大廚們」還能在這一開放式廚房中,對前人的經驗進行學習、交流和創新,一同逐漸完善廚房的功能,提高生產效率。
如今的AI開源領域,則有以谷歌TensorFlow和Facebook PyTorch為首的深度學習框架,受到廣大開發者們的歡迎。
「目前看來,開源已經成為軟體時代非常關鍵的一條技術路線。」曠視副總裁謝憶楠談到,谷歌、微軟和亞馬遜等國外科技巨頭早已在AI領域推行開源,並通過AI開源工具與平臺打通產業鏈,形成開源生態。
在此背景下,曠視選擇開源AI框架,不僅是對其解決算法無限性這一長期戰略的探索,同時曠視作為目前國內開源企業中唯一以AI為主業的公司,也期望能夠通過開源讓更多的合作夥伴實現AI+轉型,進一步推動AI技術的加速落地。
三、六年打磨,天元深度學習框架的前世今生
其實早在2014年,曠視就開始著手「天元」深度學習框架的研發,當時它的名字叫做MegEngine。
為了讓MegEngine早日跟上公司業務的發展進度,研究人員不斷加速優化和研發,成功在2015年年中實現了MegEngine與公司內部所有業務的接軌。當時,曠視所有業務線上的模型,都已全部更換成MegEngine訓練出來的版本。
但MegEngine的發展並非一帆風順。
2015年11月,谷歌TensorFlow的正式開源,對當時已逐漸走入穩定發展期的MegEngine帶來了巨大衝擊,幾乎打亂了曠視自研框架的開發節奏。面對國外科技巨頭的壓力,自研框架的路子是堅持還是放棄,成為當時曠視內部一場激烈持久的討論。
終於,在經過一次大規模的性能評測後,曠視的研究人員發現,當時剛開源的TensorFlow性能並不理想,比曠視的自研框架還要慢上10倍。
正是這一發現,讓曠視更加堅定不移地踏上自研框架的道路,並一路狂飆突進,不斷克服研發道路上的阻礙,相繼研發了深度學習雲計算平臺MegCompute和數據管理平臺MegData,與深度學習框架共同構成了AI生產力平臺Brain++。
因此,Brain++是一個集算法、算力和數據為一體的AI底層平臺,擁有數據處理、清洗、管理,以及大規模分布式訓練和計算等能力,幫助曠視開發了大量部署於雲端、移動端、邊緣端等全計算平臺的先進深度神經網絡。
值得一提的是,在Brain++的數據、算法和算力三大核心架構中,最為核心開源了的深度學習框架天元MegEngine。
隨著AI產業發展的浪潮越來越洶湧,為了進一步加速AI技術落地,給更多開發者和企業用戶提供開發選擇,曠視從2019年起決定開源Brain++最核心的深度學習框架MegEngine,並為它了一個全新的名字——天元。
「天元」意味著圍棋中棋盤的正中心,也代表著古代數學概念中所有複雜方程式的基礎,還是古代天文學中指代萬物本源和開始的北極星。
「天元」這一名字的寓意背後,既表達了曠視希望MegEngine成為AI行業發展壯大的基石和重要組成部分,也透露出它之於曠視技術戰略布局的最核心地位,是其AI宏圖中最為關鍵和重要的底層基礎設施。
在準備開源的一年時間裡,曠視對MegEngine的整個框架進行了脫胎換骨般的基礎性升級和改動,研究人員對框架的所有代碼進行了梳理和重組,並引入了動靜合一等新特性,同時還進一步打磨對外接口,使其更符合廣大開發者們的使用習慣。
直至昨日,前後歷時6年產業實踐和工業驗證的天元MegEngine,終於開源面世。
同時,曠視雲服務業務資深副總裁趙立威在發布會上表示,曠視將面向高校師生、企業開發者逐步開放Brain++的核心能力,為企業用戶提供AI生產全流程服務。
實際上,曠視的開源定位與大多數開源玩家的定位不太一樣,最顯著的差異在於曠視是目前所有AI開源公司中,唯一一家以AI為主業的公司。
「天元是為了工業級、研究院規模的研發機構而開發的算法研發基礎組件。」曠視研究院高級技術總監田忠博談到,天元所具備的訓練推理一體化等核心特點,都是為了解決開發者現實研發過程中的痛點而存在。
至此,曠視天元MegEngine的AI開源宏圖正朝著未來緩緩鋪開。
四、五大架構+四大技術優勢助力多產業AI化發展
歷時6六年自主研發和打磨的天元深度學習框架到底是什麼?
從架構上看,天元具體分為計算接口、圖表示、優化與編譯、運行時管理和計算內核五層。
若說谷歌TensorFlow採用利於部署的靜態圖更適用於工業界,而Facebook PyTorch採用靈活且方便調試的動態圖更適合學術科研。那麼曠視的天元則在兼具了雙方特性的過程中,找到了一個的平衡點。
「天元是一個訓練和推理在同一個框架、同一個體系內完整支持的設計。」田忠博談到,天元從實際問題出發,提供了許多深度學習和AI落地問題的解決方案。基於這些創新性的框架設計,天元深度學習框架擁有推理訓練一體化、動靜合一、兼容並包和靈活高效四大優勢。
1、訓練推理一體化
天元既能夠支持開發者進行算法訓練,同時其訓練得到的模型,還可以直接用於產品的推理和封裝,無需進行多餘的模型轉換。這極大地簡化了算法開發流程,實現速度和精度的無損遷移。
與此同時,天元在模型部署時還能夠自動優化模型,自動幫助開發者刪除冗餘代碼。
2、動靜合一
天元將動態圖的簡單靈活,與靜態圖的高性能優勢進行整合,能在充分利用動態圖模型訓練優勢的同時,通過動靜態一鍵轉換功能,以靜態圖的形式完成生產和部署。
此外,天元還支持動靜態的混合編程,進一步提高其靈活性。
3、兼容並包
天元部署了Pythonic的API和PyTorch Module功能,支持模型直接導入,進一步降低框架遷移的入門門檻和學習成本。
同時,它內置高性能計算機視覺算子和算法,能夠深度優化計算機視覺相關模型訓練和應用。
4、靈活高效
在部署方面,天元擁有多平臺多設備適應能力,其內置算子能夠在推理或生產環境中充分利用多核優勢,靈活調用設備算力,十分適用於大模型算法訓練。
從另一角度看,天元亦是一個面向工業級、研究院規模的研發機構而設計的算法研發基礎組件。
例如其訓練推理一體化優勢,能夠幫助開發者簡化複雜的模型生產流程,大幅度地縮短了算法研發和部署的時間,幫助企業快速地將算法變成產品,以投放到市場中,更好地滿足大規模工業級、生產級項目的AI需求。
天元的這些優勢和特點,無疑為中國各大產業的AI化轉型和發展提供了重要的技術支持。
目前,曠視推出的天元是Alpha版本,其中包括曠視前期整理的代碼和關鍵步驟。田忠博談到,今年6月曠視將推出天元的Beta版本,屆時將添加對Arm系列CPU的支持,以及更多加速晶片的支持。
而天元的正式版本將於今年9月發布,除了添加對主流計算設備的支持外,還將升級其動態計算能力,進一步優化訓練推理全流程的使用體驗。
與此同時,曠視天元已在GitHub和國內新一代人工智慧開源開放社區OpenI上同步開源。
結語:國家新基建浪潮下,曠視的開源初心與野望
隨著計算機產業和AI技術的發展,開源已經成為行業創新和技術落地的推動力,同時也是加速AI行業落地的重要引擎之一。
隨著近年來大國之間的科技競賽愈演愈烈,AI技術的成熟與落地即代表著一個國家的科技硬實力水平。與此同時,5G、AI、物聯網和大數據等新興技術的每一步發展,都將不同程度地推動國家新基建的成長與爆發。
而曠視天元,則是引燃這場爆發,以及時代變革浪潮中的一股重要力量。
未來,中國要想真正立於世界AI科技舞臺的潮頭,不僅需要靠新科技力量的發展和創新,更需要一個開放、包容和多樣化的科技環境和生態。
在這場變革的漩渦之中,曠視還會給我們帶來哪些新的技術和驚喜?時間會告訴我們答案。