從算法爬坡到 AI 基建,曠視「天元」開源背後的 AI 生產力破局

2020-12-09 雷鋒網

更大的數據,更大的模型,更好的算法,深度學習興起之後,這些因素就成了 AI 公司最重要的考量。尤其對於語音、NLP、計算機視覺等應用,海量數據與精確算法支撐下不斷提升的應用,是 AI 企業建立外部認知的最重要載體。

在技術爬坡、訂單獲取上,算法是基礎。但當企業經歷幾年的跑馬圈地,單純的算法之外,一家 AI 公司還需要什麼?巨頭與行業獨角獸們正在試圖回答這個問題。

近日,計算機視覺領頭公司曠視正式宣布開源其深度學習框架 MegEngine,中文名「天元」(傳送門:MegEngine.org.cn)。

從算法到 AI 基礎設施

印奇說,曠視要成為中國最強的 AI 公司,這其中是對算法能力、產品能力、解決方案能力、業務運營能力的多重要求,而算法是曠視的核心基因。

曠視業務以機器視覺為核心,對算法精度要求更高。早幾年,和很多企業一樣,團隊主要精力都聚焦在如何精進算法上。在算法精度上,如何在「小數點」後的數字上做提高,再把算法放入相應的場景,為客戶提供視覺解決方案,是團隊的工作重點。

但如 CTO 唐文斌所言,AI 應用是一個無限遊戲——算法無限,場景無限,對應所需要的產品也是無限的,要達成企業用 AI 惠及世界的最初願景,一個更高效的做法是解決 AI 基礎設施的問題。

何為 AI 基礎設施?唐文斌給出了兩大核心要素:承載 AI 計算的晶片平臺是其一,一個可以協同優化算法、數據、算力的平臺,即 AI 生產力平臺是其二。因此曠視打造了自己的AI 基礎設施 Brain++。

生產好的AI 算法是一個系統工程,要求同時具備標準化的數據管理、高效的深度學習框架和強大的算力。為此,Brain++ 作為AI 生產力平臺主要涵蓋了數據解決方案 MegData、深度學習框架 MegEngine、算力解決方案 MegCompute,是為三位一體。天元( MegEngine)的開源只是開始, Brain++ 的更多數據管理、計算能力之後也將向企業級用戶陸續開放。

發布會上,曠視雲服務業務資深副總裁趙立威表示,曠視可以為企業級用戶打造專屬的Brain++ 平臺,為合作夥伴提供AI生產全流程的服務,從專業諮詢、到數據生產、模型優化,再到私有化AI平臺的建設運維,滿足各行業在」AI+「的過程中降本增效、自主安全和商業創新的訴求。

「單一算法壁壘很低,但是能夠系統化地產生大量算法,並且結合場景不斷迭代、優化,最終還能打造算法相關的產品和方案,這個壁壘非常高。」一年前印奇面對量子位的回答,已經宣示了曠視在此的雄心。

而從曠視近兩年的一系列動作中,也可看出一個從底層算法到 AI 基礎設施的上升軌跡。

2019 年 1 月,曠視發布 AIoT 作業系統「河圖」,後者將作為智慧機器人的網絡協同大腦,接入物流場景下的多種硬體,在發布會上,「回歸產業」、「賦能產業」幾乎是印奇演講的主題。

2019 年 10月,曠視推出城市物聯網作業系統 CityIoT OS ,將公共安全、智慧交管、城市管理和智慧園區全局管理能力整合為一體。

AI 需要聚攏更多人的力量,才能創造更多價值。天元(MegEngine) 乃至 Brain++ 的開源和開放,意在聯合中小企業和更多開發者,接入更多設備,從而把 AI 這張網抻大。

深度學習,簡單開發

天元是圍棋棋盤最中心的點,MegEngine 中文名藉此命名,一來致敬 AlphaGo;二來,天元是萬物的基礎,這個名字也是曠視對 天元(MegEngine) 成為中國人工智慧發展的一塊基石的寄望。

曠視副總裁謝憶楠做了一個樸素的舉例:智能化是往硬體裡植入算法。往越多的硬體裡塞入算法,社會的協同網絡便越大、越智能。這張協作網絡便是物聯網。天元的開源,則是賦予其它中小企業往硬體裡內置算法的能力,並進一步迎合其在特殊場景的定製化需求,以幫助其達到真正的「深度學習,簡單開發」。

除了最新開源的天元(MegEngine),目前國際主流的幾種深度學習框架主要包含谷歌大腦2015年開源TensorFlow、谷歌的人工智慧研究員Franois Chollet 2015年推出的Keras、Amazon 2015年底開源的MXNet、Facebook 2016年開源的PyTorch、微軟2016年開源的CNTK、百度2016年開源的飛槳等。天元(MegEngine)則從實際開發經驗中的幾個痛點入手,在性能上表現不俗:

1. 訓練推理一體化

曠視天元既可支持研究員進行算法訓練,同時訓練得到的模型和產物是可以直接進行用於產品的推理、封裝。省去模型轉換不僅極大簡化算法開發流程,更實現了速度和精度的無損遷移,即使是模型的跨設備部署,天元依然能夠做到精度的對齊。在部署時,天元還可以幫助開發者自動刪除冗餘代碼,實現模型自動優化。

2. 動靜合一

靜態圖性能高、佔用資源少且易於部署;動態圖簡單靈活、方便調試且易於上手。曠視天元整合了動態圖與靜態圖各自的優勢,在充分利用動態圖模型訓練優勢時,通過動靜態一鍵轉換功能,以靜態圖的形式完成生產和部署;此外,天元還支持動靜態的混合編程,靈活性更強。

3. 兼容並包

曠視天元具備Pythonic的API,這對習慣用Python進行傳統機器學習的開發者來說非常友好,學習成本更低、易於上手,同時天元還支持PyTorch Module功能,可以直接導入模型,遷移成本低且極大方便模型復現;天元內置高性能計算機視覺算子和算法,可為計算機視覺相關模型訓練和應用實現深度優化。

4. 靈活高效

曠視天元具備很強的多平臺多設備適應能力,可通過類似彙編和指令重排等技術,使得天元內置算子能夠在推理或生產環境中充分利用多核優勢,靈活調用設備的計算力,尤其適用於大模型算法訓練。

總的來說,MegEngine 在協同設計、高效訓練、大規模訓練能力上,做到了更完整的統一與升級。

相比平臺級公司的科技巨頭,曠視成立之初便是一家以 AI 為驅動的企業,天元深度學習框架的開發以其核心業務為土壤,在應用場景和落地案例中經過不斷的反饋、調試,尤其在視覺任務的處理上,更加適合開發者。

基於與TensorFlow、PyTorch 等框架的不同優勢,開發者也可以同時使用不同框架,解決自身問題。

生態共建者

過去幾年,中國企業紛紛擁抱開源,但多數是被形勢驅動,勉力上趕,早期便做下鋪墊並持續技術積累的不多,從這個角度看,曠視算是個異類。

2014 年,深度學習剛剛興起不久,當時公司使用的還是 Theano 框架,效率低下。曠視研究院的 3 名實習生,在其自動化算法研發系統 Cycle++ 的基礎上,不到半年的時間裡,寫出了一個初版的深度學習框架,便是 MegEngine 的雛形。

MegEngine 誕生的第二年,谷歌開源了 TensorFlow。 在深度學習框架的選擇上,買巨頭的船票,還是自己造船,團隊內部經歷了長久的爭論。

高投入的自研意味著對團隊的極大考驗,此時,成立不到 4 年的曠視,技術團隊尚不足20人,再配合業務的落地推進,難度指數級增長。但剛剛開源的 TensorFlow 尚有不少缺憾有待完善,對團隊來說,遠不如自研的 天元(MegEngine )稱手。並且,對於一個以 AI 為絕對主業務的企業來說,長期來講,自研深度學習框架更易於面向自身需求調整、迭代算法。

如今來看,當年的爭論結果已經非常明顯, 曠視選了那條難走但是正確的路。

2015 年,天元便在曠視內部全員使用,其所有算法都是基於該框架進行訓練、推理。目前,天元已經迭代到第 8 版,用在了上百個產品、幾十種計算平臺上。

再問:有大哥坐鎮,天元有自身優勢雖不假,但又如何與先來者抗衡?

這家 AI 企業似乎並沒有在這個問題上花費太多時間。

「我們不覺得天元和其他的(框架)是競爭關係,而是共同藉助開源生態的培育與建設,形成良性有機的局面。我們期望能夠營造一個開放的社區,一個能夠接納大家新想法、共同創造的社區。不論是一個技術產品,還是一個開源框架,都需要以是否好用、是否成熟、是否能夠做得更好來作為最終的評判標準。」曠視研究院高級技術總監田忠博總結道。

歡迎規則「打亂」者

天元現在開源的是Alpha版本,其開源生態最終將如何展開,還需要持續迭代,但一個在算法上有成績的優秀選手,在算法工具上自然具備充分的底氣。在不斷推進的手機智能、智慧城市、供應鏈等落地案例之外,曠視研究院的參賽團隊一直是近些年各大頂級比賽和會議的常駐冠軍。

從目前的規劃來看,天元將保持每 3 月一迭代的節奏:3 月發布 Alpha 版本,釋放關鍵代碼;6 月發布 Beta 版本,全面提供基於 ARM 系列的 CPU 支持能力,並引入更多加速設備;9 月的 1.0 版本將涵蓋所有核心功能、部件,支持所有主流計算設備。之後,天元也將在 GitHub、Ihub 逐步開源。

「雖然在國外有兩家非常大的深度學習引擎,有很大的體量,但裡面依然有一些開放的和技術的難題沒有解決。」曠視研究院院長孫劍解釋道。

「我們希望開源這個框架,能夠將很多年輕人提出的創造性的新解法注入進去,我們也希望,有更多優秀的開發者能夠貢獻出他們的創造力,把我們的規劃打破、打亂。」

相關焦點

  • 落子「天元」瞄準新基建 曠視發力AI基礎設施建設
    2020年以來,中央密集部署推進「新基建」,前沿行業企業也積極參與其中。3月25日,中國人工智慧領域頭部企業曠視舉行了一場線上發布會,正式推出新一代AI生產力平臺Brain++,並開源其核心組件——深度學習框架天元(MegEngine)。
  • 中國AI開源的新生力量!曠視「天元」深度學習框架全解讀
    而天元深度學習框架的誕生,不僅為曠視AI業務的開拓和成熟提供強有力的底層技術支持,其本身的開源,在豐富國內AI開源生態的同時,也為近年來全國火熱的新基建中AI領域的發展,提供了重要的創新力和生產動力。那麼,「天元」深度學習框架究竟是什麼?它的背後隱藏了哪些曠視的AI布局野心?
  • 曠視開源天元夯實AI基礎層 獲CSDN「AI開源貢獻獎」
    CSDN「百萬人學AI」評選活動結果在會上正式揭曉,曠視自研的深度學習框架天元(MegEngine)入選「AI開源貢獻獎」TOP5。圖:曠視天元獲CSDN「百萬人學AI」評選活動「AI開源貢獻獎」作為新一輪產業變革的核心引擎,人工智慧已經成為未來發展的必然趨勢。
  • 曠視推出AI生產力平臺Brain++,覆蓋AI全流程研發
    【獵雲網北京】3月26日報導2020年3月25日,曠視科技正式發布了曠視AI生產力平臺Brain++,同時宣布開源其核心框架天元(MegEngine)。六年間,曠視打造了自己的基礎設施Brain++,今天我們想與更多的企業、開發者開放,合作共贏,促進AI產業繁榮。「唐文斌正式宣布,開源這套曠視自用6年的AI生產力平臺的深度學習框架——「天元」MegEngine,並在線正式邀請全球開發者參與共建這套中國自研的生產力平臺核心部分。
  • 曠視開源 落子天元
    曠視認為:AI 的基礎設施只有兩部分組成—— 晶片平臺和生產力平臺。其中,晶片平臺承載 AI 的計算,那麼 AI 生產力該如何理解? AI 算法的生產與程序生產不同,是一個系統工程,需要能夠協同優化數據、算法、算力的平臺級產品。六年間,曠視打造了自己的基礎設施,今天我們想與更多的企業、開發者開放,合作共贏,促進 AI 產業繁榮。
  • 曠視落子天元:深度學習框架開源,是成為偉大AI企業的第一步
    3月25日,曠視按計劃正式開源其自研、自用了6年的工業級深度學習框架「天元」(MegEngine)。在開源框架的同時,曠視還將開放Brain++的算力和數據平臺,其目的是降低AI算法的研發門檻,讓「深度學習,簡單開發」——「降低開發者的門檻,讓 AI 變得平凡,才能真正的釋放 AI 生產力。」曠視表示。
  • 長期主義者曠視:開源人工智慧算法框架,能為中國帶來什麼?
    這次疫情,是將很多本來就很厲害的技術,加速進入到我們的生活中。最近,發展這些數字基礎設施有了一個統一的名字——「新基建」。一、「新基建」時代,提升「AI大腦」卻成了老大難這場新基建聲勢浩大。掌握深度學習和算法開發技術的中國企業也是屈指可數。一來一去,人工智慧產業出現了嚴重的供需不平衡。二、深度學習框架開源,曠視按下產業加速鍵曠視科技,就是中國人工智慧產業中少之又少的精英玩家。2015年,馬雲在德國漢諾瓦首秀的支付寶刷臉支付,其背後的技術支撐就是曠視。
  • 剛剛,曠視重磅開源深度學習框架天元 MegEngine
    北京時間 2020 年 3 月 25 日,AI 獨角獸曠視科技宣布開源其 AI 生產力平臺 Brain++ 的核心組件 — 深度學習框架天元(MegEngine)。InfoQ 有幸對曠視研究院院長孫劍、曠視雲服務業務資深副總裁趙立威、曠視研究院高級技術總監田忠博等專家進行了採訪,技術細節、關鍵特性、開源信息…有關天元的一切,本文一「網」打盡。
  • 曠視開源 落子天元:一圖讀懂曠視Brain++ · 天元開源發布會
    來源:格隆匯2020年3月25日下午2點,曠視科技於線上正式發布Brain++·「天元」深度學習開源框架。「Brain++」是由曠視自主研發的端到端人工智慧算法平臺,具備大規模算法研發能力。而天元(MegEngine)則是曠視Brain++最核心的組件,可幫助開發者用戶藉助編程接口,進行大規模深度學習模型訓練和部署,具備訓練推理一體化,動靜合一,兼容並包和靈活高效四個特點。下面讓我們通過一圖來了解曠視Brain++ · 天元開源發布會的基本情況。
  • 聚焦AI開源開放 2020中關村論壇曠視平行論壇即將上線
    人工智慧技術和底層基礎設施的開源開放能夠有效降低AI研發成本、提高研發效率,加速技術創新和AI應用落地。在此背景下,曠視科技將於2020年中關村論壇期間舉辦「人工智慧開源開放與生產力促進平行論壇」,邀請十餘位來自海內外的專家學者和企業代表,共同探討如何通過技術共享,降低企業人工智慧應用門檻、推動人工智慧產業落地。
  • 曠視天元深度學習框架全球首發!3個實習生寫下一行代碼
    天元項目負責人兼曠視研究院高級技術總監田忠博指出,這次開源的天元是一套訓練推理一體化、動靜態合一的工業級深度學習框架,採用訓練與推理在同一個框架、同一個體系內完整支持的設計,讓開發者真正體驗到「訓得好」、「訓得動」、「訓得快」。
  • AI人才供需比例失衡 曠視完善培養體系塑造頂級AI團隊
    2017年,曠視成立了學術委員會並邀請姚期智院士、鄭南寧院士等人工智慧領域的知名人士作為顧問;在行業的探索逐漸深入,曠視還在北京、南京、成都和上海等地設立獨立研究院,由曠視研究院院長孫劍博士、曠視上海研究院院長危夷晨博士、曠視研究院基礎模型組負責人張祥雨博士等帶領團隊的成長;2018年,經中國人力資源社會保障部、全國博士後管理委員會批准,曠視正式設立博士後科研工作站一級站點。
  • AI助力產業網際網路升級 曠視榮獲2020億邦產業網際網路千峰獎
    作為人工智慧行業的領跑者與務實者,曠視正基於自研的AI生產力平臺Brain++實現AI產業落地與企業持續增長,並由此獲得"千億市值獎"。在曠視看來,人工智慧和產業結合的主要矛盾在於"場景多樣化、碎片化需求與算法生產力不足之間的矛盾",Brain++包括深度學習框架天元(MegEngine)、深度學習雲計算平臺(MegCompute)、數據管理平臺(MegData),協同優化數據、算法、算力,能夠幫助曠視實現規模化AI生產力,為人工智慧落地產業提供技術保障。
  • 「兩新一重」成熱詞 曠視以技術助力打造新基建基石
    在新一輪歷史機遇之下,湧現出了曠視等一批前沿科技企業,正積極響應政策號召,以底層技術突破夯實新基建基石,並以更靈活的解決方案推動產業智能化變革。從新技術、算力、融合、創新四方面夯實新基建基石在「兩新一重」中,以5G、新能源等為代表的「新基建」正成為創新驅動發展的熱門領域。
  • 2020 OpenI/O在京開幕:AI開源呈現新形勢、新格局
    大會邀請到眾多人工智慧開源領域的專家學者、企業代表就現階段人工智慧開源開放呈現出的新形勢、新格局、新機遇展開了討論。開源技術不僅推動了人工智慧、深度學習和大數據能力的提升,共創智能時代發展新可能,同時能幫助企業快速建立自己在AI領域的領先地位,加速實現智慧轉型和產品迭代。
  • 國產開源這一年,好生熱鬧
    最開始的萌芽階段,開源的貢獻者主要以個人和大學為主。第二個階段是以非盈利組織為主,比如Apache基金會等。2005年之後,谷歌等網際網路企業紛紛發布開源軟體,最著名的是Android作業系統。近幾年,國內科技企業與人工智慧企業逐漸參與到開源中來,成為開源的新生力量。 人工智慧時代,開源是算法迭代與創新的主要驅動力。
  • 曠視落子「天元」,如何殺出谷歌、Facebook包圍圈?
    你抬起手機的每一次面部解鎖,背後可能都離不開曠視的面部識別技術,但曠視遠不只是一家面部識別解決方案提供商。今天下午,AI 獨角獸曠視科技在線上直播中正式宣布開源旗下深度學習框架 MegEngine(天元)。
  • 人工智慧的下一個十年,曠視看好三大技術趨勢
    國產算法框架的緊迫性與天元的誕生6月23日下午,曠視研究院高級技術總監、天元(MegEngine)項目負責人田忠博受邀參加 AI 框架專題論壇,與大會分享曠視開源深度學習框架天元的設計之道。圖示:曠視開源深度學習框架天元曠視天元是 AI 生產力平臺曠視 Brain++ 的最核心組件,可幫助開發者用戶藉助編程接口,進行大規模深度學習模型訓練和部署,具備訓練推理一體化,動靜合一,兼容並包和靈活高效四個特點
  • Comma.ai開源後國內首個嘗鮮者,嗅到自動駕駛新商機?
    一次偶然的機會,劉輝從網絡上了解到Comma.ai這家公司,那會正值國內人工智慧、自動駕駛火熱的時期,正在籌備下一次創業的劉輝想要切入到自動駕駛領域。於是,他嘗試著去聯繫Comma.ai方面的人,但都無果。發愁之際,劉輝從推特上知悉了Hotz開源自家自動駕駛軟體的消息,這讓他很興奮,於是他開始研究開源的內容,主要是硬體方面的組裝。
  • 揭秘曠視C計劃
    不難看出,圍繞智慧物流業務曠視進行了大量投入,這是因為智慧物流是曠視供應鏈物聯網的重要組成部分,而供應鏈物聯網又是曠視1+3架構的重要方向之一。所謂曠視的「1+3」架構,指的是以AI生產力平臺Brain++和深度學習框架天元為核心的技術能力,以及個人物聯網、城市物聯網和供應鏈物聯網三大業務領域,這是曠視認定的可以用算法創造極大價值的賽道。