2年,3個版本,華為雲ModelArts的變與不變

2020-12-12 雷鋒網

今年的2020華為全聯接大會,又是一次華為雲AI的大秀。無論是郭平、徐直軍的戰略部署,還是侯金龍和鄭葉來的具體演說,雲與AI無疑都是華為今天重金投入的新技術。

AI的背後是數據和應用,而這兩樣背後,都是專注創新的開發者在默默努力。從近兩年的雲&AI行業趨勢看,「取悅開發者」是一個必然的趨勢,他們對技術的變化是最為敏感的,也是雲&AI得以落地的關鍵環節。

也因此,圍繞開發者們構建的AI開發平臺逐漸從幕後走到臺前。從業內來看,頭部的幾家雲廠商們紛紛祭出大招,比如華為雲在2018年就推出ModelArts AI開發平臺,阿里雲以ET大腦的方式構建各行業AI開放能力,騰訊雲則部署其AI平臺雲智天樞TI Matrix,百度雲則持續推進EsayDL AI開發平臺的應用。

在9月25日的華為全聯接大會的第三天,華為雲把重要信號留在了最後:宣布華為雲ModelArts 3.0版本出爐。

無疑,這個新版本的推出又給AI開發者帶來了福利。

華為雲ModelArts 3.0的推陳出新

具體而言,現場發布的這套ModelArts平臺 3.0版本,支持10萬級別的企業任務同時運行,支持10萬級別的用戶規模同時使用,為開發者創造良好的AI開發環境,使其專注做創新的事情。

一般而言,優秀的分布式加速比是大規模集群分布式訓練的關鍵能力,也是促使用戶選擇使用大規模集群來加速AI業務的關鍵因素,華為雲ModelArts領先的分布式加速比能力,在512晶片的集群規模下成績為93.6秒,優於NVIDIA V100的120秒。

從功能上看,ModelArts 3.0版本相比之前帶來了4個小驚喜:

1. 華為雲EI骨幹模型:基於行業小樣本數據訓練高精度模型

過去需要大量專家經驗的模型選擇和參數調節,有了華為雲的全空間網絡架構搜索和自動超參優化技術,可以在無需人工幹預的情況下高效完成。過去需要幾周甚至更長時間的模型訓練和部署,有了華為雲的計算資源調配和數據管理,可以縮短到幾小時內甚至幾分鐘完成。

2. 聯邦學習:打破數據孤島,推動行業聯合建模

數據是AI應用的基礎,只有基於多樣化的數據,才能實現AI智能感知。然而,在實際AI行業落地中,數據是分散在不同的數據控制者之間,這就導致了行業AI應用的數據孤島問題,使得AI算法訓練效果受到限制。

針對這個問題,華為雲ModelArts提供聯邦學習特性,用戶各自利用本地數據訓練,不交換數據本身,只用加密方式交換更新的模型參數,實現聯合建模。

3. 模型智能評估、診斷:降低AI行業落地門檻

在ModelArts上使用模型評估功能,是在得到首次訓練的模型之後,先將模型推理結果、原始圖像和真實標籤送入模型評估模塊中,這個模塊會從數據、模型兩個方面對模型的綜合能力,包括精度、性能、可信和可解釋性進行綜合評估,最終針對可能存在的問題輸出一些改進模型能力的診斷建議。開發者在這些建議的幫助下,使模型達標,並最終部署成能實際應用的推理服務。

4. 高性能AI計算:資源靈活調度加速行業AI落地

作為AI平臺雲服務,彈性訓練是ModelArts推出的核心能力之一,可以根據模型訓練速度的要求自適應匹配最佳資源數。

具體在產品上,ModelArts提供兩種模式:

變與不變

可以看到,在新版本中,華為雲帶來了新的玩法,提供全流程極簡開發工具,即使是普通的業務人員,基於已有組件,通過拖拽方式即可構建應用。這背後,ModelArts平臺的本質並無二致,依舊是圍繞著開發者的需求與痛點展開,通過AI模型不斷地和實際落地場景交互來得到更優的模型,進而提升AI開發流程的效率。

在1.0版本中(2018年),ModelArts解決了AI一站式開發的行業痛點,華為雲打造了一款比行業更快的AI平臺,致敬開發者。

在2.0版本中(2019年),新增自動學習、端邊雲能力協同,ModelArts關鍵能力凸顯。ModelArts 2.0以全流程的極簡和自動化升級已有的AI開發模式,讓數據準備、算法開發、模型訓練、模型管理、模型推理全鏈條產生質的飛越。

而在3.0版本中(2020年),平臺駛入深水區,輔助AI深入到各行業生產系統。目前華為雲已在10多個行業成功交付了600多個AI項目,積累了豐富的經驗。為了解決企業深入使用端到端生產而推出骨幹模型、聯邦學習等新功能。華為雲EI骨幹模型(EI-Backbone)技術,基於行業小樣本數據訓練高精度模型,提供了AI開發的新範式。

可見,版本的演進背後,是新技術趨勢不斷與行業生產結合,是數字世界供給與物理世界需求不斷碰撞的結果。

一直以來,深度學習分布式訓練不斷發展,各類模型的訓練對於計算設備的需求越來越大,不過由於各種原因,訓練作業的資源還沒有被充分利用。比如l訓練算法代碼本身質量不高、資源利用率低;模型大小和超參數的設置也會顯著地改變計算資源的利用率;資源池整體利用率有波動,類似於「峰谷電」,訓練作業的提交也有高峰期和低谷期,造成很大的資源浪費。

這就不得不提到彈性訓練。

彈性訓練作為ModelArts的核心能力之一,2年來一直在自我錘鍊,根據模型訓練速度的需求自適應實現資源的最佳分配。ModelArts提供兩種模式,一是Turbo模式,可以充分利用空閒資源加速已有訓練作業,訓練速度可提升10倍以上,並且不影響模型的收斂精度;二是經濟模式,可以通過最大化資源利用率給開發者提供極致的性價比,在大多數典型場景下可以提升性價比30%以上。

可見,智能並不是一蹴而就的,而是逐漸進化的,最終從AI開發環節進入到AI落地的每一個場景。

客戶「用腳投票」背後的價值體現

客戶是喜歡用腳投票的——這一點體現在ModelArts 的行業落地屬性上。有2個案例非常經典,一個是華為雲ModelArts支持候鳥保護計劃,另一個是華為雲ModelArts正在支持中科院構建斑馬魚的全腦圖譜。

註:候鳥保護,華為做了什麼

在另一個項目中,中科院正在基於ModelArts繪製斑馬魚腦聯接組的全息地圖,目前重構準確率和召回率已達95%。

中科院腦智卓越中心是一所將腦科學與智能技術相結合的研究實體,是一個了解大腦如何實現各種認知功能的一個機構,首先需要完成一個重要且必要的大科學工程,就是繪製全腦聯接圖譜。

其原理是:藉助斑馬魚幼魚透明的特點,機構可以應用鈣成像技術來觀察活體斑馬魚全腦10萬個神經元的時空放電,從而繪製從各種感覺輸入到行為輸出的全腦活動圖譜,並結合結構圖譜來發掘大腦如何工作的普適規律,進而進行腦功能模擬和理論研究。

通過和華為合作,應用華為雲ModelArts平臺,使用用360條斑馬魚圖像樣樣本所包含的近20萬圖像塊的「金標準」標註數據,訓練出了從前期圖像分割到後期神經元形態追蹤的一整套網絡。

目前重構準確率和召回率已達95%,如果使用多機並行計算,從理論上推算下來,10萬個神經元的總重構時間可以從125年縮短至10天。如果再擴展到小鼠甚至非人靈長類如獼猴,降本增效方面將更加可觀。

當然,這離不開生命科學的知識和技術,也綜合交叉了數學等學科,但是計算機科學特別是AI領域的技術與知識,正成為人類的助手,幫助人類繪製腦圖譜,更幫助人類實現新領域的突破。

雲上開發必將成大勢,商業價值轉化也在加速

就像鄭葉來在現場提到的那樣,目前越來越多的人加入到開發者隊列裡來,而更好的工具將為他們創造更高的技術起點、更敏捷的構建能力、更廣闊的商業成功,未來「雲上開發」可以解決目前面臨的困難。

截止到目前,華為雲已經提供超過210個雲服務,服務全球150萬開發者,華為雲Marketplace和華為AppGallery已經做了強強聯合,TO B(SaaS扶持計劃)和TO C(HMS生態扶持計劃)兩條腿一起走,加速商業價值轉化。(雷鋒網雷鋒網(公眾號:雷鋒網)雷鋒網)

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 華為雲MVP趙筱磊:AI革命的神秘鑰匙,藏在ModelArts上
    個人介紹:趙筱磊,華為雲MVP,有著15年的信息化軟體架構設計、開發與管理經驗,目前任職於天津市萬貿科技有限公司,擔任技術研究院副院長兼技術總監。現主要從事以AI為驅動的信息化軟體研發工作。他認為AI是驅動未來科技的核心引擎,它能以我們從不敢想像的步伐完成各種快速試錯,從而在我們無法預見的點產生無法預見的突破。
  • Forrester發布機器學習報告,「點讚」華為雲ModelArts平臺
    華為雲憑藉領先的技術實力和產品性能、前瞻性戰略位列報告"領導者(Leaders)"象限。Forrester評價稱,華為雲提供全棧預測分析及機器學習服務,是企業在公有雲、本地、邊緣複雜部署場景下的理想選擇。
  • 華為雲ModelArts居中國機器學習公有雲市場份額第一
    近日,國際權威研究機構國際數據公司(IDC)最新發布的《中國AI雲服務市場(2020上半年)跟蹤》報告顯示,華為雲ModelArts位居機器學習公有雲服務中國市場份額第一位。數據來源:IDC《中國AI雲服務市場半年度研究報告,2020H1》報告指出:華為在國內市場具有先天的認知優勢,開發者對於華為的技術、產品、品牌有天然的認知和信賴,很多開發者會非常自然的願意嘗試。華為雲一站式AI開發平臺ModelArts在行業用戶中的主動提及率非常高。
  • 華為雲ModelArts Pro,簡化行業AI落地
    (原標題:華為雲ModelArts Pro,簡化行業AI落地)
  • 探秘ModelArts,解讀IoT 智能設備,華為雲教你玩轉 AI開發!
    11 月 14 日,DevRun 開發者沙龍華為雲即將登陸上海。華為雲技術大咖將帶領開發者玩轉 ModelArts,並解讀華為雲 IoT 服務與 AI 如何實現互通;聚焦華為雲 ModelArts 和 IoT 智能設備,為開發者帶來一場乾貨滿滿的技術盛宴。
  • 10萬級作業可同時進行,華為ModelArts 3.0開大招
    (齊魯晚報·齊魯壹點記者 任磊磊)25日,華為全聯接大會的第三天,宣布華為雲ModelArts 3.0版本出爐。作為業內關心的華為雲AI的重要發布,ModelArts 3.0版本引起很大關注。對於開發者來說,AI開發工具好不好用極其重要,而對平臺來說,能否提供足夠好的開發體驗,是大平臺競爭的基石。
  • 華為雲列Forrester機器學習報告領導者象限,ModelArts加速AI落地
    本次報告對中國市場的9家預測分析和機器學習廠商從戰略、產品和市場表現三個維度進行了全面評估。從報告結果來看,華為雲憑藉領先的技術實力和產品性能、前瞻性戰略位列報告「領導者(Leaders)」象限。Forrester評價稱,華為雲提供全棧預測分析及機器學習服務,是企業在公有雲、本地、邊緣複雜部署場景下的理想選擇。
  • 華為云何淵:30年厚積薄發,為更好的教育賦能|藍鯨商學院企業家特訓營
    課程和導師分別為:《教育創業與創新中的變與不變》——程躍(金色搖籃創始人兼董事長);《教育企業組織力思考》——陳婉青(編程貓COO、原新東方在線幼兒板塊總經理);《人生雙行線——事業家庭並行不悖》——夏春妮(佰冠學堂創始人、資深家庭教育專家);《教培行業商業實戰與盈利剖析——北京優能一對一改革案例》——朱宇(新東方在線副總裁、東方優播CEO)。
  • 刷新電視「N年不變」固有認知 華為智慧屏S系列開創「常用常新」
    「常用常新」顛覆升級體驗 打造以客廳為中心的家庭智慧中心相較電視領域傳統廠商通過版本升級修復問題,華為智慧屏的「常用常新」概念是指通過升級,階段性帶來一個個新的功能、新的場景、新的UI,讓消費者感覺每過一段時間就擁有了一臺「全新」的智慧屏,徹底顛覆了人們對電視N年不變的印象。
  • 企業數據上雲必有一戰,華為雲12.12雲資料庫2折起
    每年的Gartner全球資料庫魔力象限都會對未來三年的市場進行預測,而2020年的預測相比於2019年的預測出現一個顯著的變化,那就是全球75%資料庫將被部署或遷移到雲平臺的時間表提前了一年——從2023年提前到了2022年。進入2020年底,我們將迎來資料庫行業的世紀之戰,企業數據上雲與治理面臨著重大抉擇:本地資料庫與雲資料庫的PK。
  • 2個必殺技!一個擁有幾十年歷史的行業,就要被華為顛覆了?
    艾媒諮詢數據顯示,2020年,春節期間中國遠程辦公企業規模超過1800萬家,遠程辦公人員超過3億人,中國的遠程辦公市場發展潛力巨大。 2020年2月移動辦公各行業用戶規模 但在線辦公,並不代表著僅僅把線下搬到線上,更意味著先進工具帶來更高效的工作模式。
  • 華為雲通過SOC 2全部五大控制屬性審計
    近日,華為雲完成了2020年的SOC審計項目,成為全球首家同時通過SOC 2 Type2五大控制屬性(安全性、可用性 、進程完整性、保密性、隱私性)審計的雲服務商。這又一次表明,華為雲的網絡安全和隱私保護水準達世界一流,可以為客戶提供全面的安全隱私保障及服務。
  • 華為閱讀·DIGIX時光書局帶你走進不同年代 華為終端雲服務創意...
    線上,華為終端雲服務官微推出了#時光帶我讀懂的那些書#專題,引發多家品牌進行藍V轉發互動;華為閱讀端內打造#我和華為閱讀的獨家記憶#話題,與讀者一起回憶華為閱讀成立4年來的美好記憶。線下,華為終端雲服務在華為全球旗艦店·深圳萬象天地打造了為期4天的華為閱讀·DIGIX時光書局快閃店活動,現場呈現了60年代奮進閱覽室、80年代歲月藏書屋、00年代智慧閱讀館三個不同年代的閱讀場景,讀者在沉浸式體驗中感悟閱讀方式變遷,享受當下閱讀並在閱讀中探索更美好的數字生活。
  • 企業數據上雲必有一戰,華為雲12.12雙12雲資料庫2折起
    每年的Gartner全球資料庫管理系統魔力象限都會對未來三年的市場進行預測,而2020年的預測相比於2019年的預測出現一個顯著的變化,那就是全球75%資料庫將被部署或遷移到雲平臺的時間表提前了一年——從2023年提前到了2022年。
  • 康佳用上華為雲,一個不用重複造輪子的故事
    安徽省滁州市南譙區烏衣鎮,原本是一個空曠的農家地,自2017年開始「大興土木」之後,這裡佇立起了一個高教科創城,成為當地的地標。王昭文是滁州高教科創城管理服務中心的副主任,他介紹到,科創城2016年籌備,2017年成立。挖下第一鍬土時,滁州市裡給科創城兩個定位:「跨區域協同創新的實驗區、科技成果轉移轉化的先行區」。
  • 華為雲"Cloud for Good"獲人民網"年度案例獎"
    在今年七月舉辦的華為深圳城市峰會上,張鵬介紹,華為雲Cloud for Good已聯合200多家合作夥伴聚焦"推進均衡發展、保護脆弱環境、促進健康福祉、平等優質教育"四大領域的社會話題,將Cloud for Good行動帶到了20個城市,惠及了2000多萬人,持續為各行業注入源源不斷的雲動能,全力成就每個不凡的選擇。
  • 實踐裡跑出的雲原生2.0,華為雲告訴你什麼是「立而不破」
    華為雲產品副總裁方國偉在介紹為華為雲的雲原生2.0全景圖時表示,目前華為雲原生基礎設施全面升級,來更好的賦能企業智能升級,助力企業能夠隨時隨地的實現 「資源高效、應用敏捷、業務智能、安全可信」的雲原生服務。
  • 華為手機雲空間滿了,不想升級雲空間,如何處理
    華為手機出現雲空間滿了,又不想升級雲空間,最近遇到一位同事諮詢這樣的問題,如何處理呢?我想可以換個方式進行備份,然後將雲空間那份備份刪除,以騰出空間出來,要不升級雲空間,沒有其他更好辦法,那如何處理,現分享下我處理方法,希望本文能幫到你。
  • 尤雨溪介紹 Vue 3:語法不變、TS 支持很好、2.0 系列還會發一個版本
    此前 Vue 發布了 3.0 的 beta 版本,不久後項目核心開發者尤雨溪公開分享了關於該版本的相關信息。瀏覽器兼容方面,目前的版本需要在 runtime 環境中使用原生的 ES2015+,並且尚未支持 IE11,但是 Vue 3 將會支持 IE11,實現方式是使用獨立的 build 版本。
  • 關於華為員工「萬言書」實際上有兩個版本,另一個鮮為人知
    先來看一下第一個版本的「萬言書」大家都知道華為對人才是非常重視的,所以在華為上班的人工資都非常高,年薪動不動就是幾十萬,上百萬,甚至有一些博士畢業生剛畢業進入華為,年薪就可以達到200萬以上,這是非常讓人羨慕的。