12月20日,由深度學習技術及應用國家工程實驗室與百度聯合主辦WAVE SUMMIT+ 2020在北京盛大舉行。
峰會上,百度首席技術官王海峰及研究團隊向開發者們展示了飛槳八大全新發布與升級,包括:
有支持前沿技術探索和應用的生物計算平臺 PaddleHelix 螺旋槳,開發更加便捷的飛槳開源框架 2.0 RC 版,端雲協同的 AI 集成開發環境 BML CodeLab,支持更強大分布式訓練的業界首個通用異構參數伺服器架構,開源算法庫增至 200+,飛槳企業版 EasyDL 智能數據服務升級,飛槳硬體生態路線圖以及攜手全球開發者開啟「大航海」計劃。
飛槳(PaddlePaddle)是百度深度學習開發平臺,也是國內最早開源的深度學習框架。
2020年,在新基建浪潮下,AI市場加速下沉,各行各業都拉開了智能化升級的大幕。在以深度學習為代表的人工智慧發展浪潮之下,深度學習技術在賦能行業智能化轉型中發揮了重要作用。
在本次峰會上,作為人工智慧技術創新和產業發展的基礎設施,百度飛槳再次交出一份亮眼的成績單。
百度副總裁吳甜在會上表示,截止目前,百度飛槳凝聚開發者265萬, 創造模型超過34萬;攜手20家硬體廠商,適配晶片與IP型號29種;服務企業超10萬家,覆蓋金融、交通、物流等數十個行業。
據此前報導,在今年5月的WAVE SUMMIT+峰會上,百度飛槳發布35項全面升級以及飛槳全景圖,當時平臺開發者數量、模型數量、服務企業數量分別為190萬、23萬和8.4萬,對比目前來看,飛槳的技術與生態發展顯然正在提速。
接下來,我們來逐一揭秘飛槳的最新升級成果。
百度飛槳首次將行業觸角伸向了全新的生物計算領域。峰會上,百度集團副總裁吳甜重磅發布了基於飛槳的生物計算平臺——螺旋槳(PaddleHelix)。
螺旋槳是一款生物計算開源工具集,提供包括RNA二級結構預測、大規模的分子預訓練、DTI藥物靶點親和力預測以及ADMET成藥性預測等在內的新藥研發和疫苗設計環節的核心能力,為生物信息學、計算機交叉學科背景的學習者、研究者和合作夥伴,更便利地構建AI算法模型。
此前,百度研究院面向全球疫苗研發機構及研究中心等公益開放了LinearDesign算法,並開源了RNA二級結構預測的Linear系列算法。最近,國際頂尖人工智慧峰會The AI Summit舉辦,百度憑藉LinearFold和Linear算法在新冠抗疫中的表現,榮獲AIconics首屆「AI For Good」人工智慧向善獎。
吳甜表示,螺旋槳生物計算平臺將秉承一貫以來的開源開放原則,與合作夥伴共建共享,未來形成一套完整的面向行業的生物計算生態和服務。目前百度推出的《基於機器學習的生物計算平臺技術要求》,已成為行業內首個生物計算平臺的標準立項。
從今年5月飛槳發布全新全景圖,再到螺旋槳這一重磅工具組件的「加盟」,可見,飛槳平臺在不斷迭代拓新,持續提升核心能力同時,進一步夯實了人工智慧開源開放與創新發展的底座。
峰會上,更讓開發者們驚豔的是飛槳開源框架V2.0RC版的重磅發布。
百度深度學習技術平臺部高級總監馬豔軍表示,在新框架下,飛槳動態功能更加成熟、API功能更加強大,「編程一致」、「動靜統一」的特性將為開發者們帶來全新的體驗,同時也將為深度概率編程、量子機器學習等前沿學術研究提供更好的支持。
飛槳 2.0RC 版已將默認的開發模式正式升級為動態圖模式。
靜態圖和動態圖是深度學習框架的兩種主要編程範式。靜態圖模式能夠對整體性做編譯優化,有利於性能的提升,而動態圖的優勢在於便於用戶調試。
馬豔軍介紹稱,全新升級版飛槳融合了兩種變成範式的優勢,在保證性能的同時,可方便開發者隨時查看變量的輸入、輸出,或者使用 Python 原生的控制流靈活組網。
此外,為了克服動態圖在C++語言部署上的挑戰,飛槳 2.0RC還提供了完備的動轉靜支持。在動態圖編程調試的過程中,開發者僅需添加一個小小的裝飾器,就可以無縫平滑地自動轉靜態圖訓練部署。同時,2.0RC 版本的飛槳還做到了模型存儲和加載的接口統一,保證動轉靜之後保存的模型文件能夠被純動態圖加載和使用。
飛槳V2.0RC版本中還有一項重大的變化:API體系的全面升級。會上,馬豔軍主要介紹升級版API的三大特性:
一是體系化:新增了200多個API,並對所有API進行了全量功能增強以及體系化分類;
二是簡潔性:實現了高層API與基礎API一體化設計,有助於開發者的交叉使用;高層API的發布可減少大量模型的訓練代碼,實現簡易開發。
三是兼容性:V2.0RC版完全向前兼容,它還提供了遷移工具,基於其他底層框架的開發,同樣可遷移至飛槳V2.0實現預測和部署。
隨後,馬豔軍還正式推出了大規模分布式訓練的升級——業內首個通用異構參數伺服器架構,它可以大幅提升訓練效率,節約成本,真正實現訓練效率最優化;
在搜索推薦領域,通用模型常常有大規模稀疏特徵的特點,在訓練IO密集型任務時,通常需要CPU來搭建參數伺服器架構。但為了更好的性訓練效果,開發者常常會在推薦模型中增加越來越複雜的網絡結構,這使訓練算力成為一個很大的問題。
傳統架構要求硬體類型必須一致,無法加入算力比較強的硬體,但如果完全替換成GPU硬體,它有不擅長處理IO密集型任務。
馬豔軍稱,在這種背景下,我們提出了異構參數伺服器訓練架構,通過性能測試,在相同硬體條件下,異構參數伺服器比單純的非異構的硬體能夠提升65%以上,同時它還可以保持非常高的性價比,比如2個CPU加上2個GPU就可以達到4個GPU相應的速度。
除了大規模分布式訓練外,開源算法庫也進行了同步升級。目前,開源官方算法數量已從140+擴展到了200+,其中包括各個領域的多種算法,並且大多數算法已升級到了動態圖實現。
最後,馬豔軍正式對外發布了飛槳硬體生態路線圖。從今年5月份發布了硬體生態圈共建的計劃以來,百度已經與20家晶片硬體企業達成了合作,目前正在適配和已經完成適配的晶片和IP型號已達29種,這在國產晶片支持上面佔據了絕對的領先優勢。
飛槳企業版也帶來了最新升級。峰會上,百度AI平臺研發部總監忻舟介紹了飛槳企業版發布和升級的兩大亮點功能:全新AI集成開發環境和智能數據服務平臺。
飛槳企業版包括零門檻AI開發平臺EasyDL和全新功能AI開發平臺BML,分別針對AI應用開發者和AI算法開發者提供開發體驗。
忻舟首先介紹了BML的最新成果,即端雲協同的AI集成開發環境BML CodeLab。考慮到開發者在使用BML時更關注算法的開發效率,比如它的應用性、參數調優、實驗管理等。忻舟表示,BML CodeLab為開發者提供了三大特性:開發體驗增強、開箱即用的便捷性以及端雲協同能力。
優化體驗,BML CodeLab優化了50多個項目體驗,包括GPU環境簡化,任務管理,專有庫分發等,其中最具特色的是LSP((Language Server Protocol)的集成。
開箱即用:其客戶端內置飛槳文心(ERNIE)NLP套件及單機高性能技術引擎。
端雲協同:支持將本地任務無縫擴展到包括百度智能雲在內的多個雲端算力平臺,加強客戶端的可擴展性和靈活性;
EasyDL是專門為零開發基礎的用戶設計的AI應用平臺,內置了視頻、圖像、文本、語音等6個技術方向高精度預訓練模型,用戶只需將業務數據置於其中,並進行標註,平臺可自動根據任務需求進行模型訓練。為了應對複雜的數據處理過程,EasyDL為開發者提供了智能數據服務服務平臺Easy Data,它可提供從數據清洗、數據擴充、數據標註,到管理分析,再到模型上線後的數據回流的一站式便捷服務。
關於本次的技術升級,忻舟也主要講了三個方面:
核心算法和硬體升級:使智能標註時長平均減少74%,物體檢測和圖像分割上準確性分別提升了6.4和3.2個百分點。
多人標註能力升級:深度學習任務需要大量數據標註,擔任標準難以滿足數據量需求;滿足多人標註能力,同時解決了傳統數據分發、審核的難題;提供了標籤管理特色功能,讓數據處理更加靈活、高效。
數據清洗升級:基於飛漿的人臉識別和人體識別模型,過濾大量無效樣本,顯著提高了數據處理效率。
吳甜表示,百度飛槳正在各行業、多地域、眾領域發揮作用並產生更大的影響,峰會上,她從產業應用、人才培養以及開源生態建設分享了飛漿生態的最新成果與未來計劃。
在產業應用方面,飛槳平臺擁有超過34萬個模型,服務了超過10萬家企業。吳甜表示,從平臺數據統計來看,飛槳的行業應用品類的分散程度明顯在增加,越來越多的行業及企業開始藉助飛槳實現產業智能化升級。
峰會上,來自新能源領域的寧德時代科技公司、中國石油領域的崑崙數智科技公司現場分享了使用百度飛槳的項目經驗與成果。同時,百度飛槳與深度學習技術及應用國家工程實驗室聯合為12家企業頒發了「產業應用創新獎」 。
在人才建設方面,百度飛槳凝聚了265萬開發者,累計提交超過16萬次,開源貢獻者超過了5000位,其中97位優秀的開發者通過層層篩選成為了百度飛槳開發者技術專家(PPDE)。在高校人才方面,飛槳也在持續投入,截止目前,飛槳的全國師資培訓計劃已經覆蓋500多所高校,支持200餘所高校開設學分課程;AI大賽覆蓋全球五大洲22個國家580所高校;累計舉辦線上直播可176次,在AI Studio上累計學習的人次超過了290萬。
未來針對AI人才培養,尤其是高校人才培養,飛漿還將持續加大力度。峰會上,百度AI技術生態部總經理劉倩重磅發布了飛槳「大航海」計劃。
該計劃包含:面向核心開發者的「領航」、面向人才培養的「啟航」和面向產業智能化升級的「護航」三個部分。
劉倩表示,圍繞高校人才培養的啟航計劃,未來三年,百度飛槳將投入總價值5億元的資金與資源,支持全國500所高校,重點培訓5000位高校AI教師,聯合培養50萬AI未來人才。
除了產業共進、人才共育之外,百度飛槳也在攜手合作夥伴共建開源項目,驅動技術創新。此次大會上,清華大學計算機系教授、深度學習技術及應用國家工程實驗室副主任朱軍介紹了珠算深度概率編程與百度飛槳的合作,依託飛槳框架成熟的底層功能和動靜統一的開發體驗,更好地支持深度概率編程工具開發和前沿技術探索。
可以看出,百度飛槳的產業生態正在加速滲透到社會各界。
265萬開發者、十多種行業超10萬家企業,作為國產最大的深度學習平臺,百度飛槳歷經四年,憑藉不斷的技術升級、迭代逐漸獲得了業界的認可和青睞,同時也逐漸在以Tensflow、PyTorch為首的壟斷市場佔據了一席之地。
與此同時,透過飛槳的技術創新與產業發展路徑,我們也可以看到,開源開放作為其核心驅動力的巨大潛力。
如王海峰所說,開源開放讓我們可以更快追蹤到最新的技術進展,並將改進意見以及創新思想迅速進行反饋,形成一個正循環,進一步推動科技的創新迭代。
雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網
雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。