主流深度學習框架的最新研究進展與應用

2022-01-07 DataFunTalk
深度學習相對於傳統統計機器學習功能上更強大,但內核卻更簡潔,僅須張量計算和梯度下降算法這兩個核心概念就可包羅萬象,這為包括AI編譯器,面向訓練和推理的AI框架,向量引擎以及MLOps平臺等方向的AI基礎設施軟體帶來了前所未有的標準化機會。AI基礎設施軟體技術橫跨深度學習算法、程式語言、編譯器、資料庫、分布式系統、高性能網絡和AI晶片等多個前沿領域,也是當前學術界和產業界共同感到興奮的新領域。2021年10月30日,由DataFun主辦的DataFunSummit:AI基礎軟體架構峰會如約而至,本次峰會由阿里雲林偉老師,騰訊潘欣老師,一流科技袁進輝老師精心策劃而來,將全程直播!

AI基礎設施軟體的重要性毋庸多言,它承載了提升工程師生產效率,釋放硬體計算能力,拓展硬體靈活性等諸多關鍵角色,毫無爭議成為人工智慧的「大腦」,恰逢開源和雲原生兩個發展大勢,AI基礎設施軟體隱隱然正形成一個新的產業。下面就讓我來看看都有哪些Topic以及日程安排吧!




隨著AI技術深入到人們生活的各個領域,AI基礎軟體也經歷了較大的發展,其中最核心的深度學習框架從萌芽期的Torch,Theano,到上升期的Caffe,TF,Pytorch,到如今整個生態的繁榮,比如DeepSpeed,無量,Ray,MLIR等等。另外AI基礎軟體的周邊生態也呈現出非常繁榮的景象,比如模型部署Serving的TFServing,Triton,AutoML工具NNI,Katib,以及AIFlow比如TFX和KubeFlow。AI基礎軟體極大的推動了AI技術的發展和應用。另外我們也看到未來AI Everywhere的趨勢越來越明顯。將來大部分的微服務都會是AI模型服務,軟體工程的過程也會從Programming變成Training。面向未來,還有非常多算法和工程上的挑戰需要攻克。比如AI龐大算力和能源開銷,AI晶片應用和調優人力成本較大,以及跨框架和軟體的兼容等等。——峰會主席:潘欣 騰訊PCG機器學習平臺部和應用架構平臺部技術負責人

深度學習應用已無處不在,除了眾所周知的計算機視覺、語音識別、自然語言處理以及網際網路公司流量變現所倚重的搜索推薦廣告技術,深度學習正以「軟體2.0」的姿態進入到生物製藥、新材料以及科學計算等領域。深度學習相對於傳統統計機器學習功能上更強大,但內核卻更簡潔,僅須張量計算和梯度下降算法這兩個核心概念就可包羅萬象,這為包括AI編譯器,面向訓練和推理的AI框架,向量引擎以及MLOps平臺等方向的AI基礎設施軟體帶來了前所未有的標準化機會。AI基礎設施軟體技術橫跨深度學習算法、程式語言、編譯器、資料庫、分布式系統、高性能網絡和AI晶片等多個前沿領域,也是當前學術界和產業界共同感到興奮的新領域。AI基礎設施軟體的重要性毋庸多言,它承載了提升工程師生產效率,釋放硬體計算能力,拓展硬體靈活性等諸多關鍵角色,毫無爭議成為人工智慧的「大腦」,恰逢開源和雲原生兩個發展大勢,AI基礎設施軟體隱隱然正形成一個新的產業。

多年以來,隨著多內網際網路業和人工智慧創業浪潮的蓬勃發展,國內的人工智慧應用的水平已進入世界前列,龐大的的場景和高水平的工程師群體為AI基礎設施軟體的發展提供了良好的發展機遇。在籌備此次活動的過程中,我們深切感受到,無論是AI基礎設施軟體的深度用戶還是開發人員都希望更多的了解行業現狀和發展趨勢,需要一個學習和交流舞臺。此次會議上將要分享的話題廣度和深度都創新高,演講嘉賓無論是來自科研機構,知名企業還是新銳初創企業,背後都是各個技術方向最有代表性、最有影響力的項目。我們期待組織這次峰會可以為國內AI基礎設施軟體的發展貢獻一份微薄的力量。


相關焦點

  • 2019 到目前為止的深度學習研究進展匯總
    在剛剛結束的2019年的第一季度裡,深度學習技術在快速的向前發展。我經常會去查看相關研究人員的工作,以便了解這項技術的進展。這項工作讓我能夠了解到很多我不知道的事情,然後以此優化自己的工作時間安排。最近關於條件生成對抗網絡(conditional generative adversarial networks,GANs)的研究表明,在自然圖像上學習複雜的高維分布是可行的。雖然最新的模型能夠在高解析度下生成高保真度、多樣化的自然圖像,但它們依賴於大量的標註數據。這篇論文展示了如何從最新的自我和半監督學習研究中獲得啟發,從而在無監督的圖像合成和條件設置方面都優於當前的最好效果(SOTA)。
  • 《強化學習周刊》第21期:EMNLP 2020-2021強化學習的最新研究與應用
    強化學習近年來取得了令人矚目的成就,其應用於各個領域的研究也取得較大的進步。人工智慧頂會EMNLP 2020-2021對強化學習取得了一系列矚目的進展進行了發布,比如基於梯度模擬強化學習的低資源關係抽取、基於時間知識圖預測的強化學習、基於細粒度評估指導強化學習的關鍵短語生成、基於強化學習的多段閱讀理解交互式小說遊戲 、通過強化學習進行文檔級神經機器翻譯的動態上下文選擇相關的理論及其最新應用等。
  • 7篇ICLR論文,遍覽聯邦學習最新研究進展
    機器之心分析師網絡作者:仵冀穎編輯:H4O本篇提前看重點關注 ICLR 2020 中關於聯邦學習(Federated Learning)的最新研究進展。本篇提前看重點關注 ICLR 2020 中關於聯邦學習(Federated Learning)的最新研究進展。聯邦學習是一種在分布式網絡中實現的客戶端本地存儲數據並訓練局部模型、中央伺服器匯聚各客戶端上載數據後訓練構建全局模型的分布式機器學習處理框架。
  • 如此多的深度學習框架,為什麼我選擇PyTorch?
    尤其是近兩年,Google、Facebook、Microsoft等巨頭都圍繞深度學習重點投資了一系列新興項目,他們也一直在支持一些開源的深度學習框架。目前研究人員正在使用的深度學習框架不盡相同,有 TensorFlow 、Caffe、Theano、Keras等,常見的深度學習框架如圖2所示。
  • 論文快報 | 推薦系統領域最新研究進展
    該領域的最新進展是基於多channel檢索,從海量的候選信息中有效地度量用戶對物品的興趣。然而,現有的工作主要是建立在預定義的檢索channel上,包括User-CF (U2U)、Item-CF (I2I)和embedded-based retrieval (U2I),從而檢索用戶與物品之間有限的相關性,這些相關性僅僅來自潛在交互的部分信息。
  • 清華大學朱軍:貝葉斯學習回顧與最新進展|YEF 2020
    ,解讀他們心目中的經典機器學習與數據挖掘算法,並與大家分享了這些算法的起源、應用與影響。這個方向下有兩個主題,一個是用貝葉斯做深度學習(Bayesian Deep Learning),另一個是用深度學習做貝葉斯(Deep BayesianLearning)。貝葉斯方法和深度學習方法的「聯姻」可以追溯到上世紀90年代的甚至更早,當時大家主要研究的是如何用貝葉斯方法進行神經網絡的計算,或者進行神經網絡結構的選擇。
  • 深度學習框架哪家強?國產框架OneFlow做了一份測評報告
    機器之心報導 機器之心編輯部 近日,國產深度學習框架 OneFlow 發布了人工智慧方向深度學習領域的 DLPerf 測評報告。
  • 深度學習進階應用 | TechX 2020
    而這一切技術的實現,都運用到了深度學習的框架以及模型。這場開發會後不久,一場突如其來的疫情改變了所有人的生活。如今,整個世界依舊籠罩在 COVID-19 的陰影之下。在抗疫的過程當中,不少基於深度學習的應用也都起到了極大的作用。比如 CT 人工智慧輔助診斷產品,幫助醫生在檢測和判斷的效率上提高了 50%,深度學習的效用可見一斑。
  • 2020年深度學習發展大盤點及對2021年深度學習的未來展望|極客雲算
    深度學習框架作為AI底層工具,對個人而言是進入深度學習世界的一把鑰匙,掌握深度學習框架並不等於理解了深度學習,要在AI開發中有所作為,關鍵還是要真正理解框架背後的技術、實踐和生態。隨著近年來的人工智慧發展,2020年深度學習依然是發展最快的領域之一,直奔未來工作。其發展是多方面的,而且是多方位的。
  • 華為重磅開源全場景AI計算框架MindSpore!計算視覺研究成果及新...
    全場景AI計算框架MindSpore正式開源華為MindSpore首席科學家、IEEE Fellow陳雷教授現場宣布,華為全場景AI計算框架MindSpore在碼雲正式開源,並將致力於構築面向全球的開源社區,持續推動AI軟硬體應用開源生態繁榮發展。
  • 深度測評 | 五大主流多端開發框架全面對比
    國內外筆者選擇了一共5個主流的測評對象,分別是RN,Flutter,Ionic,NativeScript,以及用友APICloud團隊開發的AVM。1.1 React NativeRN 是Facebook於2015年4月開源的跨平臺移動應用開發框架,到現在已經發展了6年多了,目前最新版本是0.66,2021年12月10日還有更新發布小版本,整體來看框架還是非常有生命力的。
  • 神經渲染最新進展與算法(一):語義圖像合成
    在生成對抗網絡等深度學習方法基礎上,語義圖像合成近兩年取得了許多令人印象深刻的進展,比如GauGAN等。本文簡單介紹了神經渲染,著重分析了語義圖像合成的一些最新應用。本文還分析了語義圖像合成的最新算法實現結構、新型算子及計算特徵。通過深入理解神經渲染相關技術,我們也期望能借鑑和吸收其中的創新思路,應用到物理仿真等AI融合科學計算領域。我們將持續關注這一領域的發展,並不定期分享我們的認識。
  • 我的深度學習入門路線
    轉折點是 2012 年, AlexNet 的出現,直接將錯誤率降低了近 10 個百分點。這是之前所有機器學習模型無法做到的。2015 年,包含 152 層神經元的 ResNet 模型,竟然將錯誤率降低至 3.57%,這甚至比人類肉眼識別的準確率還高!除了在圖像識別方面,深度學習在機器翻譯領域也取得了飛躍式的發展。
  • 圖注意力網絡一作:圖表徵學習在算法推理領域的研究進展
    機器之心整理演講者:Petar Veličković整理:Racoon、張倩這是一份來自 DeepMind 研究員、圖注意力網絡一作 Petar Veličković 的演講,他為我們介紹了圖表徵學習在算法推理領域的研究進展
  • 小米高管談深度學習框架MACE:被多家軟體公司的APP集成
    集微網9月29日消息(文/數碼控),小米集團副總裁、小米技術委員會主席崔寶秋在昨天晚間談到了深度學習框架MACE。圖片來源:微博崔寶秋稱,為了將小米算法團隊的諸多技術成果通過AI框架儘快地落地到手機上,2017年,在考察當時流行的深度學習框架並反覆權衡之後,小米決定研發自己的移動端深度學習推理框架,並於2018年對外推出並開源了專門為移動端設備優化的深度學習推理框架
  • 深度學習開發者盛會、神秘嘉賓首次露面...這場峰會還有更多驚喜...
    在深度學習開源路上,百度飛槳始終保持著高頻升級迭代。由深度學習技術及應用國家工程實驗室與百度聯合主辦的WAVE SUMMIT 2020深度學習開發者峰會,定檔5月20日召開,並首次採用線上直播的方式舉辦。這也是繼2019年春秋兩場WAVE SUMMIT深度學習開發者峰會後,飛槳引領深度學習技術發展,分享產業實踐落地、人才生態建設最新成果的開發者盛會。
  • 人工智慧在醫學影像中的應用研究——超聲跨模態影像分析
    多模態醫療影像分析技術的最新進展 醫療影像中有著豐富的多模態信息。多模態醫療影像分析可以大致分為幾個方向:缺失多模態影像生成、多模態影像融合與配準以及基於多模態影像的自動診斷等。 缺失多模態影像生成是醫療影像分析的一大重點。
  • WAVE SUMMIT+2020深度學習開發者峰會召開,飛槳開源生態繁榮成勢
    百度首席技術官、深度學習技術及應用國家工程實驗室主任王海峰在致辭中表示,「開源開放對人類社會過去幾百年科學和技術的發展起到非常重要的作用,讓我們可以更快追蹤到最新的技術進展,並將改進意見以及創新思想迅速進行反饋,形成一個正循環,進一步推動科技的創新迭代。當下,中國開源力量正在影響全球的科技創新。同時,在以深度學習為代表的人工智慧發展浪潮中,產業界已經成為驅動開源開放的重要力量。
  • 深度學習開發者的情人節520,飛槳將帶來哪些大消息
    這也是繼2019年春秋兩場WAVE SUMMIT深度學習開發者峰會後,飛槳引領深度學習技術發展,分享產業實踐落地、人才生態建設最新成果的開發者盛會。峰會定檔5.20的消息一經發布,便引起廣大開發者的極大關注。據官網信息,峰會主論壇於上午十點開始。百度首席技術官、深度學習技術及應用國家工程實驗室主任王海峰將做開場致辭。
  • 百度飛槳秀出最新成績單,產業應用、人才培養、開源生態全面繁榮
    12月20日,由深度學習技術及應用國家工程實驗室與百度聯合主辦的WAVE SUMMIT+2020深度學習開發者峰會在北京舉辦。百度飛槳作為國內開源最早、技術領先、功能完備的產業級深度學習平臺,繼520峰會之後,持續發布前沿產業洞察,重磅技術升級和開源生態成果。