獨家丨2017全國深度學習技術應用大會回顧:傳統的AI研究方法,在DL...

2021-01-09 雷鋒網

雷鋒網按:2016年無疑是深度學習最為火熱的一年,深度學習在語音、圖像、自然語言處理等領域取得非常突出的成果,成了最引人注目的技術熱點之一。雷鋒網也報導過多次關於Google、Facebook、微軟、百度在內的各大技術巨頭都在不遺餘力地推進深度學習的研發和應用。

2017年深度學習的勢頭依舊迅猛,並以更快的速度滲透在各個行業當中,對世界產生深遠影響。

深度學習不但使得機器學習能夠實現眾多的應用,而且拓展了人工智慧的領域範圍,並使得機器輔助功能都變為可能。其應用領域正在加速滲透到很多領域,也催生了深度學習與其它應用技術的加速融合。

為提升一線科研人員更加深入了解深度學習,中國電子學會於2017年3月25-26日在北京舉辦了「2017全國深度學習技術應用大會」,中國電子學會林潤華副秘書長到會並講話。大會主席王亮研究員,大會副主席季向陽教授、俞俊教授主持了大會的專家報告。


會議邀請到了國內深度學習技術領域的著名專家就深度學習技術的應用和最新動態做特邀報告。與此同時,中國電子學會也請到了深度學習技術相關科研單位和高新技術企業,宣傳展示他們在深度學習技術領域的研究成果、新產品和市場化內容。

出席此次活動的嘉賓有(按報告議程排序):中國科學技術大學計算機學院陳恩紅教授、微軟亞洲研究院研究員楊奎元博士、浙江大學人工智慧研究院所所長吳飛教授、IBM中國研究院研究總監蘇中博士、北京大學數字媒體研究所副所長王亦洲教授,百度IDL技術方向負責人周杰、清華大學自動化系季向陽教授、今日頭條實驗室技術總監王長虎教授、蘇州大學計算機學院副院長張民教授、NVIDIA中國區高性能計算及Applied Deep Learning 部門技術經理賴俊傑博士、中國科學院計算機網絡信息中心副研究員趙地博士、華南理工大學二級教授金連文、格靈深瞳CTO鄧亞峰、中科院自動化所模式識別國家重點實驗室研究員黃凱奇博士。

以下為14位嘉賓在「2017全國深度學習技術應用大會」中所做的報告,雷鋒網(公眾號:雷鋒網)對大會進行了全程報導:


首先,中國科學技術大學計算機學院陳恩紅教授做了《面向自然語言處理的深度學習方法及應用》的報告,這次報告回顧和討論了深度學習在自然語言處理領域的最新研究進展,然後重點介紹深度學習方法在彈幕語義表示,詩歌生成,實體蘊含關係識別,試題難度預測的相關應用。

人工智慧需要大量的人工,包括標註大量訓練數據,設計數據表徵、模型等。深度學習將數據表徵融進了模型的端到端學習,在大量任務中學得了遠優於專家設計的數據表徵,釋放了這部分的人工投入,然而標註訓練數據仍然需要大量的人工。

針對這一問題,微軟亞洲研究院研究員楊奎元博士發表了《基於大規模弱標註數據的深度學習》的報告,楊奎元博士指出:為進一步減少這一部分的人工,他們團隊對弱標註數據下的深度學習進行了一些探索。隨著所要求監督信息的減弱,可用訓練數據會大量增加。同時,深度模型已經具有了很好的推廣能力,研究員們可用深度模型代替人工對弱標註數據自動進行強標註,生成更高質量的訓練數據,從而訓練更好的模型。

近年來,以數據驅動為核心的深度學習通過逐層抽象方式形成原始數據區別性表達,在自然語言、語音和計算機視覺等領域取得了顯著進展。但是,這一任務式、刺激式的學習機制依賴於大量標註數據,如何形成解釋性強、數據依賴靈活和知識引導的模型和方法,是人工智慧下一步發展面臨主要挑戰之一。

浙江大學人工智慧研究院所所長吳飛教授發表報告:《序列學習——數據驅動與知識引導相結合的人工智慧模型與方法》,對這一挑戰問題的若干思考以及在知識圖譜構建、Q-A問答和序列學習等方面的一些研究工作。

深度學習的能力來自於帶有標註信息的大數據學習樣本同深層神經元網絡在複雜特徵空間上泛化能力這兩方面的完美結合。深層神經元網絡實質上是基於人們對於腦的初步認識基礎上的一種仿生模擬,深度學習在一些應用的突破從一個側面展示了腦機理的研究對於智能技術發展的重要性。

IBM中國研究院研究總監蘇中博士針對腦機理這一議題,發表了《Computing Future:Brain Inspired and Quantum》報告,蘇中博士提到,智能的本質來源於腦的工作機理,我們對於腦不斷的認識、不斷的理解,應用到我們的計算技術中,這就是腦啟發計算,也是IBM認知計算中一個重要的方向。 

有了深度學習之後,對傳統的計算機視覺研究造成了一定的衝擊,這之後,視覺的機理和特點會是未來研究的一大方向。北京大學數字媒體研究所副所長王亦洲博士在大會中講解了《基於自主學習的視覺搜索與導航》這一報告。

深度學習近兩年的成功離不開他在工業界中的大量應用,百度IDL深度學習技術方向負責人周杰根據他在工業界的經驗,在大會中作了以《深度學習這兩三年》為主題的報告,內容包括優化算法、模型設計、並行工程、語言理解、長短記憶時序模型、注意力模型、語義角色標註、機器翻譯、蜂巢廣告觸發、卷積神經網絡、時序神經網絡、Image Caption和Image QA等。

隨後,清華大學自動化系季向陽教授在大會中做了《物體檢測與分割深度學習的發展及應用》的報告,季向陽教授首先介紹全卷積網絡在語義分割與實例掩模研究方面的進展,之後介紹面向實例關聯語義分割任務的端到端全卷積網絡解決方案。該網絡結構具有高度的集成性和高效性,可以聯合執行實例預測和分類,其中的卷積表示層可以被兩子任務所共享,從而在分割的精度和效率性能上取得良好的效果。進一步從全光函數定義出發,探討如何從傳統單一維度成像拓展到多維耦合成像與解耦重建的計算攝像,實現多維多尺度的傳感成像方法。最後,針對雷達、定位信息(GPS,裡程計,慣導等)等具有多傳感信息的自動駕駛平臺,介紹端到端視覺系統學習中目標(如紅綠燈、車道線與行人等)的識別與檢測算法以及相應的硬體實現。

系統地研究如何把一個訓練好的神經網絡變化成為一個新的網絡,並且保持原有神經網絡的功能完全不變,該過程定義為網絡變形。

針對網絡變形的主題,今日頭條人工智慧實驗室技術總監王長虎博士發表報告:《網絡變形:一種新的神經網絡學習理念》,王長虎介紹到:在父網絡變形之後,我們期望得到的子網絡能夠完整繼承父網絡的知識,同時在更短的時間裡繼續增長為一個更強大的網絡。這種網絡變形的第一個要求是它能夠處理各種網絡變化的能力,包括深度的變化,寬度的變化,內核大小的變化,甚至是整個子網絡的變化。為了滿足這個要求,我們首先引入網絡變形方程,然後為所有這些變化類型提出了變形算法。這些變形算法對於經典神經網絡和卷積神經網絡都適用。網絡變形的第二個要求是它能夠處理神經網絡中非線性的能力。為此,我們提出了參數激活函數族的概念,以幫助任何非線性連續激活神經元函數的變形。實驗結果顯示,我們提出的網絡變形的神經網絡學習理念在標準數據集和典型的神經網絡上都是有效的。 

自然語言理解和機器翻譯被認為是人工智慧的核心難題之一,那麼什麼是自然語言理解?其研究現狀、挑戰和未來的發展方向是什麼?近兩三年來,深度學習技術使很多人工智慧問題的準確率得到顯著提升,那麼深度學習技術為自然語言理解和機器翻譯帶來了哪些新的發展機遇?它又是如何解決自然語言理解和機器翻譯問題?下一步發展方向是什麼?蘇州大學計算機學院副院長張民教授發表報告:《面向自然語言理解和機器翻譯的深度學習》。

GPU作為人工智慧計算的基礎,其核心生產商NVIDIA也自然隨著人工智慧的火熱進入了井噴式的發展期。此次大會中,NVIDIA中國區高性能計算及Applied Deep Learning部門技術經理賴俊傑博士在大會中做了《深度學習應用到視頻智能處理的產品化實踐》的報告。

3月25日最後的報告主題是《深度學習與醫療影像大數據分析》,由中國科學院計算機網絡信息中心副研究員趙地博士講述。趙地博士說道,醫療大數據主要包括電子病歷(Electronic Health Record)數據,醫學影像數據,基因信息數據等。其中,醫學影像數據佔現階段醫療數據的絕大部分。如何將醫療大數據運用於臨床實踐?這是醫學和計算機研究人員都很關心的問題,而智能影像與深度學習提供了一個很好的答案。報告結合醫學影像大數據分析的最新研究進展和本課題組在醫學影像大數據分析領域的工作,特別是在阿爾茨海默病的核磁共振早期診斷為例,介紹了智能影像和深度學習在醫療大數據分析與疾病早期診斷領域的應用。

3月26日的第一場報告是由華南理工大學金連文教授演講,主題為《深度學習及其在文字識別中的應用實踐》。在此報告中,金連文簡要回顧了深度學習的主要技術及其在圖像識別、文字識別等方面一些最新研究進展,同時介紹基於 Path Signature 及深度學習的手寫文字識別新方法,以及面向文字識別的DropSample、DropSegment等深度學習訓練技術,並展示了基於深度學習的幾個應用演示系統,包括在線大類別文字識別、人臉美麗顏值打分、面向特定領域的OCR在線識別應用等演示系統。

作為AI創業公司的代表之一,格靈深瞳的CTO鄧亞峰也在大會中發表報告《計算機視覺大規模應用的必經之路》,鄧亞峰首先介紹了計算機視覺的研究目標、應用趨勢及面臨的挑戰和機遇,其次,就如何讓深度學習和數據形成良好循環、深度學習遇到depth、讓「感」和「知」互動起來、少即是多、由感知到行動等闡述自己的認識,最後,提出計算機視覺大規模應用的必經之路。 

中科院自動化所模式識別國家重點實驗室研究員黃凱奇博士在大會最後做了以《基於深度表達學習的RGB-D物體識別及場景理解》為題的報告。黃凱奇博士提到:近十年來,基於RGB圖片的2D語義理解一直佔據最主流的研究方向。由於RGB圖片在物體或場景表達中很容易受到外界光線變化以及背景嘈雜的影響,極大的限制了基於RGB圖片的計算機算法在實際中的運用。近幾年來,隨著深度傳感技術的發展,像微軟的Kinect,能夠同時捕捉到高精度的深度圖片以及RGB圖片,結合兩者很好的彌補了傳統的單一RGB圖片的上述缺陷,為魯棒性好、精度高的物體識別與場景理解提供了可能性,也極大的推動了基於RGB-D的物體識別及場景理解的研究與應用。報告從以下幾個方面展開:1)探討RGB-D的特徵表達與學習,包括人工設計特徵、無監督學習特徵以及深度學習特徵;2)探討RGB-D的模態融合;3)介紹RGB-D在物體識別及場景理解的相關應用及進展。

深度學習時代:順勢而為,朝著更高遠的方向出發 

中國電子學會主辦的「2017全國深度學習技術應用大會」在3月26日中午結束,正如14位嘉賓在報告中所傳達的觀念一樣:深度學習的出現對很多傳統的研究方法造成了一定的衝擊,這時候,順勢而為地應用深度學習是符合時宜的選擇。與此同時,研究者們也可以把精力投入到其他更深層次的研究中去。而此次大會無疑把深度學習的應用案例以及深度學習時代的新研究方向傳遞給了更多人。

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 2017全國深度學習技術應用大會14大報告題目已揭露
    中國電子學會擬於2017年3月25-26日在北京舉辦「2017全國深度學習技術應用大會」,活動家提供2017全國深度學習技術應用大會在線報名服務,報名就上活動家。      深度學習不但使得機器學習能夠實現眾多的應用,而且拓展了人工智慧的領域範圍,並使得機器輔助功能都變為可能。
  • 2017年,開發者需要關注哪些AI國際峰會?看這篇就夠了
    從業者、研究人員、科學家匯集舊金山,討論了人工智慧領域的最近研究進展。選拔的論文將關注重大課題領域的研究項目和實際案例。這些課題包括:自動化控制、數據挖掘、語義技術、學習理論、認知信息學等。7. The AI Summit
  • CS231n 2017 今天正式開課!雙語字幕版獨家上線!
    2017雙語字幕版獨家上線!在社區中,目前支持大家提問/回答,以及發布文章,可以插入圖片、視頻、超連結、代碼塊、公式編輯器,歡迎大家在社區中進行更多形式的交流~社區地址:http://www.mooc.ai/bbs請大家在學習過程中多做學習筆記,不僅僅是記錄課堂知識,更是結合自己的思考和理解,這樣可以理解更加透徹,更利於知識內化。歡迎大家把學習筆記發布在mooc.ai/bbs 的博客區!
  • AI應用場景的回顧與展望
    o2.AI對文物進行修復   長城的修葺一直是文物修復界的一大難題,用傳統的方法去修繕長城耗時耗力,尤其是坐落在北京懷柔的箭扣長城,如天梯一般修建於險峰斷崖之上,人員想要到達施工現場可謂險阻重重。另外,傳統的手工測量無法反映長城的全貌和細節,不利於保護單位做更精確的維修方案。
  • 2020年全國物聯網技術與應用大會在南京召開
    12月9日至11日,2020年全國物聯網技術與應用大會(CIoT 2020)在南京召開。本次大會由中國通信學會、中國電子學會主辦,中國通信學會物聯網委員會、中國電子學會物聯網專家委員會、中國電子學會通信分會、南京郵電大學等15家單位承辦,近30家產學研單位聯合協辦,旨在深入研究探索物聯網技術與產業體系,利用物聯網技術與實體經濟深度融合,推動傳統產業的數位化、網絡化、智能化發展,促進經濟結構轉型升級,培育壯大新動能,改造提升舊動能。
  • ImageNet 2017啟幕,海康威視浦世亮談2016奪冠絕技及深度學習+安防?| 新智元AI 領軍人物專訪
    根據海康威視首席專家浦世亮介紹,在PASCAL VOC2012目標檢測上,海康威視基於Faster R-CNN深度學習目標檢測算法mAP性能達到87.9,排名第一,領先盤踞榜首近一年的第二名微軟4.1個點,刷新紀錄。
  • 「構建企業級推薦系統系列」深度學習在推薦系統中的應用
    鑑於深度學習技術的巨大威力,它被學術界、產業界嘗試應用於各類業務及應用場景,包括計算機視覺、語音識別、自然語言處理、搜索、推薦、廣告等等。2016年YouTube發表論文將深度學習應用於視頻推薦取得了非常好的效果,自此之後,深度學習技術在推薦系統上的應用遍地開花,各種論文、學術交流、產業應用層出不窮。
  • 全國物聯網技術與應用大會大學生創意作品亮眼
    2020-12-11 07:29圖文來源:南京日報 全國物聯網技術與應用大會大學生創意作品亮眼手機可邊下劇邊視頻電話  南報網訊 (通訊員 李海博 融媒體記者 談潔) 礦井下沒有信號也可以實現定位、手機行動網路可以和WIFI同時使用……昨天,2020年全國物聯網技術與應用大會在寧舉行,會上公布了第六屆3S杯大學生物聯網技術與應用「三創」大賽決賽結果,一批創意作品獲獎。
  • 騰訊AI Lab 2020 年度回顧
    基於圍棋、《王者榮耀》、《毀滅戰士》、《星際爭霸》等遊戲平臺,騰訊 AI Lab 已經研發許多有價值的前沿技術,並創造了中國國家隊圍棋訓練專用 AI 等真實應用。此外,基於遊戲環境開發的深度強化學習方法也在機器人等領域也有著非常重要的應用前景。 4 月份,騰訊 AI Lab 開發的圍棋 AI「絕藝」與中國國家圍棋隊續約三年。
  • 【深度】虛假信息檢測技術研究
    運用系統性綜述研究方法,在確定虛假信息定義及主要類型基礎上,依據信息特徵將虛假信息檢測分為虛假信息發布者、內容及場景模型等3類,分別闡述了Bayes模型在上述模型中應用的關鍵技術原理及主要方式,並結合虛假圖像、視頻類信息檢測問題,提出了Bayes模型應用於虛假信息檢測中存在的關鍵技術挑戰、可能的研究機會與技術思路。
  • 卡內基梅隆大學機器人學院博士後胡耀鈺:基於深度學習的雙目深度...
    而隨著深度學習的發展,基於深度學習的三維重建方法也開始不斷出現。在傳統三維重建方法中引入深度學習算法進行改進,或者將深度學習算法與傳統算法進行融合、優勢互補,又或者模仿動物視覺,直接利用深度學習算法進行三維重建。
  • 深度學習模型那麼多,科學研究選哪個?
    以深度學習為代表的機器學習技術,已經在很大程度顛覆了傳統學科的研究方法。然後,對於傳統學科的研究人員,機器學習算法繁雜多樣,到底哪種方法更適合自己的研究問題,常常是一大困擾。如何促進其他領域的科學研究?能夠回答這樣的問題,才能更多增加AI價值。更加具體一些,此類問題可以衍生為:在什麼場景下,該應用什麼樣的深度算法?或者,這些深度學習算法的特點適合什麼領域的科學研究?
  • 騰訊AI Lab聯合清華港中文,解讀圖深度學習歷史、進展應用
    本文將分圖神經網絡歷史、圖神經網絡的最新研究進展和圖神經網絡的應用進展三大部分歸納總結該課程 Theme II: Advances and Applications 部分的核心內容,Theme I 以及更多詳細的內容可參看課程幻燈片及相關論文:https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html為了解決圖學習中的一系列具有挑戰性的問題
  • AI 初學者入門指南:深度學習的五級分類
    這樣的籠統分類顯然不利於大眾對於各項 AI 技術進行認識和理解。因此,一些專家開始提出基於技術難度和 AI 智能水平的分類、分級方法。其中,美國學者 Arend Hintze 提出了對 AI 的四級分類, 而最近,Intuition Machine 聯合創始人 Carlos Perez 又提出了針對深度學習的五級分類。
  • 吳恩達官宣下一步:新推深度學習新課程,繼續培養AI人才
    吳恩達的下一步,將通過deeplearning.ai這個網址,繼續提供一系列深度學習的Coursera課程。Coursera的全新深度學習專項認證,將包括五個課程。這些課程,將由吳恩達和斯坦福研究生Kian Katanforoosh以及Younes Mourr合作教授。課程內容包括神經網絡、反向傳播、卷積網絡、循環網絡以及其他深度學習相關的核心內容。
  • AI助力心電技術研究,這個研究中心將加快心電技術醫療成果轉化
    」在中國科學院蘇州生物醫學工程技術研究所人工智慧心電技術研究中心(下稱「研究中心」)揭牌現場,中國科學院蘇州生物醫學工程技術研究所(下稱「蘇州醫工所」)所長唐玉國介紹道。9月29日是「世界心臟病日」。心電圖是一項在臨床廣泛應用的醫學檢查診斷技術,可以幫助醫生了解患者的心臟狀況並最終做出有效而準確的診斷。由於心電信號本身的複雜性和非心源性幹擾,傳統心電算法難以準確識別和判斷,必須依靠專業醫生進行分析解讀。
  • 戴瓊海:深度學習遭遇瓶頸,全腦觀測啟發下一代AI算法
    在大會上,中國工程院院士戴瓊海做了主題為《人工智慧:算法·算力·交互》的特邀報告,從算力、算法與人機互動三方面展開了分享,指出光電智能計算是未來算力發展的一大候選,深度學習遭遇算力和算法瓶頸,全腦觀測對於啟發下一代AI算法至關重要,在人機互動的發展中,我們要謹記圖靈的教誨,完善AI倫理,並且機器視覺、觸覺的協同是一大技術重點。
  • ai本身涉及到的東西有哪些?核心是什麼
    人工智慧的大多數技術都可以寫出像網頁一樣的代碼,可以使用類似python的庫。也有相應的專用語言支持ai,主要是一些工具語言(比如python的pypcgl,perl的scip)。部分ai庫內置了機器學習的算法,這些算法實際上大多都是在離散數學中的概率論中的數學模型。
  • 2016 NIPS眾神降臨,蘋果破天荒要對外發布AI論文丨AI科技評論周刊
    Yann LeCun 受邀在今年的 NIPS 大會發表主題演講。眾所周知,深度學習通常分類為:無監督學習、監督學習和增強學習,而 Yann LeCun 在演講中用「預測學習」替代「無監督學習」。他指出因為預測學習要求機器不僅能在沒有人類監督的情況下進行學習,同時能夠學習世界的預測模型。吳恩達發表演講吳恩達教授在 NIPS 上發表演講:《利用深度學習開發人工智慧應用的基本要點(Nuts and Bolts of Building Applications using Deep Learning)》。
  • 國外深度學習研究評析
    2004年,美國教育傳播與技術協會(Association for Educational Communications and Technology,AECT)對教育技術進行了重新界定,認為學習不僅僅是信息的記憶,單純的記憶已不能適應社會發展的要求,進而將深度學習確定為未來教育技術發展的基本理念和努力方向。以此為契機,深度學習研究的地域、範圍、內容和方法得到進一步擴展。