雷鋒網按:2016年無疑是深度學習最為火熱的一年,深度學習在語音、圖像、自然語言處理等領域取得非常突出的成果,成了最引人注目的技術熱點之一。雷鋒網也報導過多次關於Google、Facebook、微軟、百度在內的各大技術巨頭都在不遺餘力地推進深度學習的研發和應用。
2017年深度學習的勢頭依舊迅猛,並以更快的速度滲透在各個行業當中,對世界產生深遠影響。
深度學習不但使得機器學習能夠實現眾多的應用,而且拓展了人工智慧的領域範圍,並使得機器輔助功能都變為可能。其應用領域正在加速滲透到很多領域,也催生了深度學習與其它應用技術的加速融合。
為提升一線科研人員更加深入了解深度學習,中國電子學會於2017年3月25-26日在北京舉辦了「2017全國深度學習技術應用大會」,中國電子學會林潤華副秘書長到會並講話。大會主席王亮研究員,大會副主席季向陽教授、俞俊教授主持了大會的專家報告。
會議邀請到了國內深度學習技術領域的著名專家就深度學習技術的應用和最新動態做特邀報告。與此同時,中國電子學會也請到了深度學習技術相關科研單位和高新技術企業,宣傳展示他們在深度學習技術領域的研究成果、新產品和市場化內容。
出席此次活動的嘉賓有(按報告議程排序):中國科學技術大學計算機學院陳恩紅教授、微軟亞洲研究院研究員楊奎元博士、浙江大學人工智慧研究院所所長吳飛教授、IBM中國研究院研究總監蘇中博士、北京大學數字媒體研究所副所長王亦洲教授,百度IDL技術方向負責人周杰、清華大學自動化系季向陽教授、今日頭條實驗室技術總監王長虎教授、蘇州大學計算機學院副院長張民教授、NVIDIA中國區高性能計算及Applied Deep Learning 部門技術經理賴俊傑博士、中國科學院計算機網絡信息中心副研究員趙地博士、華南理工大學二級教授金連文、格靈深瞳CTO鄧亞峰、中科院自動化所模式識別國家重點實驗室研究員黃凱奇博士。
以下為14位嘉賓在「2017全國深度學習技術應用大會」中所做的報告,雷鋒網(公眾號:雷鋒網)對大會進行了全程報導:
首先,中國科學技術大學計算機學院陳恩紅教授做了《面向自然語言處理的深度學習方法及應用》的報告,這次報告回顧和討論了深度學習在自然語言處理領域的最新研究進展,然後重點介紹深度學習方法在彈幕語義表示,詩歌生成,實體蘊含關係識別,試題難度預測的相關應用。
人工智慧需要大量的人工,包括標註大量訓練數據,設計數據表徵、模型等。深度學習將數據表徵融進了模型的端到端學習,在大量任務中學得了遠優於專家設計的數據表徵,釋放了這部分的人工投入,然而標註訓練數據仍然需要大量的人工。
針對這一問題,微軟亞洲研究院研究員楊奎元博士發表了《基於大規模弱標註數據的深度學習》的報告,楊奎元博士指出:為進一步減少這一部分的人工,他們團隊對弱標註數據下的深度學習進行了一些探索。隨著所要求監督信息的減弱,可用訓練數據會大量增加。同時,深度模型已經具有了很好的推廣能力,研究員們可用深度模型代替人工對弱標註數據自動進行強標註,生成更高質量的訓練數據,從而訓練更好的模型。
近年來,以數據驅動為核心的深度學習通過逐層抽象方式形成原始數據區別性表達,在自然語言、語音和計算機視覺等領域取得了顯著進展。但是,這一任務式、刺激式的學習機制依賴於大量標註數據,如何形成解釋性強、數據依賴靈活和知識引導的模型和方法,是人工智慧下一步發展面臨主要挑戰之一。
浙江大學人工智慧研究院所所長吳飛教授發表報告:《序列學習——數據驅動與知識引導相結合的人工智慧模型與方法》,對這一挑戰問題的若干思考以及在知識圖譜構建、Q-A問答和序列學習等方面的一些研究工作。
深度學習的能力來自於帶有標註信息的大數據學習樣本同深層神經元網絡在複雜特徵空間上泛化能力這兩方面的完美結合。深層神經元網絡實質上是基於人們對於腦的初步認識基礎上的一種仿生模擬,深度學習在一些應用的突破從一個側面展示了腦機理的研究對於智能技術發展的重要性。
IBM中國研究院研究總監蘇中博士針對腦機理這一議題,發表了《Computing Future:Brain Inspired and Quantum》報告,蘇中博士提到,智能的本質來源於腦的工作機理,我們對於腦不斷的認識、不斷的理解,應用到我們的計算技術中,這就是腦啟發計算,也是IBM認知計算中一個重要的方向。
有了深度學習之後,對傳統的計算機視覺研究造成了一定的衝擊,這之後,視覺的機理和特點會是未來研究的一大方向。北京大學數字媒體研究所副所長王亦洲博士在大會中講解了《基於自主學習的視覺搜索與導航》這一報告。
深度學習近兩年的成功離不開他在工業界中的大量應用,百度IDL深度學習技術方向負責人周杰根據他在工業界的經驗,在大會中作了以《深度學習這兩三年》為主題的報告,內容包括優化算法、模型設計、並行工程、語言理解、長短記憶時序模型、注意力模型、語義角色標註、機器翻譯、蜂巢廣告觸發、卷積神經網絡、時序神經網絡、Image Caption和Image QA等。
隨後,清華大學自動化系季向陽教授在大會中做了《物體檢測與分割深度學習的發展及應用》的報告,季向陽教授首先介紹全卷積網絡在語義分割與實例掩模研究方面的進展,之後介紹面向實例關聯語義分割任務的端到端全卷積網絡解決方案。該網絡結構具有高度的集成性和高效性,可以聯合執行實例預測和分類,其中的卷積表示層可以被兩子任務所共享,從而在分割的精度和效率性能上取得良好的效果。進一步從全光函數定義出發,探討如何從傳統單一維度成像拓展到多維耦合成像與解耦重建的計算攝像,實現多維多尺度的傳感成像方法。最後,針對雷達、定位信息(GPS,裡程計,慣導等)等具有多傳感信息的自動駕駛平臺,介紹端到端視覺系統學習中目標(如紅綠燈、車道線與行人等)的識別與檢測算法以及相應的硬體實現。
系統地研究如何把一個訓練好的神經網絡變化成為一個新的網絡,並且保持原有神經網絡的功能完全不變,該過程定義為網絡變形。
針對網絡變形的主題,今日頭條人工智慧實驗室技術總監王長虎博士發表報告:《網絡變形:一種新的神經網絡學習理念》,王長虎介紹到:在父網絡變形之後,我們期望得到的子網絡能夠完整繼承父網絡的知識,同時在更短的時間裡繼續增長為一個更強大的網絡。這種網絡變形的第一個要求是它能夠處理各種網絡變化的能力,包括深度的變化,寬度的變化,內核大小的變化,甚至是整個子網絡的變化。為了滿足這個要求,我們首先引入網絡變形方程,然後為所有這些變化類型提出了變形算法。這些變形算法對於經典神經網絡和卷積神經網絡都適用。網絡變形的第二個要求是它能夠處理神經網絡中非線性的能力。為此,我們提出了參數激活函數族的概念,以幫助任何非線性連續激活神經元函數的變形。實驗結果顯示,我們提出的網絡變形的神經網絡學習理念在標準數據集和典型的神經網絡上都是有效的。
自然語言理解和機器翻譯被認為是人工智慧的核心難題之一,那麼什麼是自然語言理解?其研究現狀、挑戰和未來的發展方向是什麼?近兩三年來,深度學習技術使很多人工智慧問題的準確率得到顯著提升,那麼深度學習技術為自然語言理解和機器翻譯帶來了哪些新的發展機遇?它又是如何解決自然語言理解和機器翻譯問題?下一步發展方向是什麼?蘇州大學計算機學院副院長張民教授發表報告:《面向自然語言理解和機器翻譯的深度學習》。
GPU作為人工智慧計算的基礎,其核心生產商NVIDIA也自然隨著人工智慧的火熱進入了井噴式的發展期。此次大會中,NVIDIA中國區高性能計算及Applied Deep Learning部門技術經理賴俊傑博士在大會中做了《深度學習應用到視頻智能處理的產品化實踐》的報告。
3月25日最後的報告主題是《深度學習與醫療影像大數據分析》,由中國科學院計算機網絡信息中心副研究員趙地博士講述。趙地博士說道,醫療大數據主要包括電子病歷(Electronic Health Record)數據,醫學影像數據,基因信息數據等。其中,醫學影像數據佔現階段醫療數據的絕大部分。如何將醫療大數據運用於臨床實踐?這是醫學和計算機研究人員都很關心的問題,而智能影像與深度學習提供了一個很好的答案。報告結合醫學影像大數據分析的最新研究進展和本課題組在醫學影像大數據分析領域的工作,特別是在阿爾茨海默病的核磁共振早期診斷為例,介紹了智能影像和深度學習在醫療大數據分析與疾病早期診斷領域的應用。
3月26日的第一場報告是由華南理工大學金連文教授演講,主題為《深度學習及其在文字識別中的應用實踐》。在此報告中,金連文簡要回顧了深度學習的主要技術及其在圖像識別、文字識別等方面一些最新研究進展,同時介紹基於 Path Signature 及深度學習的手寫文字識別新方法,以及面向文字識別的DropSample、DropSegment等深度學習訓練技術,並展示了基於深度學習的幾個應用演示系統,包括在線大類別文字識別、人臉美麗顏值打分、面向特定領域的OCR在線識別應用等演示系統。
作為AI創業公司的代表之一,格靈深瞳的CTO鄧亞峰也在大會中發表報告《計算機視覺大規模應用的必經之路》,鄧亞峰首先介紹了計算機視覺的研究目標、應用趨勢及面臨的挑戰和機遇,其次,就如何讓深度學習和數據形成良好循環、深度學習遇到depth、讓「感」和「知」互動起來、少即是多、由感知到行動等闡述自己的認識,最後,提出計算機視覺大規模應用的必經之路。
中科院自動化所模式識別國家重點實驗室研究員黃凱奇博士在大會最後做了以《基於深度表達學習的RGB-D物體識別及場景理解》為題的報告。黃凱奇博士提到:近十年來,基於RGB圖片的2D語義理解一直佔據最主流的研究方向。由於RGB圖片在物體或場景表達中很容易受到外界光線變化以及背景嘈雜的影響,極大的限制了基於RGB圖片的計算機算法在實際中的運用。近幾年來,隨著深度傳感技術的發展,像微軟的Kinect,能夠同時捕捉到高精度的深度圖片以及RGB圖片,結合兩者很好的彌補了傳統的單一RGB圖片的上述缺陷,為魯棒性好、精度高的物體識別與場景理解提供了可能性,也極大的推動了基於RGB-D的物體識別及場景理解的研究與應用。報告從以下幾個方面展開:1)探討RGB-D的特徵表達與學習,包括人工設計特徵、無監督學習特徵以及深度學習特徵;2)探討RGB-D的模態融合;3)介紹RGB-D在物體識別及場景理解的相關應用及進展。
深度學習時代:順勢而為,朝著更高遠的方向出發中國電子學會主辦的「2017全國深度學習技術應用大會」在3月26日中午結束,正如14位嘉賓在報告中所傳達的觀念一樣:深度學習的出現對很多傳統的研究方法造成了一定的衝擊,這時候,順勢而為地應用深度學習是符合時宜的選擇。與此同時,研究者們也可以把精力投入到其他更深層次的研究中去。而此次大會無疑把深度學習的應用案例以及深度學習時代的新研究方向傳遞給了更多人。
雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。