「深度學習與統計學理論」研討會成功舉辦

「深度學習與統計學理論」研討會成功舉辦

2020-11-26 17:30 來源：澎湃新聞·澎湃號·政務

作為新一輪科技革命和產業變革的核心驅動力，「智能化」已成為未來產業的發展趨勢。作為近年來人工智慧發展最迅猛的領域之一，深度學習通過分層網絡獲取分層次的特徵信息，除了在圖像、語音等領域裡獲得了比較成功的應用之外，也為統計學理論的研究創新打開了新的契口。2020年11月19日上午，由北京大學光華管理學院商務統計與經濟計量系主辦的「深度學習與統計學理論」研討會在北大光華成功舉辦。來自國內知名院校的四位優秀統計學者應邀就各自最新的理論成果進行了分享與探討，為線上、線下共同參與的逾500位高校師生與業界人士帶來了一場絕佳的思想學術盛宴。

線上直播

開幕式

主持人 王漢生

北京大學光華管理學院

商務統計與經濟計量系教授、系主任

會議在北京大學光華管理學院商務統計與經濟計量系系主任王漢生教授的主持下宣布開幕，馬化祥書記代表學院致辭。他熱情地歡迎了線下與線上的師生學者們參與本次研討，表明在人工智慧的飛速發展下，深度學習作為處理非結構化數據的一種手段，走向大規模產業化應用已成為從政策導向到行業共識的一致方向。為此，建立深度學習平臺助力產業應用，加速支持產業智能化，也已經成為當前學術界和各行業最炙手可熱的研究應用方向，期待大家能夠從研討中彼此進益，有所收穫。

致辭嘉賓 馬化祥

北京大學光華管理學院黨委書記

主旨報告

「三元素「闡釋機器學習的本質

報告題目：Prediction, Computation, and Representation—The Nature of Machine Learning

報告人：張志華，北京大學數學科學學院

張志華教授在報告中對機器學習與統計學的影響與差異進行了簡要概述，他首先回顧了兩位著名統計學家Leo Breiman 與Bradley Efron分別在各自論文「Statistical Modeling: The Two Cultures」與「Prediction, Estimation, and Attribution」中對統計學和機器學習之間建模差異的相關討論，申明了機器學習的發展給統計學帶來的深刻影響。受「深度學習」與「統計學」這兩種建模文化差異討論的啟發，張教授提出了闡述機器學習的三要素：Prediction, Computation與Representation。以Prediction為最終目的，將Computation作為問題求解的途徑，從「Representation」角度來詮釋機器學習。張教授表明，在Computation方面，機器學習主要關注分類，聚類等離散問題；除了如何基於訓練集進行優化求解外，機器學習還關注如何提高在測試集上的泛化性能，以實現優化算法和泛化理論的有機統一。而Representation包括物理建模和特徵提取，它的發展貫穿著如何解決「Dimensionality Curse」和利用「Dimensionality Blessing」，深度學習則完美詮釋了這兩者之間的權衡。張志華教授表示，它也是迄今為止把「Data Modeling Culture」和「Algorithmic Modeling Culture」融為一體的最佳技術途徑。

深度森林「打開了」

非參深度學習的「大門」

報告題目：非參數深度學習理論初探

報告人：高尉，南京大學人工智慧學院

高尉教授的課題組近年來致力於非參深度學習的研究，其基本構建是非參數化、不可微分的隨機森林模型，而非參深度學習在諸多任務中取得了與深度學習相當的效果，特別對離散型學習任務往往表現出更好的效果。高教授的報告圍繞他和他的課題組在非參深度學習方面取得的理論初步進展，著重介紹了收斂界的研究，並解釋了其如何在理論上指導非參深度模型的構建。高教授以「Deep Forests」為切入點，將目前的深度學習視作多層傳統神經網絡構成。通過分析其層數過深而造成的訓練困難的問題，高教授表示可利用連續可微的激活函數（Relu），採用BP算法進行訓練。與傳統機器學習方法相比，深度學習不需要人工設計輸入（如圖像），而是通過算法自動學習。基於此，高教授指出，現在的深層深度學習效果的優秀表現主要源於3個原因：1）逐層的數據處理；2）特徵的內部變換。3）足夠強的模型複雜度。但同時基於神經網絡的深度學習也存在三個問題：1）容易過擬合。2）很難訓練。3）計算開銷大。不論實際應用還是學術研究的層面，都期望得出研究非神經網絡的深度學習方法，由此而提出了「Deep Forests」的概念。「Deep Forests」利用了「Random Forest」，能夠實現逐層處理，得到新的特徵。在實際的套現案例中，其模型的表現優於邏輯回歸和DNN。為了進一步證明它的優越性，高教授給出了Deep Forest的特殊情形，並針對於滿足特定條件的模型，給出不同變體下的forests的一致性證明和收斂速度證明，對深度學習的建模方式提供了很好的指導方向。

「三力」齊發——

探究深度學習的理論性質

報告題目：Deep learning: from theory to algorithm

報告人： 王立威，北京大學信息科學技術學院

王立威教授在報告中重點介紹了其團隊近期在深度學習理論方面的研究成果及其對算法設計的指導。他認為主要可以從三個方面研究深度學習的理論性質：模型的表示能力、在測試集上的泛化能力以及在訓練集上的優化性質。對於深度神經網絡表示能力的研究，王教授及其團隊證明了在網絡寬度嚴格大於輸入維度以及深度可以無限增加的條件下，深度神經網絡是一個Universal Approximator，能以任意精度逼近一個可測函數。而對於深度學習的泛化能力的研究，王教授表示，雖然深度神經網絡是一個過參數化的模型，但仍然表現出很強的泛化能力，因此經典的統計學習理論可能不再適用。王教授分別從模型複雜度和訓練算法的角度詮釋了深度學習的泛化性能，並給出了在使用SGLD算法的條件下，深度學習的泛化誤差上界。最後，對於深度學習的優化算法的研究，王教授證明了在深度網絡充分寬以及其參數初始化的機制是被精心設計的條件下，從隨機初始點出發，利用（隨機）梯度下降法可以以很大的概率找到全局最優點，並且能達到指數收斂。基於此理論結果，王教授與其團隊設計了二階優化算法——Gram-Gauss-Newton算法，用以訓練深度神經網絡。該算法具有二階收斂速度，並且每次迭代的計算複雜度與SGD相仿。

解析AI浪潮的幕後引擎

——深度卷積神經網絡

報告題目：Progressive Principle Component Analysis for Compressing Deep Convolutional Neural Networks

報告人：周靜，中國人民大學統計學院

周靜教授則以研究動機引入，簡析了作為深度學習經典網絡的卷積神經網絡隨著層數加深，卷積的size減小，但個數迅速增加，從而導致權重矩陣w的維度極高的問題；同時面對Computation和Storage的困難，也難以直接部署在移動端。基於此，周教授提出了一種漸進主成分分析(PPCA)方法對卷積進行降維來壓縮深度卷積神經網絡。具體而言，從一個預先指定的層開始，逐步移動到最後的輸出層。對於每個目標層，PPCA將每一次的卷積層reshape成一個矩陣後，選擇累計方差貢獻率最高的幾個，進行PCA降維，這將顯著減少當前層中的內核數量。降維後，當前層的shape發生改變，影響了下一個卷積層，要先對下一層的shape進行修正後再進行PCA降維，由於當前層中使用的內核數量決定了下一層的通道數量，用於下一層的通道也大大減少，整個模型結構可以被大幅壓縮，參數的數量和推理成本都可以大幅降低。周教授將其稱之為「Progressive Principle Component Analysis」。周教授的研究中在一些經典的CNNs (AlexNet, VGGNet, ResNet和MobileNet)和基準數據集上評估了該方法的有效性。實驗表明，在某些特定模型裡，PPCA的模型壓縮率大、預測速度快，並且精度沒有太大損失。但PPCA無法做到在所有的模型中都超過其他的競爭對手。最後周教授指出，目前PPCA沒有考慮如何選取最優的調節參數，因此還有進一步的研究空間。

以信息技術為代表的第四次工業革命正推動著我們走入人工智慧時代，伴隨全球第五次產業轉移，大數據正在朝著生產要素的形態演進，深度學習是近年來隨著人工智慧興起而出鏡率最高的名詞之一，與統計學的結合與碰撞勢必會擦出新的火花。本次研討會對統計學科與深度學習的結合研究與發展起到了積極作用，同時也增進了相關領域專家學者們之間的交流與探討，為發展統計數據科學創新建立了良好的平臺，與會師生與學者都表示獲益匪淺。

2020.11.19

北京大學光華管理學院

商務統計與經濟計量系

北京大學光華管理學院商務統計與經濟計量系傳承北京大學明辨善思、海納百川的篤學精神，秉持光華管理學院「創造管理知識，培養商界領袖，推動社會進步」的歷史使命，以「光華思想力」為錨，聚焦一系列商務統計領域重大課題展開研究探討，致力於推動人工智慧與統計學理論的交流與發展。值學院成立35周年之際，集光華學者之智慧，建深度交流之平臺，通過分享討論學術研究成果，助力學術發展，推動社會進步。

喜歡此內容的人還喜歡

原標題：《「深度學習與統計學理論」研討會成功舉辦》

閱讀原文

特別聲明

本文為澎湃號作者或機構在澎湃新聞上傳並發布，僅代表該作者或機構觀點，不代表澎湃新聞的觀點或立場，澎湃新聞僅提供信息發布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。

評論（）