綜述 | Google-斯坦福發布~深度學習統計力學

2021-01-15 計算機視覺聯盟

點上方藍字計算機視覺聯盟獲取更多乾貨

在右上方 ··· 設為星標 ★，與你不見不散

編輯：Sophia
計算機視覺聯盟  報導  | 公眾號 CVLianMeng

AI博士筆記系列推薦：

深度學習革新了很多應用，但是背後的理論作用機制一直沒有得到統一的解釋。最近來自谷歌大腦和斯坦福的學者共同在Annual Review of Condensed Matter Physics 發布了深度學習統計力學的綜述論文《Statistical Mechanics of Deep Learning》，共30頁pdf，從物理學視角闡述了深度學習與各種物理和數學主題之間的聯繫。





地址

https://www.annualreviews.org/doi/abs/10.1146/annurev-conmatphys-031119-050745


最近，深度神經網絡在機器學習領域取得了驚人的成功，這對它們成功背後的理論原理提出了深刻的疑問。例如，這樣的深度網絡可以計算什麼?我們如何訓練它們?信息是如何通過它們傳播的?為什麼它們可以泛化?我們如何教它們想像?我們回顧了最近的工作，其中物理分析方法植根於統計力學已經開始提供這些問題的概念上的見解。這些見解產生了深度學習與各種物理和數學主題之間的聯繫，包括隨機景觀、旋轉玻璃、幹擾、動態相變、混沌、黎曼幾何、隨機矩陣理論、自由概率和非平衡統計力學。事實上，統計力學和機器學習領域長期以來一直享有強耦合交叉作用的豐富歷史，而統計力學和深度學習交叉領域的最新進展表明，這些交叉作用只會進一步深化。


概述


具有多層隱含層(1)的深度神經網絡在許多領域都取得了顯著的成功，包括機器視覺(2)、語音識別(3)、自然語言處理(4)、強化學習(5)，甚至在神經科學(6、7)、心理學(8、9)和教育(10)中對動物和人類自身的建模。然而，用於獲得成功的深度神經網絡的方法仍然是一門高度熟練的藝術，充滿了許多啟發，而不是一門精確的科學。這為理論科學提出了令人興奮的挑戰和機會，以創建一個成熟的深度神經網絡理論，該理論強大到足以指導在深度學習中廣泛的工程設計選擇。雖然我們目前離這樣成熟的理論還有很長的距離，但是最近在統計力學和深度學習交叉領域出現的一批研究已經開始為深度網絡的學習和計算提供理論上的見解，有時還會提出新的和改進的方法來推動這些理論的深入學習。


在這裡，我們回顧了建立在統計力學和機器學習相互作用的悠久而豐富的歷史基礎上的這一工作體系(11-15)。有趣的是，正如我們下面所討論的，這些工作在統計力學和深度學習之間建立了許多新的橋梁。在本介紹的其餘部分中，我們將為機器學習的兩個主要分支提供框架。第一個是監督學習，它涉及到從例子中學習輸入-輸出映射的過程。第二種是無監督學習，它涉及到學習和挖掘數據中隱藏的結構模式的過程。有了這兩個框架，我們將在1.3節中介紹本綜述中討論的幾個深度學習的基本理論問題，以及它們與與統計力學相關的各種主題的聯繫。



總結


我們希望這篇綜述能夠傳達出一種對深度學習在理論層面上的成功的理解。不可避免的是，我們目前的理論理解只是未來幾年將出現的更加統一的圖景的冰山一角。然而，令人興奮的是，即使是這一可見的小領域，也揭示了深度學習這一新領域與統計力學和凝聚態物理這一相對古老的領域之間的豐富聯繫。實際上，這些領域的基本主題，如隨機景觀、相變、混沌、自旋眼鏡、幹擾、隨機矩陣、相互作用粒子系統、非平衡統計力學，以及更多的數學主題，如自由概率和黎曼幾何，都開始揭示深度學習中有趣的現象。


我們有很多機會，可以明智地將深度網絡上的受控科學實驗與更現實的訓練數據和神經網絡的玩具模型相結合，以加深我們現有的理解。這種實驗與理論的結合一直是推動物理學概念進步的動力，我們相信，深度學習將為物理學家提供更多這樣的研究機會。更有趣的是，這一研究領域可能為物理學家提供一個與計算機科學家和神經科學家聯繫的機會，同時也為非線性分布的神經迴路(無論是人工的還是生物的)如何計算、交流、學習和想像提供一個統一的理論(190)。


聲明：本文來源於網絡

如有侵權，聯繫刪除


聯盟學術交流群

掃碼添加聯盟小編，可與相關學者研究人員共同交流學習：目前開設有人工智慧、機器學習、計算機視覺、自動駕駛（含SLAM）、Python、求職面經、綜合交流群掃描添加CV聯盟微信拉你進群，備註：CV聯盟  

相關焦點

  • 深度學習與統計力學(I) :深度學習中的基礎理論問題
    Schoenholz, Jascha Sohl-Dickstein, and Surya Ganguli  本公眾號將對本報告進行翻譯，分6次發布僅供參考。對英文原報告感興趣請在本公眾號回復關鍵詞「深度學習統計力學」。深度神經網絡最近在機器學習方面取得了顯著的成功，這就對其成功背後的理論原理提出了深刻的問題。
  • 斯坦福CS224n《基於深度學習的NLP》課程更新,C.Manning主講
    新智元報導 來源：Stanford編輯：大明【新智元導讀】史丹福大學官方公布cs224n課程《基於深度學習的自然語言處理》詳細安排，主講人為史丹福大學人工智慧實驗室主任，著名計算機科學家Christopher Manning教授，1月份課程閱讀材料已公布。本課程自2017 年起開設，2017年該課程視頻已公開放出。
  • 入門| 獻給新手的深度學習綜述
    Naher 參與：翁俊堅、劉曉坤 這篇綜述論文列舉出了近年來深度學習的重要研究成果，從方法、架構，以及正則化、優化技術方面進行概述。機器之心認為，這篇綜述對於剛入門的深度學習新手是一份不錯的參考資料，在形成基本學術界圖景、指導文獻查找等方面都能提供幫助。
  • 統計力學,量子力學中的量子數學方法和解釋
    統計力學，量子力學中的量子數學方法和解釋。陳建、伍定邊，王院士講的經典物理物理量子都有。潘慶，趙凱華等的近代物理。斯坦福的量子力學理論。上面這些都是最基礎的說幾個選修課，理論物理四大力學：電動，量子，量子統計，熱力學量子力學，電動力學（龐加萊），狹義相對論，廣義相對論。量子力學佔理論物理課很大一部分比重。形式論，微分拓撲，代數拓撲都是很有意思的東西。
  • 7 Papers & Radios | ACL 2020獲獎論文;貝葉斯深度學習綜述
    機器之心 & ArXiv Weekly Radiostation參與：杜偉、楚航、羅若天本周的重要論文包括 ACL 2020 公布的最佳論文、最佳主題論文、最佳 Demo 論文以及其他獎項論文，此外還有 MIT 和香港科技大學學者的貝葉斯深度學習綜述論文
  • Yu 團隊最新綜述!社區發現的深度學習方法:進展、挑戰...
    隨著深度學習的發展，研究者們逐漸從傳統的統計推斷和譜聚類等方法中解放了出來。那麼，深度學習時代的社區發現工作有哪些特點，研究者們遇到了哪些挑戰，有哪些前景光明的研究方向呢？近日，IJCAI 2020 上發表的一篇 Survey 文章，完整闡釋了這一研究方向的方法、挑戰和機遇。論文來自數據挖掘領域大牛 Philip S. Yu 團隊。
  • 超全深度學習細粒度圖像分析:項目、綜述、教程一網打盡
    選自arXiv作者：Xiu-Shen Wei、Jianxin Wu、Quan Cui機器之心編譯參與：李詩萌、張倩在本文中，來自曠視科技、南京大學和早稻田大學的研究者對基於深度學習的細粒度圖像分析進行了綜述，從細粒度圖像識別、檢索和生成三個方向展開論述。此外，他們還對該領域未來的發展方向進行了討論。
  • AI求解薛丁格方程;陶大程等深度學習理論進展綜述
    機器之心 & ArXiv Weekly Radiostation參與：杜偉、楚航、羅若天本周的重要論文包括人工智慧計算薛丁格方程的基態解以及雪梨大學陶大程等的深度學習理論進展綜述。
  • 變分自回歸神經網絡求解統計力學研究取得進展
    從更廣角度看，統計物理的基本問題和機器學習中的非監督學習具有天然的聯繫：統計物理中的玻爾茲曼分布對應於貝葉斯推斷的後驗概率；最小化自由能原理等價於變分推斷；尋找統計物理系統的基態等價於最大似然學習等。那麼一個自然的想法是，可不可以用近年來快速發展的深度學習方法來推動統計物理的核心問題的進展？
  • 學界| 斯坦福Nature論文宣布新突破:深度學習皮膚癌診斷達專家水平
    選自斯坦福機器之心編譯為了讓人們能獲得更好的醫療，史丹福大學的研究者已經成功訓練了一個可以診斷皮膚癌的算法。該研究的相關論文《Dermatologist-level classification of skin cancer with deep neural networks》已經發表在 Nature 上。
  • 為機械臂裝上大腦的深度學習系統,史上最靈活的機械臂長這樣
    首先，它要識別被抓取的物體、選擇最優的抓取點、施加合適的力、使物體實現預期的行為……所以從1980年左右，史丹福大學做出第一個機械臂後到如今將近35年的歷史，幾個月前全球公認最好的機械臂也只不過如ABB的YuMi那樣，雙臂協作，可以裝配固定的零部件。
  • 深度學習時代的圖模型,清華發文綜述圖網絡
    選自arXiv作者：張子威、崔鵬、朱文武機器之心編譯參與：路、曉坤深度學習在多個領域中實現成功，如聲學、圖像和自然語言處理。但是，將深度學習應用於普遍存在的圖數據仍然存在問題，這是由於圖數據的獨特特性。近期，該領域出現大量研究，極大地提升了圖分析技術。清華大學朱文武等人綜述了應用於圖的不同深度學習方法。
  • 普林,DeepMind新研究:結合深度學習符號回歸,深度模型中看見宇宙
    符號模型緊湊，具備可解釋性和良好的泛化能力，但很難處理高維機器學習問題；深度模型擅長在高維空間中學習，但泛化性和可解釋性卻很差。那麼有沒有什麼辦法可以取二者之所長呢？這項研究做到了。如何將深度模型轉換為符號方程？來自普林斯頓、DeepMind 等機構的研究人員提出了一種解決方案：結合深度學習和符號回歸實現這一目標。符號模型是自然科學的語言。
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    -時空數據挖掘深度學習技術全面綜述NeurIPS2020 | Google《圖學習與挖掘》綜述教程，311頁ppt+教程NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼連結)NeurIPS2020 | 四篇圖魯棒性研究相關論文一覽方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習
  • 深度| 理解深度學習中的卷積
    文章高級部分通過流體力學量子力學等解釋卷積的做法在我看來有點激進，這些領域恐怕比卷積更深奧，所以只需簡略看看即可。以下是正文：卷積現在可能是深度學習中最重要的概念。正是靠著卷積和卷積神經網絡，深度學習才超越了幾乎其他所有的機器學習手段。但卷積為什麼如此強大？它的原理是什麼？在這篇博客中我將講解卷積及相關概念，幫助你徹底地理解它。
  • 【NIPS2017最新Tutorial】幾何深度學習(Geometric Deep Learning )講解(附slide下載)
    今天，專知內容組整理Michael Bronstein教授講解的Tutorial《Geometric Deep Learning on Graphs and Manifolds》（圖和流形的幾何深度學習）分享給大家。
  • 普林、DeepMind新研究:結合深度學習和符號回歸,從深度模型中看見...
    符號模型緊湊，具備可解釋性和良好的泛化能力，但很難處理高維機器學習問題；深度模型擅長在高維空間中學習，但泛化性和可解釋性卻很差。那麼有沒有什麼辦法可以取二者之所長呢？這項研究做到了。如何將深度模型轉換為符號方程？來自普林斯頓、DeepMind 等機構的研究人員提出了一種解決方案：結合深度學習和符號回歸實現這一目標。
  • 清華EMBA赴美國史丹福大學學習考察
    日前，近50名清華EMBA同學匯聚到位於美國矽谷的史丹福大學開始為期一周的「創新領導力」學習和考察。此次活動由清華大學經濟管理學院EMBA教育中心主任王勇博士帶隊。的學習和考察包括課程學習和公司走訪兩部分。
  • 100個深度圖像分割算法,紐約大學UCLA等最新綜述論文
    最近來自紐約大學、滑鐵盧大學、UCLA等學者發布了深度學習圖像分割最新綜述論文Image Segmentation Using Deep Learning: A Survey>，涵蓋20頁pdf168篇參考文獻，調研了截止2019年提出的100多種分割算法，共分為10類方法。
  • 斯坦福、哥大、加州伯克利大學美國研究生統計項目詳解
    今天，我們為大家選擇了史丹福大學、哥倫比亞大學、加州大學伯克利分校的統計項目，詳細解讀它們的課程特點和申請要求，希望通過解讀能讓大家對統計學項目的申請和未來的學習有更加直觀的了解，以便大家在接下來的申請準備中有更明確的目標。史丹福大學史丹福大學是全球頂尖大學之一，統計學專業排名全美第一。