進展|神經網絡正則變換

2021-01-21 中科院物理所

正則變換是物理、力學家和天文學家處理哈密頓體系的經典方法。通過找到合適的變量替換,正則變換可以簡化、甚至是徹底求解哈密頓體系的動力學。例如,19世紀法國科學家夏爾·德勞奈發表了約1800頁的解析推導,試圖使用正則變換化簡「日-地-月」的三體問題。雖然正則變換方法是哈密頓力學中的基本工具,但是它在更複雜的多體問題中的廣泛應用受限於繁複的人工操作和解析計算。

利用正則變換與現代機器學習中的正則化流方法(Normalizing Flow)之間的密切聯繫,中國科學院物理研究所/北京凝聚態物理國家研究中心凝聚態理論與材料計算重點實驗室的博士生李爍輝、董陳瀟與王磊研究員和普林斯頓大學的張林峰博士合作提出了神經網絡正則變換(Neural Canonical Transformation)方法。該方法利用神經網絡實現靈活、可學習的正則變換。通過對於哈密頓函數或相空間數據的學習找到合適的變換,從而將問題映射為具有不同特徵頻率的近獨立運動模式。

在機器學習領域,正則化流利用可逆的深層神經網絡實現數據之間的變換。它在語音與圖像合成等現實問題中有廣泛的應用。本質上,正則化流使用變量替換的方法將真實數據複雜的概率分布映射成為簡單的近似正則分布。物理學中的正則變換其實也是一種正則化流。但與通常的機器學習應用不同,正則變換作用於包含坐標和動量的相空間。此外,為了保證變換前後的哈密頓方程的形式和物理意義,變換本身需要滿足辛條件(Symplectic Condition)。構建滿足這些哈密頓體系基本數學性質的神經網絡是此項工作的關鍵點。

神經網絡正則變換的一個直接應用是提取多體問題中近獨立的非線性模式。這有助於識別在分子動力學和動力學控制問題中起關鍵作用的低頻集體模式。例如,作者使用神經網絡正則變換分析丙氨酸二肽的分子動力學模擬數據,從而提取出分子構像之間轉換所對應的運動模式。作者還將神經網絡正則變換應用於機器學習問題,實現了對於MNIST數據集的隱變量提取與概念壓縮。

此工作受到科技部(2016YFA0300603)和國家自然科學基金委(11774398)的資助。

相關研究成果發表於Phys. Rev. X,論文連結

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.10.021020

開源的代碼實現

https://github.com/li012589/neuralCT

編輯:Kun

近期熱門文章Top10

↓ 點擊標題即可查看 ↓

1. 15年前那場轟動電競世界的瘟疫,驚動了美國CDC,還發了頂級期刊

2. 飛機為什麼能飛起來?直到今天,科學家仍然沒有答案

3. 電飯煲蛋糕硬核科學指南:從入門到放棄

4. 宅在家裡不動,你的身體會發生什麼變化?

5. 費曼:是學物理好還是學數學好?

6. 納什:如何科學追求對象?

7. 雞蛋為什麼打不發?因為你發泡原理沒學好

8. 葡萄乾先曬後摘?解開童年疑惑之堅果加工流水線

9. 因為疫情在家的牛頓,都做了些什麼?

10. 為什麼!我!又走神了!

相關焦點

  • 正則表達式與神經網絡的深度融合
    在有足夠多標註數據的情況下,神經網絡往往效果驚人。但是,當標註數據匱乏時,神經網絡的性能就會大打折扣。此外,神經網絡缺少可解釋性以及難以融入外部知識的問題也一直為人所詬病。規則系統的缺點在於完全依賴於人類專家,無法自動從數據中學習,因而在數據資源豐富的場景下難以達到和神經網絡相近的效果。為了結合兩者的優點,近年來如何將規則更好地融入神經網絡成為了一個重要的研究方向。現有的工作主要利用規則去約束神經網絡,通常使用多任務學習 (multitask learning)、知識蒸餾(knowledge distillation)等方法,或是根據規則的啟發設計新的神經網絡結構。
  • 人工智慧算法問題——正則化解決神經網絡中的過度擬合
    過度擬合是一個很大的問題,尤其是在深度神經網絡中。如果你正在懷疑你的神經網絡過度擬合了。有很多方法可以確定過度擬合了數據,也許有一個高方差問題,或者繪製了一個訓練圖和測試精度圖,然後發現過度擬合了。在這種情況下,我們應該怎麼辦呢?
  • AutoML新進展:用進化算法發現神經網絡架構
    在下圖中,每個點都是在CIFAR-10數據集上訓練的神經網絡,通常用於訓練圖像分類器。每個點都是一個神經網絡,這個網絡在一個常用的圖像分類數據集(CIRAR-10)上進行了訓練。最初,人口由1000個相同的簡單種子模型組成(沒有隱藏層)。從簡單的種子模型開始非常重要,如果我們從初始條件包含專家知識的高質量模型開始,那麼最終獲得高質量模型會更容易。
  • 訓練神經網絡的五大算法
    訓練神經網絡的五大算法 Alberto Quesada 發表於 2017-11-16 15:30:54   神經網絡模型的每一類學習過程通常被歸納為一種訓練算法。
  • 用於半監督學習的圖隨機神經網絡
    原標題:用於半監督學習的圖隨機神經網絡   導讀:在 NeurIPS 2020 上,清華大學聯合微眾銀行
  • 改善神經網絡方面的各種術語和方法
    全文共2734字,預計學習時長5分鐘深層神經網絡可以解決諸如自然語言處理、機器視覺、語音合成等複雜任務。提高深層神經網絡的性能與理解其工作原理同樣重要。這篇文章將解釋改善神經網絡方面的各種術語和方法。偏差與方差偏差與方差是體現網絡在訓練集和測試集中性能的兩個基本術語。下列兩類問題可以輕鬆直觀地解釋偏差與方差。
  • 表徵圖數據絕不止圖神經網絡一種方法
    現實世界場景下複雜圖結構的例子包括:生物學網絡、計算機網絡、傳感器網絡、社交網絡、論文引用網絡、電力網絡和交通網絡。通過使用基於圖的表徵,我們可以捕獲結構化數據的順序、拓撲、集合和其它關係特性。神經網絡是通用的函數近似器。近年來的研究進展表明,深度學習模型已經在語音識別、目標識別與探測、自然語言處理等諸多領域中取得了巨大的成功。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而,「設計出最優的神經網絡,學習並輸出任意的圖」仍然是一個熱門的研究課題。本文是一篇出自倫敦大學學院的圖表徵學習綜述,詳細介紹了圖核、卷積、圖神經網絡、圖嵌入、概率模型共五類圖表徵學習方法的起源與發展,並對圖數據表徵學習方法的最新進展和未來發展方向進行總結和討論。
  • 理清神經網絡中的數學知識
    導讀:首先我想在這裡聲明的是,本篇文章針對的是一些已經具備一定神經網絡知識的人。意在幫助大家梳理神經網絡中涉及的數學知識,以及理解其物理含義。希望大家讀過之後,可以使大家對於神經網絡有更多角度的理解,幫助大家推導以及理解其中的數學公式。
  • 變分自回歸神經網絡求解統計力學研究取得進展
    變分自回歸神經網絡求解統計力學研究取得進展 2019-03-06 理論物理研究所 物理研究所 張潘與合作者中科院物理研究所研究員王磊以及北京大學本科生吳典,合作提出了一個應用於統計力學問題的計算方法——變分自回歸神經網絡(Variational Autoregressive Networks)。
  • 淺談keras中的metrics作用-神經網絡評價指標
    #科技新星創作營# #機器學習# #深度學習# #神經網絡#背景介紹最近在用keras寫模型的時候,參考別人代碼時,經常能看到各種不同的metrics,因此會產生這麼幾個問題:metrics評價都對哪些指標進行評價?
  • 人工神經網絡研究的發展歷程及重要特性
    隨著大腦和計算機研究的進展,研究目標已從「似腦機器」變為「學習機器」,為此一直關心神經系統適應律的赫布(Hebb)提出了學習模型。羅森布拉特(Rosenblatt)命名感知器,並設計了一個引人注目的結構。
  • CVPR 2019 神經網絡架構搜索進展綜述
    ——但是還為時過早。手動調參尋找神經網絡架構依然是個有趣的工作,尤其是對於那些帶了很多學生的導師而言(開玩笑啦~)。  神經網絡架構搜索(NAS)——前言那麼問題來了,神經網絡架構搜索(NAS)究竟是什麼?為什麼我們要了解NAS呢?(這一部分是為了去年完全沒有跟進領域內進展的人準備的)NAS的核心思想是使用搜索算法來發現用於解決我們的問題所需要的神經網絡結構。
  • 「一文看懂」深度神經網絡加速和壓縮新進展年度報告
    中國科學院自動化研究所的程健研究員,向大家介紹過去一年,深度神經網絡加速和壓縮方面所取得的進展。鄭板橋在《贈君謀父子》一詩中曾寫道,「刪繁就簡三秋樹,領異標新二月花。」這句詩講的是,在畫作最易流於枝蔓的蘭竹時,要去掉其繁雜使之趨於簡明如「三秋之樹」;而針對不同的意境要有發散的引申,從而使每幅作品都如「二月之花」般新穎。
  • NeurIPS 2020|用於半監督學習的圖隨機神經網絡
    導讀:在 NeurIPS 2020 上,清華大學聯合微眾銀行、微軟研究院以及博世人工智慧中心提出了 Graph Random Neural Network (GRAND),一種用於圖半監督學習的新型圖神經網絡框架。
  • 一份完全解讀:是什麼使神經網絡變成圖神經網絡?
    與完全連接的神經網絡(NNS或MLP)相比,卷積網絡(CNN或Convnet)具有一定的優勢。理想情況下,我們的目標是開發一個像圖神經網絡一樣靈活的模型,它可以消化和學習任何數據,但同時我們希望通過打開或關閉某些先驗來控制(正則)這種靈活性的元素。所有這些良好的特性使得ConvNet不太容易過度擬合(訓練集的高精度和驗證/測試集的低精度),在不同的視覺任務中更精確,並且易於擴展到大型圖像和數據集。
  • 神經網絡重建儀 - CSDN
    • UnDeepVOUnDeepVO能夠通過使用深度神經網絡估計單目相機的6-DoF姿勢及其視野的深度。有兩個顯著特徵:一個是無監督深度學習方案,另一個是絕對的深度恢復。訓練UnDeepVO時,通過使用立體圖像對恢復尺度來,但測試時,使用連續的單眼圖像。UnDeepVO還是一個單目系統。網絡訓練的損失函數基於時空密集信息,如圖所示。
  • Hinton等人新研究:如何更好地測量神經網絡表示相似性
    在機器學習的很多任務中,深度神經網絡可以自動從數據中學習強大的特徵表示。儘管深度神經網絡在多種任務中取得了令人印象深刻的進展,但如何理解和描述神經網絡從數據中學習到的表示仍未得到充分研究。之前的工作(例如 Advani&Saxe (2017)、Amari et al. (2018)、Saxe et al. (2013))在理解神經網絡訓練過程的理論動態方面取得了一些進展。
  • 人工智慧之卷積神經網絡
    神經網絡的概念和組成部分人工神經網絡(Artificial Neural Networks,簡寫為ANNs)也簡稱為神經網絡(NNs)或稱作連接模型(Connection Model),它是一種模仿動物神經網絡行為特徵,進行分布式並行信息處理的算法數學模型。這種網絡依靠系統的複雜程度,通過調整內部大量節點之間相互連接的關係,從而達到處理信息的目的。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬,所以要了解神經網絡的工作原理,所以我們首先要了解生物神經元。其結構如下圖所示:   而人工神經網絡的基本原理也就是對生物神經元進行儘可能的模擬,當然,以目前的理論水平,製造水平,和應用水平,還與人腦神經網絡的有著很大的差別,它只是對人腦神經網絡有選擇的,單一的,簡化的構造和性能模擬,從而形成了不同功能的,多種類型的,不同層次的神經網絡模型。