數學家提出了使用神經網絡處理嘈雜高維數據的新方法

2020-08-31 工程學習

來自RUDN大學和柏林自由大學的數學家們提出了一種利用人工神經網絡研究觀測數據的概率分布的新方法。新方法可以更好地與所謂的異常值，即明顯偏離整體樣本的輸入數據對象。這篇文章發表在《人工智慧》雜誌上。

人工神經網絡恢復觀測數據的概率分布是機器學習的重要組成部分。概率分布不僅使我們能夠預測所研究的系統的行為，而且能夠量化預測的不確定性。主要困難是，通常只觀察到數據，但具體的概率分布不可用。為了解決這個問題，使用貝葉斯和其他類似的近似方法。但是它們的使用增加了神經網絡的複雜性，因此使得其訓練更加複雜。

RUDN大學和柏林自由大學數學家在神經網絡中使用了確定性權重，這將有助於克服貝葉斯方法的局限性。他們開發了一個公式，允許人們正確估計觀測數據的分布方差。對擬議的模型進行了不同的數據測試：合成和實;包含異常值的數據以及從中刪除異常值的數據。新方法允許以以前無法實現的精度恢復概率分布。

RUDN大學和柏林自由大學的數學家使用神經網絡的確定性權重，並利用網絡輸出對潛在變量的分布進行編碼，以達到所需的邊際分布。對這類網絡的訓練動態進行分析後，他們獲得了一個公式，可以正確估計觀測數據的方差，儘管數據中存在異常值。對建議的模型進行了不同的數據測試：合成和真實。與其他現代方法相比，新方法允許以更高的精度恢復概率分布。使用 AUC 方法評估精度（曲線下的區域是圖表下的區域，允許根據網絡估計為&34;的樣本大小對預測平均平方誤差進行評估;AUC 分數越高，預測越好）。

相關焦點

  • 計算神經科學的應用方向,如何應用數學方法來描述高維空間
    1.高維隨機的神經系統前，如何應用數學方法來描述高維空間中的隨機性神經活動過程以及如何處理高維數據的方法甚少。針對此問題數學家們已經開始發展一些新的理論工具，例如壓縮傳感( Compressed Sensing).網絡數學理論、大規模隨機性的儲備型網絡( Reservoir Net work)的設想也開始用來描述複雜神經網絡。20世紀對物理系統的理論硏究曾經促進了數學的長足發展，也許在21世紀中對生物系統，尤其是對大腦的理論研究，也將起到同樣的效果。
  • 題庫 | 神經網絡數據預處理方法有哪些?
    > 題目1：神經網絡中 epoch 與 iteration 相等嗎？神經網絡中epoch與iteration是不相等的batchsize：中文翻譯為批大小（批尺寸）。正確的初始化方法應該避免指數級地減小或放大輸入值的大小，防止梯度 「飽和」。Glorot 提出兩個準則：各個層激活值的方差保持不變（正向傳播）各個層的梯度值的方差保持不變（反向傳播）這這些條件的基礎上，Glorot 使用 (tanh) 作為激活函數，並假設輸入值的均值為 0，提出了 Xavier 初始化的方法。
  • 表徵圖數據絕不止圖神經網絡一種方法
    近年來，圖神經網絡掀起了將深度學習方法應用於圖數據分析的浪潮。不過其作為一門古老的認識世界的方法論，人們對於圖表徵技術的研究從很早以前就開始了。雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    雖然現在深度神經網絡在物體識別、圖像分類和自然語言處理領域都取得了巨大的成功。然而，「設計出最優的神經網絡，學習並輸出任意的圖」仍然是一個熱門的研究課題。本文是一篇出自倫敦大學學院的圖表徵學習綜述，詳細介紹了圖核、卷積、圖神經網絡、圖嵌入、概率模型共五類圖表徵學習方法的起源與發展，並對圖數據表徵學習方法的最新進展和未來發展方向進行總結和討論。
  • 為ML帶來拓撲學基礎,Nature子刊提出拓撲數據分析方法
    機器之心報導參與：思、一鳴一位義大利數學家表示，現在我們可以使用一種新數學方法，讓機器學習系統能更高效、快速地學習識別複雜圖像。該數學家提出的理論已經被 Nature 子刊《Machine Intelligence》接收，該論文的作者表示，這種新方法可以稱為「拓撲數據分析（TDA）」。
  • 降維算法讓腦神經大數據處理變簡單
    據物理學家組織網8月25日（北京時間）報導，美國卡內基·梅隆大學（CMU）和哥倫比亞大學（CU）的兩位科學家在最近一期的《自然—神經科學》雜誌上聯合發表了一篇評論文章，談到為何要研究大量神經元的共同活動，並提出一種名為降維算法的機器學習算法，可以有效處理大量記錄數據，幫助解釋大量神經元的活動。
  • 提出神經網絡構建非絕熱勢能面新方法—新聞—科學網
    中科院大連化物所
  • 「符號數學」終於向「神經網絡」屈服:AI 學會數學證明了?
    Facebook人工智慧研究小組工作的計算機科學家，公開了第一個成功用神經網絡解決符號數學問題的方案 他們將數學表達式轉換為樹狀結構，然後訓練網絡在符號當中找到有關解的線索 這種方法可以充當數學家的助手，通過識別已知猜想中的模式為一個之前存在的問題提供幫助 更加令人興奮的是，這種神經網絡有可能幫助揭開神經網絡本身黑匣子的秘密
  • 前沿| 利用遺傳算法優化神經網絡:Uber提出深度學習訓練新方式
    但是，Uber 近日發布的五篇論文表明，神經進化（neuroevolution）這種利用遺傳算法的神經網絡優化策略，也是訓練深度神經網絡解決強化學習（RL）問題的有效方法。 遺傳算法——訓練深度學習網絡的有力競爭者 我們驚訝地發現，通過使用我們發明的一種新技術來高效演化 DNN，一個極其簡單的遺傳算法（GA）可以訓練含有超過 400 萬參數的深度卷積網絡，從而可以在像素級別上玩 Atari
  • ACL 2019 論文:谷歌提出增強神經網絡機器翻譯魯棒性的新方法
    谷歌研究院的一篇 ACL 2019 論文提出了一種方法，使用生成的對抗性樣本來提高機器翻譯模型的魯棒性，防止輸入中存在的細小擾動度對其造成影響。結果表明，該方法提高了 NMT 模型在標準基準上的性能。在本文中，作者 Yong Cheng、 Lu Jiang 和 Wolfgang Macherey 對其在 ACL 2019 上發表的《具有雙對抗性輸入的魯棒神經機器翻譯》論文進行了介紹。
  • 科學家提出具有同層側向激勵和抑制的卷積脈衝神經網絡模型
    但實際上，這一過程是最複雜的處理過程之一：首先，在複雜的背景環境下，球進入人的視野，被視網膜捕捉到後，經視覺通路發送到大腦處理視覺信息的腦區，進行更加徹底的圖像分析。同時視皮層與其他腦區協作，判斷物體的種類，預測它的行進軌跡，最終通過傳出神經控制肌肉的運動，決定人的下一步行動：舉起雙手、接住球。上述過程只在零點幾秒內發生，幾乎完全是下意識的行為，也很少會出差錯。
  • 自動化所提出具有同層側向激勵和抑制的卷積脈衝神經網絡模型
    但實際上，這一過程是最複雜的處理過程之一：首先，在複雜的背景環境下，球進入人的視野，被視網膜捕捉到後，經視覺通路發送到大腦處理視覺信息的腦區，進行更加徹底的圖像分析。同時視皮層與其他腦區協作，判斷物體的種類，預測它的行進軌跡，最終通過傳出神經控制肌肉的運動，決定人的下一步行動：舉起雙手、接住球。上述過程只在零點幾秒內發生，幾乎完全是下意識的行為，也很少會出差錯。
  • 73歲Hinton老爺子構思下一代神經網絡:屬於無監督對比學習
    自 20 世紀 80 年代開始，Geoffrey Hinton 就開始提倡使用機器學習方法進行人工智慧研究，他希望通過人腦運作方式探索機器學習系統。受人腦的啟發，他和其他研究者提出了「人工神經網絡」（artificial neural network），為機器學習研究奠定了基石。那麼，30 多年過去，神經網絡的未來發展方向在哪裡呢？
  • 華為提出移動端部署神經網絡新方法
    論文連結：https://arxiv.org/pdf/1905.13298.pdf華為的這篇論文提出了解決該問題的新方法，即引入兩種新型運算：卷積移位（convolutional shift）和全連接移位（fully-connected shift），從而用按位移位（bitwise shift）和按位取反（bitwise negation）來取代乘法。
  • 華為提出移動端部署神經網絡新方法
    論文連結：https://arxiv.org/pdf/1905.13298.pdf 華為的這篇論文提出了解決該問題的新方法，即引入兩種新型運算：卷積移位（convolutional shift）和全連接移位（fully-connected shift），從而用按位移位（bitwise shift）和按位取反（bitwise negation
  • 大腦與AI,神經科學與人工神經網絡
    在2018年神經信息處理系統會議（NeurIPS）上發表的一篇論文中，學者們描述了使用人工神經網絡比以往更準確地預測大腦中不同區域如何響應特定單詞的實驗結果。研究人員認為使用人工神經網絡比以往更準確地預測大腦中不同區域如何響應特定單詞。
  • 人工神經網絡及其應用
    半個世紀後，生理學家 W.s.McCulloch和數學家W.A.Pitts於1943年發表了一篇神經網絡方面的著名文章。在這篇文章中，他們在已知的神經細胞生物學基礎上從信息處理的角度出發，提出形式神經元的數學模型，稱為M-P模型。該模型為開創神經學科理論研究的新時代。在1949年，心理學家Donala O.Hebb出版一本為《行為構成》的書，在書中他建立了現在被人們稱為Hebb算法的連接訓練算法。
  • 聊聊11種主要的神經網絡結構
    RNN允許將信息存儲在網絡中，使用先前訓練中的推理來做出有關即將發生的事件的更好，更明智的決策。 為此，它將先前的預測用作「上下文信號」。 由於其性質，RNN通常用於處理順序任務，例如逐字母生成文本或預測時間序列數據(例如股票價格)。 他們還可以處理任何大小的輸入。
  • 這個預言說數學家將被計算機取代，數學家：我不信
    4 計算機推理的局限性Josef Urban認為，證明方法可以結合演繹推理和歸納推理。他的團隊設計了一個由機器學習工具為導向的定理證明器，這樣計算機就可以自行從經驗中學習。在過去的幾年裡，他們探索了神經網絡的用處。神經網絡指的是擁有算力的層數，使用與人類大腦神經活動相似的方法協助計算機處理信息。
  • 這個預言說數學家將被計算機取代,數學家:我不信!
    但就算將這兩種方法結合起來（就像新的定理證明器一樣），也不能實現自動推理。此外，上述的兩類證明工具並沒有達到大眾的期望。許多數學家並不使用這類工具，甚至不待見它們。（圖註：Simon Dedeo在解釋人與機器進行數學證明的方式是相似的）該領域還存在一個難題：有多少證明是計算機可以自動完成的？計算機系統能否提出一個有趣的猜想，然後用人類能夠理解的方式證明它？