《自然》雜誌:「可微分神經計算機」問世

2021-03-02 人工智慧學家
英國《自然》雜誌12日發表了一項人工智慧重要成果,描述了一種集神經網絡與計算機優點於一身的混合型學習機器,既能像神經網絡那樣學習,又能像計算機那樣處理複雜數據。傳統計算機可以處理複雜的數據形式,但是需要手工編程來執行這些任務。而人工神經網絡(ANN)一直用來模擬像人腦一樣的學習能力。研究熱點,它可以從信息角度對人腦神經元網絡進行抽象處理,建立某種簡單模型,按不同連接方式組成不同網絡。但就現階段而言,人工神經網絡仍然缺乏處理結構化數據所需的存儲架構。在位於英國倫敦的谷歌「深度思維」公司,研究人員艾利克斯·格拉夫、格裡格·韋恩、戴密斯·哈薩比斯及同事們,此次開發了被稱為「可微分神經計算機」(Differentiable neural computer)的學習機器。其能將神經網絡和外部存儲結構結合在一起,前者可以通過示例或反覆試驗進行學習,後者與傳統計算機內的隨機存取存儲器相似。因此,「可微分神經計算機」既能學習,又能處理複雜數據。研究顯示,「可微分神經計算機」能夠成功理解圖形結構,譬如家譜圖或是交通網絡。實驗中,它可以在沒有現成知識的情況下,規劃出最佳的倫敦地鐵線路,或根據符號語言所描述的目標來解決方塊拼圖問題。「深度思維」公司此前因開發「阿爾法圍棋」(AlphaGo)程序而聲名大噪,該圍棋程序在神經網絡經過深度訓練後,可以利用價值網絡計算局面,用策略網絡選擇下子。而此次「可微分神經計算機」的研發者之一,正是被稱為「AlphaGo之父」的哈薩比斯,他和另兩位聯合創始人於2010年成立了「深度思維」公司,目前正在幫助谷歌展開一場全新的人工智慧革命。

【重磅】未來科技學院籌備成立,開講前沿科技未來發展趨勢

2016年7月,人工智慧學家AIE實驗室基於自身的研究成果和所擁有的頂級科學家資源,籌備建立未來科技學院 (Futurology University)。

未來科技學院的使命和目標:將邀請國內和國際著名科學家、科技企業家講授人工智慧、網際網路、腦科學、虛擬實境、機器人等領域的基本原理和未來發展趨勢。未來科技學院的目標是研究前沿科技未來發展趨勢,培養掌握未來科技動向的企業家和具有獨立創新精神的未來科學家。

開始激動人心的學習之旅:無論您是企業家,投資人,還是青年學子,科技愛好者,如果您希望把握科技未來發展趨勢,與世界著名科學家,科技企業家,風險投資家進行直接交流。歡迎您加入未來科技學院大家庭。


您可以掃描二維碼,進入未來科技學院臨時群,然後工作人員邀請您加入未來科技學院的免費學習群,開啟前沿科技未來趨勢的學習之旅。


人工智慧學家    Aitists


       人工智慧學家是權威的前沿科技媒體和研究機構,2016年2月成立人工智慧與網際網路進化實驗室(AIE Lab),重點研究網際網路,人工智慧,腦科學,虛擬實境,機器人,移動網際網路等領域的未來發展趨勢和重大科學問題。

相關焦點

  • 谷歌DeepMind 的可微分神經計算機 DNC 怎麼樣?看 Facebook AI...
    賈揚清,擁有加州大學伯克利分校計算機科學博士學位、清華大學碩士學位和學士學位,曾於新加坡國立大學、微軟亞洲研究院、NEC美國實驗室、Google Brain工作,現任 Facebook 研究科學家,主要負責前沿AI 平臺的開發以及前沿的深度學習研究
  • Google Deepmind最新開發的可微分神經計算機是什麼?
    Graves et al.本周《自然》發表的研究Hybrid neural computing using a dynamic external memory描述了一種集神經網絡與計算機優點於一身的混合型學習機器。傳統計算機可以處理複雜的數據形式,但是需要手工編程來執行這些任務。
  • 神經圖靈機深度講解:從圖靈機基本概念到可微分神經計算機
    這裡的關鍵思想是神經圖靈機基本上就是可微分的圖靈機,這是很重要的,因為我們每天在計算機上做的算法和事情對計算機來說是非常困難的,原因是計算機的計算是絕對的。要麼是 0 要麼是 1。計算機在「非此即彼」的邏輯或者整數中運作。然而大多數的神經網絡和機器學習實際上不是這樣的。它們使用實數。
  • DeepMind可微分神經計算機DNC開源 內部架構原理首次曝光
    1 新智元報導1   作者:聞菲胡祥傑 劉小芹 零夏  【新智元導讀】DeepMind昨夜宣布,將其 Nature 論文研究成果、2016 年引起熱議的可微分神經計算機 DNC 開源,相關代碼和部署細節已經在 Github 公開。
  • 可微分的「OpenCV」:這是基於PyTorch的可微計算機視覺庫
    機器之心整理參與:思如何打造一個可微分的 OpenCV?如何將圖像處理嵌入到訓練流程中?你需要 Kornia 這個開源可微的計算機視覺庫。在這個項目中,開發者提出了一種新型開源可微分計算機視覺庫 Kornia,並且它建立在 PyTorch 之上。Kornia 包含了一組例程和可微分模塊,並致力於解決通用計算機視覺問題。在 Kornia 的核心代碼中,它使用 PyTorch 作為主要後端,並高效地利用反向模式自動微分機制來定義並計算複雜函數的梯度。
  • 計算機圖形也能自動可微:MIT學神的微分太極框架開源
    機器之心機器之心報導參與:一鳴、杜偉去年5月,機器之心報導了 MIT 華人學神胡淵鳴等開源的計算機圖形庫——太極。近日,這位作者聯合其他研究者推出了自動微分版本的太極——微分太極。
  • 計算機圖形自動可微:MIT學神微分太極框架開源,論文被ICLR接收
    機器之心報導參與:一鳴、杜偉去年5月,機器之心報導了 MIT 華人學神胡淵鳴等開源的計算機圖形庫——太極。近日,這位作者聯合其他研究者推出了自動微分版本的太極——微分太極。這一框架可以基於太極實現自動微分,在物理模擬優化方面有很高的性能和靈活性。這意味著太極從計算機圖形學進入了機器學習的領域。目前,一作胡淵鳴已在 GitHub 上開源了基於這一框架完成的 10個 物理模擬器,項目登上了 GitHub 熱榜。而微分太極論文也已被 ICLR2020 接收。
  • DeepMind可微分神經計算機-論文中文解讀
    就像傳統的計算機,可以在內存中存儲和操作各種複雜的數據結構,不同的是,它是通過樣本來學習這些操作。通過有監督學習,我們示範了DNC可以學會回答必須經過推理推斷的複雜問題;DNC可以學會找到圖的最短路徑,可以應用到交通圖和家譜樹中。通過強化學習,DNC可以完成a moving blocks puzzle的遊戲,總起來講,DNC可以完成之前沒有額外存儲的神經網絡很難完成的複雜的,結構化的任務。
  • 【深度學習會被可微分編程取代?】展望30年後的神經網絡和函數編程
    機器學習著名博主colah(Christopher Olah)在2015年展望30年後的深度學習,提到了可微分編程。他從深度學習三大觀點之一的表示(representation)角度出發,認為深度學習研究的是優化和函數編程之間的聯繫,而可微分編程則是函數編程和優化的自然交集,十分優雅而簡潔,值得進一步研究。目前,深度學習是一個非常成功的工具。
  • 「深度學習被可微分編程取代?」展望30年後的神經網絡和函數編程
    【新智元導讀】在Yann LeCun「深度學習已死」的驚人發言下,可微分編程的概念引發了廣泛關注。機器學習著名博主colah(Christopher Olah)在2015年展望30年後的深度學習,提到了可微分編程。
  • 計算機視覺與模式識別論文摘要:神經常規微分方程、推理視覺問答
    神經常規微分方程論文一:標題:Neural Ordinary Differential Equations,神經常規微分方程神經常規微分方程論文摘要:介紹了一種新的深度神經網絡模型。我們使用神經網絡參數化隱藏狀態的導數,而不是一個具體指定的離散隱藏層的序列。
  • Yann LeCun:深度學習已死,可微分編程萬歲!
    今天,他在Facebook個人主頁上寫了一篇短文,不僅支持可微分編程,還用上了「深度學習已死」的表述。不僅如此,他還推出了一個「歸化學習」。先來看LeCun的文章。Yann LeCun:深度學習已死,可微分編程萬歲!好,深度學習作為一個流行詞,現在時效已過。深度學習已死,可微分編程萬歲!
  • MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    近日,這位作者聯合其他研究者推出了自動微分版本的太極——微分太極。這一框架可以基於太極實現自動微分,在物理模擬優化方面有很高的性能和靈活性。太極原本是用於計算機圖形計算和模擬的,為什麼要開發為微分框架呢?這是因為使用可微模擬器進行物理控制器優化,相比 model-free 的強化學習算法,可以提升 1 到 4 個量級的收斂速度。
  • 7 Papers|MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    機器之心&ArXiv Weekly Radiostation參與:杜偉、楚航、羅若天本周的重要論文有 MIT 學神胡淵鳴等開源的自動微分版太極以及北大、華為諾亞方舟實驗室等主張以加法運算代替深度神經網絡中的乘法運算。
  • 微分萬物:深度學習的啟示
    讓我們再追問一句:訓練神經網絡又是在做什麼?純粹從編程的角度看,深度學習將一些可微分的計算單元搭建成為一段程序,再使用梯度優化的方法調節程序參數,使其達成所需的功能。其實,人工神經網絡是一類特別簡單的電腦程式。大多數神經網絡中主要涉及的是張量運算,例如張量收縮和元素非線性變換等。而所謂「深層」的神經網絡,只不過意味著這類張量計算程序比較長而已。
  • Lecun說的可微分編程是什麼?
    其背後的主要理念:可微分編程可以說是目前深度學習時代的象徵。本文將簡單介紹什麼是可微分編程,並列舉幾個可微分編程的工作。作者 | AutoML前沿可微分編程這一名詞由2018年圖靈獎獲得者Yann Lecun提出,可微分編程歷史悠久,可以追述到自動微分這一技術概念,與今日提到的可微分編程稍有不同。
  • 北大楊超:以偏微分方程求解為例,AI如何助力科學計算?
    在報告中楊老師介紹到:科學計算和超級計算之間相互促進、共同發展的閉環已經形成了幾十年了,人工智慧近年巨大的成功為科學計算帶來了新思路、新方法、新工具,而科學計算的嚴謹體系則有助於提升現有人工智慧技術的可解釋性。另外,楊老師還以求解偏微分方程舉例說明了神經網絡這一工具為科學計算帶來的幫助,並闡述了超級計算、科學計算、人工智慧從模型、算法、軟體、硬體多方位融合發展的觀點。
  • 自然及子刊綜覽---中國科學院
    《自然》  學習機器為倫敦地鐵導航  《自然》發表的一項研究描述了一種集神經網絡與計算機優點於一身的混合型學習機器。  傳統計算機可以處理複雜的數據形式,但是需要手工編程來執行這些任務。與此同時,人工神經網絡一直被開發用來模擬可以分辨數據模式的像人腦一樣的學習能力,但是它們缺乏符號處理結構化數據所需的存儲架構。  英國倫敦深度思維公司的Alex Graves、Greg Wayne、Demis Hassabis及同事開發了被稱為的「可微分神經計算機」,將神經網絡和外部存儲結構結合在一起,前者可以通過示例或反覆試驗進行學習,後者與傳統計算機內的隨機存取存儲器相似。
  • NumPy、AI基礎設施可微分編程、技術實踐,這是一場開發者的盛會
    Julia 創始人 Viral Shah:可微分編程2018 年初,現代人工智慧開拓者之一、圖靈獎得主 Yann Lecun 曾在 Facebook 上表示:「深度學習已死,可微分編程萬歲」。可微分編程是深度神經網絡背後成功理念的歸納和總結。
  • 硬核NeruIPS 2018最佳論文,一個神經了的常微分方程
    他們提出了一種名為神經常微分方程的模型,這是新一類的深度神經網絡。神經常微分方程不拘於對已有架構的修修補補,它完全從另外一個角度考慮如何以連續的方式藉助神經網絡對數據建模。在陳天琦的講解下,機器之心將向各位讀者介紹這一令人興奮的神經網絡新家族。