LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

2020-07-28 機器之心Pro

機器之心報導

參與：杜偉、小舟

或許 Jürgen Schmidhuber 無休止的論戰可以告一段落了！

自 2018 年圖靈獎授予 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度學習先驅之後，LSTM 之父 Jürgen Schmidhuber 就此在社交網絡上展開了一波又一波的論戰，極力肯定和推廣長短期記憶網絡（LSTM）在人工神經網絡和深度學習領域的巨大作用。

如今，LSTM 終於獲得了學界的認可。

近日，奧地利人工智慧高級研究所（IARAI）宣布其創始人、LSTM 提出者和奠基者 Sepp Hochreiter 教授獲得了 IEEE CIS 2021 年神經網絡先驅獎（Neural Networks Pioneer Award），以表彰他對長短期記憶網絡（LSTM）的發展做出的卓越貢獻。

曾獲 2016 年神經網絡先驅獎的 Jürgen Schmidhuber 也表達了對 Sepp Hochreiter 教授的祝賀。

LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

該獎項開始於 1991 年，由 IEEE 計算智能協會（CIS）每年頒發一次，主要授予那些對神經網絡領域的早期概念和持續性發展做出突出貢獻的學者。具體而言，該獎項主要表彰以下兩種類型的開創性貢獻：（1）根本性理解和（2）工程應用。

該獎項被公認為神經網絡領域的最高榮譽。

獲獎者可以是個人，也可以是不超過 3 人的團體，獲獎者通過發明新技術、取得創新性技術發展、實現新產品或者管理創新性產品設計或生產流程，進而對神經網絡的理論、技術和應用發展做出貢獻。

LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

在歷屆 IEEE 神經網絡先驅獎獲得者中，我們可以看到很多熟悉的大佬，例如 2018 年圖靈獎得主、深度學習三巨頭 Yoshua Bengio（2019）、Yann LeCun（2014）和 Geoffrey Hinton（1998）。

此外，獲獎者中也不乏華人。2014 年，時任香港中文大學教授的 Jun Wang 與 Yann LeCun 共同獲得了當年的神經網絡先驅獎，以表彰其在神經動力優化方面做出的突出成就。

LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

圖源：https://www.erg.cuhk.edu.hk/erg/node/81

接下來，我們具體來看本年度 IEEE 神經網絡先驅獎獲得者 Seep Hochreiter 在神經網絡領域都做了哪些突出貢獻。

Sepp Hochreiter 個人簡介

LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

1967 年，Sepp Hochreiter 出生於德國米爾多夫，是一位計算機科學家。從 2006 年到 2018 年，他領導了生物信息研究所。2018 年以來，他又領導了約翰 · 克卜勒林茨大學（JKU）的機器學習研究所。2017 年，他成為林茨理工學院（LIT）AI 實驗室的負責人，該實驗室致力於推進人工智慧的研究。

Sepp Hochreiter 在機器學習、深度學習和生物信息學領域都做出了巨大的貢獻。Sepp Hochreiter 在 1997 年與 Jürgen Schmidhuber 聯合發表了長短期注意（LSTM）的論文，被認為是機器學習發展史上的一座裡程碑。深度學習的基礎就是基於 Sepp Hochreiter 對梯度消失和梯度爆炸的分析構建的。

LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

在谷歌學術上，Seep Hochreiter 的 LSTM 論文被引量已經近 35000。

LSTM 是一種特殊的循環神經網絡（RNN），Sepp Hochreiter 在 1991 年分析了隨時間反向傳播（BPTT）帶來的梯度爆炸和梯度消失問題。1997 年，Sepp Hochreiter 與 Jürgen Schmidhuber 在 LSTM 論文中引入 CEC 單元解決 BPTT 帶來的梯度爆炸和消失問題。之後又有許多研究者對其進行了改進和普及。

LSTM終獲「正名」，IEEE 2021神經網絡先驅獎授予LSTM提出者

LSTM 單元基本結構，圖源：https://en.wikipedia.org/wiki/Long_short-term_memory

此外，Sepp Hochreiter 提出了平滑的極小值（flat minima）作為學習人工神經網絡的首選解決方案，以確保有較低的泛化誤差。他還為神經網絡提出了新的激活函數以改進學習，比如指數線性單元（ELU）。Sepp Hochreiter 在強化學習和支持向量機（SVM）方面也做出了貢獻。

參考連結：

https://www.iarai.ac.at/news/sepp-hochreiter-receives-ieee-cis-neural-networks-pioneer-award-2021/

https://cis.ieee.org/getting-involved/awards/past-recipients#NeuralNetworksPioneerAward

相關焦點

  • LSTM終獲「正名」,IEEE 2021神經網絡先驅獎授予LSTM提出者
    自 2018 年圖靈獎授予 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度學習先驅之後，LSTM 之父 Jürgen Schmidhuber 就此在社交網絡上展開了一波又一波的論戰，極力肯定和推廣長短期記憶網絡（LSTM）在人工神經網絡和深度學習領域的巨大作用。
  • 如何使用LSTM在Keras中快速實現情感分析任務
    循環神經網絡（RNN）我們人類在看電影的時候，理解任何事件的時候每次都不是從零開始的，我們會從電影中最近發生的事中學習。但是，傳統的神經網絡是無法從之前的事件中學習的，因為這些信息沒有從一步傳遞到下一步。相反，RNN 從與之緊接的前一步中學習。
  • PyTorch:Bi-LSTM的文本生成
    許多模型都從不同的角度提出了解決不同NLP任務的方法。同樣，最受歡迎的模型中的共同點是實施基於深度學習的模型。如前所述，NLP領域解決了大量的問題，特別是在本博客中，我們將通過使用基於深度學習的模型來解決文本生成問題，例如循環神經網絡LSTM和Bi-LSTM。
  • 時間序列的LSTM模型預測——基於Keras
    二、LSTM模型介紹    長短時記憶網絡（Long Short Term Memory，簡稱LSTM）模型，本質上是一種特定形式的循環神經網絡（Recurrent Neural Network，簡稱RNN)。
  • 在 TensorFlow 上使用 LSTM 進行情感分析
    這篇教程由多個主題組成，包括詞向量，循環神經網絡和 LSTM。在了解這些概念之後，我們將在文章的最後給出完整的代碼。在討論具體的概念之前，讓我們先來談談為什麼深度學習適合應用在自然語言處理中。循環神經網絡（RNN）現在，我們已經得到了神經網絡的輸入數據 —— 詞向量，接下來讓我們看看需要構建的神經網絡。NLP 數據的一個獨特之處是它是時間序列數據。每個單詞的出現都依賴於它的前一個單詞和後一個單詞。由於這種依賴的存在，我們使用循環神經網絡來處理這種時間序列數據。循環神經網絡的結構和你之前看到的那些前饋神經網絡的結構可能有一些不一樣。
  • LSTM提出者:我看未必
    這在當時機器學習領域中是一個突破，它推動了其他學習算法的發展，如 Hinton 的「玻爾茲曼機」。「基於能量的學習已經存在了一段時間，最近一段時間裡，因為尋求更少監督的方法，它重新回到了我的視野中。」Yann LeCun 在 2019 年 10 月於普林斯頓大學的演講中說道。
  • 用純NumPy碼一個RNN、LSTM:這是最好的入門方式了
    機器之心報導參與：思源隨著 TensorFlow 和 PyTorch 等框架的流行，很多時候搭建神經網絡也就調用幾行 API 的事。大多數開發者對底層運行機制，尤其是如何使用純 NumPy 實現神經網絡變得比較陌生。
  • 探索LSTM:基本概念到內部結構
    在這篇文章中，作者首先介紹了一下神經網絡、RNN和LSTM的基本概念，然後舉例對比了三種網絡的性能，並且進一步講解了LSTM。LSTM是神經網絡一個相當簡單的延伸擴展，而且在過去幾年裡取得了很多驚人成就。我第一次了解到LSTM時，簡直有點目瞪口呆。不知道你能不能從下圖中發現LSTM之美。OK，咱們這就開始切入正題。先簡單介紹一下神經網絡和LSTM。
  • 「我們該談談LSTM是誰原創?」圖靈獎得主Hinton霸氣回擊Jürgen
    其中第一條理由就是「反向傳播並非 Hinton 原創」。這件事在 reddit 等平臺上引發了大量討論。昨日，Hinton 親自下場，在帖子上表示「我只回應這一次」，並對 Jürgen 喊話：「或許 Jürgen 應該談談誰發明了 LSTM？」
  • 六種方法解決LSTM循環神經網絡中的超長序列問題
    長短期記憶（LSTM）循環神經網絡可以學習和記憶長段序列的輸入。如果你的問題對於每個輸入都有一個輸出（如時間序列預測和文本翻譯任務），那麼 LSTM 可以運行得很好。但 LSTM 在面臨超長輸入序列——單個或少量輸出的情形時就會遇到困難了。這種問題通常被稱為序列標記，或序列分類。
  • 使用LSTM深度學習模型進行溫度的時間序列單步和多步預測
    對於序列建模，我們將選擇具有LSTM層的遞歸神經網絡的Tensorflow實現。LSTM網絡的輸入是3D張量：（樣本，時間步長，功能）樣本—用於訓練的序列總數。timesteps-樣本的長度。 Xval=None, Yval=None, mask_value=-999.0, min_delta=0.001, patience=5 ): lstm_input
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    深度神經網絡又是最為複雜的機器學習模型，其可解釋性與可視化性更加具有挑戰性。網絡模型為什麼起作用，它是否足夠好，圖像識別是如何抽象出「貓」這個概念的？本段分析了幾種典型深度神經網絡可視化技術，詳盡展示了前沿的可視化原理以及解釋性效果。
  • 教程| 如何使用TensorFlow構建、訓練和改進循環神經網絡
    選自SVDS作者：Matthew Rubashkin、Matt Mollison機器之心編譯參與：李澤南、吳攀來自 Silicon Valley Data Science 公司的研究人員為我們展示了循環神經網絡（RNN）探索時間序列和開發語音識別模型的能力。
  • 教程 | 如何使用TensorFlow構建、訓練和改進循環神經網絡
    目前有很多人工智慧應用都依賴於循環深度神經網絡，在谷歌（語音搜索）、百度（DeepSpeech）和亞馬遜的產品中都能看到RNN的身影。然而，當我們開始著手構建自己的 RNN 模型時，我們發現在使用神經網絡處理語音識別這樣的任務上，幾乎沒有簡單直接的先例可以遵循。
  • 用金庸、古龍群俠名稱訓練LSTM,會生成多麼奇葩的名字?
    雷鋒網按：本文轉載自Magicly博客，獲作者授權。閱讀原文請見：。http://magicly.me/2017/04/07/rnn-lstm-generate-name/?可以看出這是一種遞歸定義（所以循環神經網絡又叫遞歸神經網絡RecursiveNeuralNetwork），h(t-1)又依賴於h(t-2)，h(t-2)依賴於h(t-3)…所以h(t)依賴於之前每一個時間點的輸入，也就是說h(t)記住了之前所有的輸入。上圖如果按時間展開，就可以看出RNN其實也就是普通神經網絡在時間上的堆疊。
  • IEEE史上首位華人主席，馬裡蘭大學終身教授劉國瑞當選
    RAY LIU）當選 2021 IEEE 候任主席。發表論文 800 餘篇，在信號處理、通信、信息取證學等領域做出傑出貢獻，他領導的信號處理研究在 2009 年 IEEE 125 周年被選為「對人類將有重大影響的 7 大信息技術」之一。
  • Pytorch貝葉斯庫BLiTZ實現使用LSTM預測時序數據和繪製置信區間
    貝葉斯LSTM層眾所周知，LSTM結構旨在解決使用標準的循環神經網絡（RNN）處理長序列數據時發生的信息消失問題。在數學上，LSTM結構的描述如下：我們知道，貝葉斯神經網絡的核心思想是，相比設定一個確定的權重，我們可以通過一個概率密度分布來對權重進行採樣，然後優化分布參數。
  • 深度| LSTM之父Jürgen Schmidhuber為何名聲不顯?
    Schmidhuber 博士說，「我圈子裡的某些研究人員裝作他們好像發明了點什麼東西，然而，好東西是其他人的成果，他們卻從來不提。」但是要理解他早期的研究成果為什麼沒有給他帶來名氣卻不是一件容易的事情。雖然他居住的地方遠離技術產業中心，但這也無法完全作為解釋。這一爭端關於神經網絡的根源，神經網絡允許機器通過識別模式來學習，其應用很廣。
  • 谷歌大腦科學家親解 LSTM:一個關於「遺忘」與「記憶」的故事
    如果你對深度學習稍有些研究的話，相信你一定聽說過 LSTM，雷鋒網此前也編譯過 LSTM 之父 Jürgen Schmidhuber 的訪談文章，他與 Sepp Hochreiter 在 1997 年發表的一篇論文中提出了 LSTM 的概念。LSTM 能夠提升神經網絡接受輸入信息及訓練數據的記憶機制，讓輸出結果得到大幅度的提升。
  • 神經網絡在「生命遊戲」裡苦苦掙扎
    最近，有研究人員發表了一篇論文，指出儘管這款遊戲很簡單，但它對神經網絡來說，仍是個挑戰。他們的論文研究了神經網絡是如何「探索」這款遊戲的，以及為什麼它們會常常錯過正確玩法。康威生命遊戲是英國數學家約翰·康威在1970年發明的細胞自動機。這個遊戲可以在一個無限大的2D網格上進行。