機器之心報導
參與：魔王、蛋醬、杜偉
LSTM 之父 Jürgen Schmidhuber 再次掀起爭論，這回他指向了深度學習之父、圖靈獎得主 Geoffrey Hinton。不過，這次他站出來質疑的是 Hinton 的最新獎項——本田獎。
創立於 1980 年的本田獎旨在表彰「為引領生態技術領域的下一代新知識而做出貢獻的個人或團體」。2019 年，Geoffrey Hinton 獲得本田獎，獲獎理由是「為將人工智慧（AI）廣泛應用於多個領域所做的先驅性研究以及實用化推進」。
然而，昨日計算機科學家 Jürgen Schmidhuber 發文批判這一事件，認為 Hinton 不應該獲得該獎項。他表示「不要把發明者弄錯人了」，並直呼「獎項並不能改變事實」。
Jürgen Schmidhuber 在推特上表示：「不要弄錯新技術的發明者。至少在科學領域中，真相終將顯現。真相沒有顯現，只能說明時候未到。獎項無法改變事實。」
Jürgen：六大理由，Hinton 不應該獲本田獎
Jürgen 首先承認，Hinton 的確在人工神經網絡和深度學習領域做出了突出的貢獻。但是，本田獎卻將 Hinton 未引用的其他研究者的基礎性發明歸功於他。科學不允許企業 PR 來扭曲科研學術記錄。
有理有據！Jürgen 在正文中一一列舉了他認為 Hinton 不應獲得本田獎的 6 大理由。
理由 1：現代反向傳播不是 Hinton 發明的
本田獎在公告中表示：Hinton 發明了很多方法並由此推動了人工智慧的更廣泛應用，其中就包括奠定了人工智慧深度學習方法基礎的反向傳播算法。
Jürgen 則認為，現代反向傳播是由 Linnainmaa 在 1970 年首先提出來的，之後 Rumelhart、Hinton 和 Williams 才在 1985 年提出，並且 Hinton 只是第二作者。此外，Ivakhnenko 的深度前饋網絡（1965）早在 Hinton（1980 年代）之前就能夠學習內部表徵了，而且 Hinton 提出的網絡深度不如前者。
理由 2：Hinton 的無監督預訓練並沒有促成當前的深度學習革命
本田獎在公告中表示：Hinton 在 2002 年發明了一種用於有限玻爾茲曼機的快速學習算法，使得它們無需任何標註數據即可學習到單層分布式表徵。這些方法使深度學習有了更好的性能表現，並促成了當前的深度學習革命。
Jürgen 則表示，他早在 1991 年就提出了用於深度神經網絡的無監督預訓練，而 Hinton 在 21 世紀初提出的類似無監督預訓練只是一種概念上的「舊方法重用」罷了。並且，這也與 2010 年之後出現的深度學習革命毫不相干。相反，深度學習革命的出現主要基於監督學習，而 Jürgen 在 IDSIA 研究所的團隊曾分別於 1991-95 和 2006-11 兩個階段開展了由無監督預訓練轉向純監督學習的研究。
理由 3：Hinton 的多層神經網絡並未極大地改善語音識別效果，CTC-LSTM 才有用
本田獎在公告中表示：2009 年，Hinton 和他的兩個學生提出使用多層神經網絡在語音識別領域取得重大突破，由此極大地提升了語音識別的效果。
Jürgen 表示，首個表現良好的端到端神經語音識別基於他所在 IDSIA 研究所提出的兩種方法，即 LSTM（20 世紀 90 年代-2005 年）和 CTC（2006 年）。但是，Hinton 等人在 2012 年仍然使用 20 世紀八九十年的老舊混合方法，其性能表現無法與革命性的 CTC-LSTM 同日而語。
理由 4：Hinton 並非最早將深度學習應用於計算機視覺的人
本田獎在公告中表示：2012 年，Hinton 與他的兩名學生證明了深度學習在圖像目標識別領域遠遠優於當時的 SOTA 方法，進而促使計算機視覺領域出現革命性進展。
自從 2011 年以來，深度學習在計算機視覺領域的統治地位不言而喻，據我們所知，這一地位的確立與 Hinton 學生 Alex Krizhevsky 在 2012 年提出的深度卷積神經網絡模型 AlexNet 密不可分。
但 Jürgen 指出，他在 IDSIA 的團隊比 Hinton 更早地將深度學習技術應用於計算機視覺領域。
2010 年，IDSIA 團隊提出，通過簡單的反向傳播，GPU 可用於訓練深度標準有監督神經網絡模型，相比 CPU 實現了 50 倍的加速，打破了長期以來的 MNIST 基準記錄。2011 年，IDSIA 團隊將這種方法擴展到了卷積神經網絡（CNN）上，相比基於 CPU 的 CNN，基於 GPU 的 CNN 訓練速度實現了 60 倍加速。
而後，IDSIA 團隊創造了首個純粹基於 GPU 的深度 CNN，並在 2011 年到 2012 年期間的多項國際計算機視覺競賽中勝出，引起了業界的廣泛關注，指明了計算機視覺領域新的發展方向。
Jürgen 認為，這一方向顯然並不是 Hinton 奠定的。
理由 5：Hinton 發明的「dropout」只是 Hanson 隨機 delta 規則的變體
本田獎在公告中表示：Hinton 發明了廣泛使用的「dropout」方法，這種方法通過阻止特徵檢測器（feature detector）出現複雜的互適應，進而減少神經網絡中的過擬合。
Jürgen 則認為，「dropout」方法實際上是 Hanson 於 1990 年提出的隨機 delta 規則（stochastic delta rule）的變體，並且 Hinton 2012 年發表的論文《ImageNet Classification with Deep Convolutional Neural Networks》中並沒有引用 Hanson 的方法。
理由 6：Hinton 被過分地誇大了，現在大多數基於 AI 的服務都是基於自己的 DL 技術
本田獎在公告中表示：如果沒有 Hinton 所取得的一系列科研成果，世界上大多數基於人工智慧的技術服務則無法實現，這一點毋庸置疑。
Jürgen 則認為，2010 年代世界上大多數基於人工智慧技術的服務，包括數十億臺設備上的語音識別、語言翻譯等功能，都是基於他們的深度學習技術，而不是 Hinton 的。
Hinton 一再重複自己對現有基礎技術的貢獻，但正如貓王埃爾維斯·普雷斯利所說：「真相就像太陽，你可以讓它暫時缺席, 卻不能讓它永遠消失。」
Jürgen 對 Hinton 的批評也引發了 reddit 網友的熱烈討論。對於「如何判斷新發現/idea 的歸屬」以及 Jürgen 給出的每一條理由大家也發表了不同意見。
激烈的爭論又一次展開，有網友表示：
Jürgen 對「研究者功勞」的執著
這不是 Jürgen 第一次就研究發現的功勞發表看法。
提到 Jürgen Schmidhuber，我們自然會想到關於「誰是 GAN 初創者」的那樁公案。
Jürgen 一直認為 GAN 是其 PM 模型（1992）的變體，他與 Ian Goodfellow 從郵件到演講展開了多次公開交流。去年，Jürgen 還獨立發表了一篇綜述論文，再一次概覽了極小極大博弈，以及 PM 模型與 GAN 之間的強關聯。
時間追溯到 2015 年，《自然》雜誌發表了一篇介紹人工神經網絡（NN）的文章《Deep Learning》，它是深度學習的一篇標誌性文章，目前引用量已經達到了 24621。這篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著，從當下的卷積、循環和反向傳播算法等核心概念概覽了深度學習，並表示無監督學習、深度學習結合強化學習等方向才是發展趨勢。
Schmidhuber 在當年的一篇批判性文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個世紀以前開創領域的先驅者。
看來 Jürgen 對「劃分研究者的功勞」很是看重，這引起了一部分社區成員的認同。2018 年圖靈獎頒發給三位人工智慧先驅 Bengio、Hinton 和 LeCun 後，就有不少人認為 Jürgen 也應該獲此獎項。
但在關於這次批評的討論帖下面，我們也看到了這樣的言論：
Jürgen 應當和 Bengio、Hinton 和 LeCun 一樣獲得圖靈獎。但如果沒有這三位先驅的工作，我們還在用 sigmoid 激活函數和啟發式方法訓練全連接神經網絡，深陷於局部極小值的泥沼中呢。
參考連結：
http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html
http://people.idsia.ch/~juergen/deep-learning-conspiracy.html
https://www.hondafoundation.jp/winner/view_en/1330
https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/