歷史需要重寫?AlexNet之前,早有算法完成計算機視覺四大挑戰

機器之心報導

機器之心編輯部

2012 年，深度學習三巨頭之一、圖靈獎得主 Geoffrey Hinton 的學生 Alex Krizhevsky 提出了 AlexNet，並在當年度的 ILSVRC（ImageNet 大規模視覺挑戰賽）以顯著的優勢獲得當屆冠軍，成績遠超第二名。這一成績引起了學界和業界的極大關注，計算機視覺也開始逐漸進入深度學習主導的時代。但這樣一個劃時代的研究最近也受到了質疑。

近日，有網友在 reddit 上聲稱，Jurgen Schmidhuber 團隊的 Dan Ciresan 提出的 DanNet（也是一種基於 CUDA 的卷積神經網絡）先於 AlexNet 完成了四項圖像識別挑戰。

DanNet 早於 AlexNet 的有力證據

發帖者在 reddit 中展示了如下一些證據：

1. 發帖者從 Jurgen 發表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章節的參考文獻中看出了端倪；

2. 發帖者表示，在 AlexNet（2012 年 ImageNet 競賽冠軍）之前，Jurgen 團隊的羅馬尼亞博士後 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之間贏得了四項重要的計算機視覺競賽，所採用的 CUDA CNN 姑且稱為 DanNet；

圖中紅框標註的 IDSIA 即 Dan Ciresan 等人所在的團隊，他們在 2011 年 5 月 15 日和 2012 年 9 月 10 日期間贏得了中文書寫、交通標識、腦區域分割和癌症檢測四項重要的計算機視覺競賽。

3. 發帖者曾看到有新聞報導稱，AlexNet 在 2012 年開啟了深度學習革命，但事實上根據 Jurgen 的文章，DanNet 在 2011 年就成為首個贏得 superhuman 視覺模式識別競賽的方法，並且還採用比 AlexNet 更大的圖像贏得了醫療成像競賽；

Dan Ciresan 參與首次贏得了 superhuman 視覺模式識別競賽。

Dan Ciresan 參與贏得了乳腺癌組織學圖像的有絲分裂檢測競賽。

4. DanNet 被引最多的論文《Multi-column Deep Neural Networks for Image Classification》（CVPR，2012 年 7 月）要比介紹 AlexNet 的論文《ImageNet Classification with Deep Convolutional Neural Networks》（NIPS，2012 年 12 月）早了 5 個月，但關於 DanNet 更早的論文出現在 IJCAI 2011 和 IJCNN 2011 會議上；

Dan Ciresan 的論文。

Alex Krizhevsky 的論文。

5. 公平地說，AlexNet 引用了 DanNet，並承認兩者相似，但 AlexNet 並沒有提到 DanNet 曾早於它贏得了四項計算機視覺挑戰；

6. ResNet 在 2015 年的 ImageNet 競賽中擊敗了 AlexNet，但 ResNet 實際上是更為早期的 Highway networks 的一個特例，後者也是 Jurgen 實驗室最早提出的，在「第一個超過 100 層的可行前向傳播網絡」中，Jurgen 把他們的先行性研究歸功於自己的學生 Rupesh Kumar Srivastava 和 Klaus Greff。

Jurgen 認為微軟的 ResNet 是其團隊提出 Highway Nets 的一種特例。

7. 在 Jurgen 文章的第五章節中，他詳述了「GAN 的起源」，而在第四章節中，他介紹了 2009 年獲得成功的 LSTM。上述內容大家已經耳熟能詳，不過大多數人可能還不知道 Jurgen 團隊還是第一個在 CUDA 上搞 CNN 並取得成功的。

以上就是發帖者認為 DanNet 先於 AlexNet 出現的一些文獻證據。

世間欠 Schmidhuber 一個圖靈獎？

那麼這樣看來，當今深度學習的很多概念，都是 30 年前 LSTM 之父 Jürgen 玩過的？Reddit 上熱鬧的討論，源自於今年 10 月，Jürgen Schmidhuber 專門對此發表的一篇文章，其詳細論述了近 30 年前（1990-1991 年間）他和團隊所進行的很多研究。據他本人稱，其中的研究思想為當今的許多深度學習前沿研究奠定了基礎，包括 LSTM、元學習、遺忘門機制、注意力和強化學習等。

人們對於 Jürgen Schmidhuber 的印象通常是「LSTM 之父」，他來自德國，現任瑞士 Dalle Molle 人工智慧研究所負責人，是人工智慧領域的著名學者。在 LSTM 之外，他還一直認為近年來發展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的變體。除此之外，他還在語音識別等方向上有著不小的貢獻。

在今年 3 月，計算機領域最高榮譽圖靈獎頒發給深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之後，有關「學界欠 Jürgen 一座圖靈獎」的討論一時變得熱鬧起來。

人工智慧著名學者，南京大學人工智慧學院院長周志華也曾表示：「要論對深度學習的貢獻，Hinton 無疑居首，LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起，而 S 跟 HLB 都不對勁……獲獎需有提名有投票，人緣也重要……不過沒關係，有 LSTM 這樣教科書級的貢獻足以淡定。」

Jürgen 本人對於自身學術地位「遭受不公待遇」一直頗有微詞，他近年來總是在各個場合宣揚自己的創造性研究，甚至不惜與其他著名學者公開對質（你或許會對 Jürgen 在人工智慧頂會 NIPS 2016 現場大戰「GAN 之父」Ian Goodfellow 的事件記憶猶新）。因此，人們對於 Jürgen 的看法也呈現兩極分化的情形。

今天的討論也沒有例外，在 DanNet 超前於 AlexNet 討論剛剛開始的時候，佔上風的觀點是這樣的：

好了好了，Jürgen 就是我們的造物主。

但總的來說，對於個人性格的調侃還是要讓位於理性，人們最終還是認為 Jürgen Schmidhuber 確實吃了名聲的虧。

正視他的貢獻吧，網友說道：

雖然我們都在幸災樂禍，但 Jürgen 的確配得上獲得圖靈獎。在 LSTM 之外，他的很多研究都令人印象深刻。

在計算機科學領域裡，有很多個性乖張的學者，特立獨行總是不受歡迎的。但我總是奇怪人們會拿這個理由來評判他們的學術貢獻。

我認為目前以北美為中心的 CS 學術體系完全壓制了全球其他研究機構類似的貢獻。

參考連結：https://www.reddit.com/r/MachineLearning/comments/dwnuwh/d_dannet_the_cuda_cnn_of_dan_ciresan_in_jurgen/

機器之心「SOTA模型」：22大領域、127個任務，機器學習 SOTA 研究一網打盡。