深度| LSTM之父Jürgen Schmidhuber為何名聲不顯?

2021-01-11 機器之心Pro

選自NYT作者：John Markoff機器之心編譯參與：李澤南、李亞洲、杜夏德

作為 LSTM 發明人、深度學習元老，Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那麼高。近日，紐約時報約翰·馬爾科夫 的一篇文章向我們揭示了這位人工智慧領域的大牛為何名聲不顯。

Jürgen Schmidhuber 也許會是人工智慧研究領域的 Rodney Dangerfield（一位演員、編劇）。在緊鄰義大利的一個瑞士城市，我們和他見上了一面，簡短的交流後我們終於理解了這位行業先驅為什麼如此低調。這種情況對於演藝界的人來說，叫未獲得尊重。

遠離矽谷，在世界的另一端，歐洲的科技公司正在開發自動駕駛汽車，語音助手，甚至能預測你行為的人工智慧助理。

在大多數圈子裡，那些開創新技術的人會成為明星。許多人都認識 Sebastian Thrun，谷歌自動駕駛汽車的奠基人。Adam Cheyer 和 Tom Gruber 因為 Siri 語音智能助理而聞名於世。Yann LeCun，因為神經網絡的先驅地位而被從紐約大學請到 Facebook，成為這家科技巨頭的領軍人物。

但即便是在舊金山程式設計師經常光顧的自動午餐館裡提起 Jürgen Schmidhuber 的名字，知道他的人也不多。

在最近一趟去蘇黎世的火車上，Schmidhuber 博士，一名 53 歲的運動員，也是 Dalle Molle 人工智慧研究所的副主任，他回顧了自己是如何認為早期的研究常常被忽視。「這就像其他社會的大部分，」他說。「社會偶爾超現實（postfactual）」

 Schmidhuber 博士的委屈在研究圈子裡是有名的，這些研究者們五年前把學術的一潭死水攪活，變成了價值數十億美元的產業。他被指控竊取他人研究，甚至在維基百科上使用多個假名編寫，來讓大家認為有很多人支持他的帖子。

LeCun 博士在一封 email 中寫道：

Jürgen is manically obsessed with recognition and keeps claiming credit he doesn』t deserve for many, many things. It causes him to systematically stand up at the end of every talk and claim credit for what was just presented, generally not in a justified manner.

Schmidhuber 博士用一個更大的理由反駁了對自己的批評：他不是唯一一個在人工智慧研究者圈子中沒有獲得應有名譽的人。事實上，他說自上世紀 60 年代以來的成果總是會被今天的研究名人所忽視。雖然他堅持自己對其他的知名研究者並無惡意，但這使他一直都沒什麼好人緣。Schmidhuber 博士說，「我圈子裡的某些研究人員裝作他們好像發明了點什麼東西，然而，好東西是其他人的成果，他們卻從來不提。」

但是要理解他早期的研究成果為什麼沒有給他帶來名氣卻不是一件容易的事情。雖然他居住的地方遠離技術產業中心，但這也無法完全作為解釋。

這一爭端關於神經網絡的根源，神經網絡允許機器通過識別模式來學習，其應用很廣。作為一個科學領域，神經網絡的研究可以追溯到上世紀 40 年代。但是最近幾年該領域的研究才有了較大進展。

幾十年來，神經網絡都是實驗室裡的「怪胎」，常常受到質疑。但是自上世紀九十年代起，隨著計算機的速度越來越快也越來越廉價，以及設計神經網絡的新思路的出現，它終於得到了發展。

在 1997 年，Schmidhuber 博士和 Sepp Hochreiter 發表了一篇技術論文，後來證明這篇論文對最近的視覺和語音上的快速進展起到了關鍵作用。這個方法被稱長短期記憶，簡稱為 LSTM。這個方法在剛引進時沒有得到廣泛的理解。它主要提供了一種記憶形式，或者說是一種神經網絡的環境。

就像人類不會每次都從頭學起一樣，神經網絡的機制中存在循環和記憶的機制，每個輸入的單詞和觀察到的像素都會被其理解。長短時記憶（LSTM）的出現讓這種系統的表現得到了很大的提升，輸出結果瞬間變得準確。

這可能是 Schmidhuber 的不幸——他的時代太早了，在計算機硬體性能足夠處理這些算法之前。直到今天，他提出的概念才開始流行開來。

去年，谷歌的研究人員在這一方面的研究得到發表，他們使用 LSTM 減少了 49% 的語音識別錯誤，這是一個飛躍性進步。但是 Schmidhuber 和 Hochreiter 的研究和今天的最新進展之間還有著很大差距——這就是如今的問題所在，其他研究者會說他們在解決實際問題的過程中做出了很多貢獻，這就是他們正在做的事。「他的研究是為這一領域奠定基礎，」OpenCV 計算機視覺系統的創始人 Gary Bradski 說道，「但他並不是讓這些技術流行起來的那個人，這有點像維京人發現了北美，但人們都只知道哥倫布的事跡。」

Schmidhuber 教授的心中有一個宏偉的人工智慧未來——擁有自我意識的「意識機器」，他認為這種機器很快就能被創造出來，這是一個正被同行們廣泛討論的話題。他加入了這場大辯論中：人工智慧是一個工程學概念，或是人類新時代的造神運動？

Schmidhuber 站在造神的立場上，他認為這種技術的基本概念已經存在，而且人類意識沒有什麼特別的。「簡而言之，意識和自我認知被神化了，」他說道，他認為機械意識體會隨著先進的硬體和算法出現，而整個系統的大體框架早已設計完成。

從那個愛讀科幻小說的德國少年到現在的計算機科學家，博士，他對此一直深信不疑。

Schmidhuber 教授回憶說，「當我長大的時候，我一直在問自己：我能給世界帶來最大的影響是什麼？，所以我對建造一個比我更聰明的機器這一目的十分明確，它甚至能自己建造些更聰明的東西等等，最終它能殖民並改變整個宇宙，讓自己變得智能。」

Nnaisense 的執行長是美國計算機科學家 Faustino Gomez，他是 Schmidhuber 教授多年的研究合作者。他不僅為自己的研究夥伴辯護說 Schmidhuber 完成過開創性的工作，同時反對人工智慧已經開始動搖世界工業和經濟的樂觀態度。他說，「我們現在正在終結人工智慧的萌發。」

相關焦點

  • 「我們該談談LSTM是誰原創?」圖靈獎得主Hinton霸氣回擊Jürgen
    機器之心報導參與：魔王、澤南Jürgen 的質疑迎來了深度學習之父、圖靈獎得主 Geoffrey Hinton 的迅速回擊，老爺子顯得很憤怒。圖源：http://people.idsia.ch/~juergen/turing.html我知道不應該理他，但我認為不能讓他的指控完全不做回應，因此我決定回應，且僅此一次。我從未說過反向傳播是我發明的。
  • LSTM之父炮轟Hinton:「本田獎」不該授予他,頒獎詞有六大謬誤
    曉查 發自 凹非寺量子位 報導 | 公眾號 QbitAILSTM之父Schmidhuber又來了，他和深度學習三巨頭的戰爭從來沒有停止過。這次他把槍口對準了最德高望重的Hinton。上次他和GAN之父Goodfellow的論戰也是這個主題，總之萬物基於LSTM。細數本田獎「六宗罪」Schmidhuber在這篇長文中指出，AI中的一些重要技術，比如反向傳播、無監督算法、Dropout等等都並非Hinton的首創。
  • PyTorch:Bi-LSTM的文本生成
    同樣，最受歡迎的模型中的共同點是實施基於深度學習的模型。如前所述，NLP領域解決了大量的問題，特別是在本博客中，我們將通過使用基於深度學習的模型來解決文本生成問題，例如循環神經網絡LSTM和Bi-LSTM。同樣，我們將使用當今最複雜的框架之一來開發深度學習模型，特別是我們將使用PyTorch的LSTMCell類來開發。
  • 細數那些名聲不顯的單機遊戲大作 《恥辱2》值得你剁手!
    但實際上，除了那些早已名聲遠揚的作品外，還有一些沙盒類遊戲由於諸多原因，名聲不顯，雖然遊戲本身... 說起沙盒類單機遊戲大作，大家腦海裡浮現的肯定都是諸如《GTA》、《我的世界》、《上古捲軸》之類的頂級大作。
  • 「反向傳播非你原創」,Jürgen發文直指Hinton不應獲2019本田獎
    機器之心報導參與：魔王、蛋醬、杜偉LSTM 之父 Jürgen Schmidhuber 再次掀起爭論，這回他指向了深度學習之父、圖靈獎得主 Geoffrey Hinton。不過，這次他站出來質疑的是 Hinton 的最新獎項——本田獎。
  • 使用LSTM深度學習模型進行溫度的時間序列單步和多步預測
    Xval=None, Yval=None, mask_value=-999.0, min_delta=0.001, patience=5 ): lstm_input
  • 在 TensorFlow 上使用 LSTM 進行情感分析
    在討論具體的概念之前，讓我們先來談談為什麼深度學習適合應用在自然語言處理中。深度學習在自然語言處理中的應用自然語言處理是教會機器如何去處理或者讀懂人類語言的系統，目前比較熱門的方向，包括如下幾類：在未進入深度學習時代，NLP也是一個蓬勃發展的領域。然而，在所有的上述任務中，我們都需要根據語言學的知識去做大量的，複雜的特徵工程。
  • 訪談| Jürgen Schmidhuber:人工智慧在1991年就已經獲得了「意識」
    例如，電池電量低時及時到達充電站，但如果路上沒有碰到障礙，如椅子或桌子，就不需要喚醒疼痛傳感器。智能體（agent）一生的目的是最大限度地享受快樂，同時將痛苦最小化。這個目標簡單明確，但是很難實現，因為你需要學很多東西。你看一個小嬰兒它需要花上幾年的時間去學習這個世界的運作，學習怎麼與世界互動以實現目標。
  • 利用深度學習進行時間序列預測
    github上提供了一個關於時間序列的很好的存儲庫：https://github.com/Jenniferz28/Time-Series-ARIMA-XGBOOST-RNN對於那些不熟悉RNN家族的人，把它們看作是具有記憶效應和遺忘能力的學習方法。雙向來自體系結構，它是指兩個RNN，它將在一個方向(從左到右)和另一個方向(從右到左)「讀取」數據，以便能夠最好地表示長期依賴關係。
  • 如何使用LSTM在Keras中快速實現情感分析任務
    這是因為每次更新中的誤差梯度都會積累起來，因此會導致一個不穩定的網絡。在極端情況下，權值可能會變得過大以至於溢出並形成一個非數值（NaN)。網絡層之間的梯度（值大於 1）重複相乘導致梯度爆炸，而小於 1 的梯度重複相乘會造成梯度消失。
  • 牛頓成名前，醉心研究不在意名聲，成名後卻為名聲使盡各種手段
    但他原先似乎並不在意由此可以獲得什麼名聲之類的東西，而是純粹出於一種天性、一種樸實的愛好而去做研究。所以，當他創立微積分後，沒有一點的張揚，在長達17年之久的時間裡，竟沒對任何人說起過。再如，在光學領域，他為光譜學奠定了基礎，改變了人類對光的認識，卻硬是過了40年之後，他才把這個研究成果公布於世。
  • 時間序列的LSTM模型預測——基於Keras
    在機器學習或者人工智慧大熱的現在，深度學習等機器學習方法也可以用於時間序列的預測。今天介紹的就是如何基於Keras和Python，實現時間序列的LSTM模型預測。n_vars))    test_X = test_X.reshape((test_X.shape[0], n_in, n_vars))    return scaler, data, train_X, train_y, test_X, test_y, dataset3.4 定義擬合LSTM模型的函數def fit_lstm
  • 武漢最冷門動物園,野生猛獸表演堪稱一絕,卻因名聲不顯無人問津
    動物園所在地正好是城區分界線位置，以前還設有收費站，一般市民都不太願意前往這裡。規模、物種數量、地理位置等劣勢，其實還不是九峰森林動物園最致命的缺陷，動物園最致命的缺陷，還是因為名聲不顯，換言之，就是沒啥知名度。一般人壓根不知道這個動物園的存在。那些知道的人，也多是因為聽一些去過的親戚朋友講述才知道的。
  • LSTM之父贊中國科技發展 強調在抗疫進程中人工智慧的作用
    原標題：LSTM之父Jürgen點讚中國科技發展，強調AI正像智慧型手機一樣普及Jürgen Schmidhuber，IDSIA 研究所聯合主任，LSTM 之父，瑞士 SI 和 SUPSI 教授，NNAISENSE 聯合創始人兼首席科學家。其研究領域涉及機器學習、人工智慧算法、深度學習等等。
  • 用純NumPy碼一個RNN、LSTM:這是最好的入門方式了
    一般使用純 NumPy 實現深度網絡會面臨兩大問題，首先對於前向傳播，卷積和循環網絡並不如全連接網絡那樣可以直觀地實現。為了計算性能，實踐代碼與理論之間也有差別。其次，我們實現了前向傳播後還需要繼續實現反向傳播，這就要求我們對矩陣微分和鏈式法則等數學基礎都有比較充足的了解。
  • 計算機之父是誰?
    （2）巴貝奇Charles Babbage——通用計算機之父國內幾乎都沒聽說過巴貝奇這個人，但在國外卻是公認的計算機之父。他虧了自己家裡和英國政府很多錢，最後卻造不出像樣的分析機，因為當時的工藝還達不到他所設計的精度。直到一百年後，有個教授為了情懷用機電方式建造Mark-I計算機，才實現了巴貝奇的構想。1985年，倫敦科學博物館決定用巴貝奇當時的方式打造一臺完整的差分機，整臺機器到2002年才完工，一共花了17年的時間。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    限於篇幅的原因後面更深的 CNN 層圖片就不放出了，通過 DeconvNet 可以分析出 CNN 第四層開始出現物體的特徵，比如「狗的臉部」，「鳥的腿部」等，第五層開始出現整個物體，以及物體的不同姿勢和形態。DeconvNet 清楚的證明了 CNN 高效的學習能力：通過學習圖像中物體從小至大的特徵而歸納出物體的整體特徵。
  • 雜交水稻之父,中國人認為是袁隆平,國外學術圈為何卻不認可?
    袁隆平培育的雜家水稻雖然很有名，但時至今日，在全國範圍來說所佔的比例並不多，這是為什麼呢？看到這裡，估計大家也就明白了，為何外國人並不認可袁隆平雜交水稻之父的稱呼，因為在此之前雜交水稻的理論和實踐都已經有人做過了，並取得了一定的成功，袁隆平更多的是站在了前人的肩膀上，進行了突破。
  • 被稱為搖滾之父卻鮮為人知,只因為是黑人身份,最後90歲離世
    那麼你知道搖滾之父麼？恐怕能回答上來但寥寥無幾。其實被大部分音樂人認為搖滾之父的不二人選就是chuck berry。那為何chuck berry會有如此高的評價呢？讓我們閒聊一下這位偉大的搖滾爸爸吧。1956年，一曲《roll over Beethoven》又讓check berry 名聲大噪，這首歌也在滾石必聽歌曲裡面有排名。可以說，50年代末幾乎就沒有一個可以和他想比肩的，然而在50年代末，他也經歷了人生事業低谷，在1959年的時候因為偷運一名未成年少女並發生關係，chuck berry因此進了監獄，事業巔峰也就此結束，於是同時，英國的披頭四開始席捲全球。
  • 探索LSTM:基本概念到內部結構
    例如，給出足夠的圖片和標籤：算法首先學習檢測形狀、邊緣等低級模式在更多數據的驅動下，算法學會將低級模式組合成複雜形態，例如一個橢圓形上面有兩個圓形加一個三角形可以被認為是人臉如果還有更多數據，算法會學到將這些高級模式映射到活動本身，例如有嘴、有牛排、有叉子的場景可能是吃飯這就是一個深度神經網絡：得到一個圖像輸入，返回一個活動輸出。