神經網絡：高深莫測又妙趣橫生的完整歷史

2020-10-19 讀芯術

全文共2720字，預計學習時長7分鐘


圖源：lightbeamhealth


在翻閱各種資料之後，我對神經網絡的歷史深深入迷了。這是個非常有趣的研究主題，我從中獲得了不少快樂。自上個世紀以來，神經網絡和人工智慧一直是熱門話題。在流行文化電影中，人工智慧機器人風靡全球，吸引著大量獵奇之士。

神經網絡的靈感來源於生物神經元是一種受編程範式啟發的模型，它使深度學習模型能夠在複雜的觀測數據集上有效地學習和訓練。神經網絡在過去一個世紀中經歷了不同的階段，一開始被視為擁有廣大解決複雜計算問題的工具，逐漸被嘲笑為僅僅是一個理論思想，最後因是更理想未來的締造者而聞名。

讓我們按時間順序重溫神經網絡歷史上的每個階段。

圖源：Pexels


想法的萌生

生物學家、神經學家和研究人員從上個世紀就開始研究神經元的功能。1890年，美國哲學家威廉·詹姆斯（William James）提出了一個有見地的理論，反映了許多研究者隨後工作的思想。

這個假設認為大腦皮層任何一個給定點的活動都是釋放到大腦皮層中的整體運動趨勢的總和。簡單來說，就是一個神經元的興奮會刺激其他每一個神經元，直到信號成功到達目標。

1943年，麥卡洛克（McCulloch）和皮茨（Pitts）為單個神經元建立了第一個數學模型。所建立的神經元模型全面而深遠。這個模型經過修改，甚至在現代也得到了廣泛的應用。

這給神經網絡的研究人員和實踐者帶來了思想上的巨大轉變。一個類似人腦的神經元模型的數學功能讓大多數生物學家大吃一驚，支持人工智慧的風潮和對人工智慧佔領世界的擔憂從這一刻開始。

黃金時代

圖源：unsplash


從1949年到1969年，在接下來的20年裡，我們進行了大量的實驗。現有的方法學有了大量的發展和擴展，可以說這一時期是神經網絡的黃金時代。

這個時代一開始就轟動一時，這要歸功於唐納德·赫布在其名為《行為的組織》的書中所介紹的赫比理論。赫比理論指出，通過一個特定的突觸，一個又一個神經元的重複激活，電導會增加。

在這一階段有幾個突出的主題，如學習過濾器，梯度下降，神經動力學的發展以及大規模腦活動的觸發和傳播。在同步激活多個神經元以代表每一位信息方面有著廣泛的研究。基於香農（Shannon）信息熵原理的資訊理論成為該領域的一個重要研究領域。

最重要的發明是羅森布拉特（Rosenblatt）在1958年發明的感知器模型。羅森布拉特提出的反向傳播方法對多層網絡的訓練非常有用。由於廣泛的研究和不斷的發展，這個時代毫無疑問就是神經網絡的黃金時代。泰勒（Taylor）構造了一個winner-take-all電路，輸出單元之間有抑制，感知器模型中的其他過程也完成了。

飛躍時期

20世紀70年代至90年代間的研究和調查的課題很多，但遺憾的是，這些研究成果都無濟於事。有研究將許多神經元組合起來形成神經網絡，使其比單個神經元更強大，並進行複雜的計算。

由於梯度下降法不能成功地獲得複雜任務的期望解，發展其他數學隨機、概率或隨機方法的發展。在這段時間內，進一步的理論結果和分析得以確立。

玻爾茲曼機器和混合系統也成功地完成了複雜計算問題。玻爾茲曼機器成功地解決了數學問題。由於硬體和軟體的限制，無法實現各種缺陷的解決方案。儘管如此，在這一時期，進行了大量成功的研究，對現有研究進行了更新和改進。

然而，儘管取得了這些進展，但對神經網絡的發展來說並沒有什麼重大突破，也沒有什麼成果。對人工神經網絡迅速增長的需求已不復存在。其中一個重要的原因是證實了簡單的感知器的局限性。

明斯基（Minsky）和帕普特（Papert）在1969年進行了該演示，並展示了簡單感知器的缺陷。從理論上證明了簡單感知器模型在計算上不具有普遍性。這一刻永生難忘，它標誌著神經網絡的滑鐵盧。神經網絡領域的研究經費大幅減少，這一運動引發了神經網絡的衰落。

神經網絡的失敗和瓦解

圖源：unsplash


一時之間，所有與神經網絡相關的炒作都消失了。人工神經網絡和深度學習被嘲笑成了一個理論概念，造成這種情況的主要原因是缺乏數據和先進技術。

當時，對於圖像分割、圖像分類、人臉識別、基於自然語言處理的聊天機器人等複雜任務的計算資源不足，可用數據相當有限，對於複雜的神經網絡結構，沒有足夠的數據提供所需的結果。就算有所需的數據，用當時可用的資源計算出這一數量的數據仍然是一項非常艱巨的任務。

有一些積極的跡象，比如強化學習的成功和其他小的積極因素，但這還不足以重建它曾經擁有的大規模宣傳。研究人員和科學家們的非凡遠見讓人工神經網絡得以繼續發展。然而，要想重獲失去的威望和宣傳度，還需要20年的時間。


神經網絡的復甦和絕對統治

在接下來的20年裡，深度學習的狀況和普及率都不容樂觀。在這個時代，支持向量機（SVM）和其他類似的機器學習算法更佔主導地位，並被用於解決複雜的任務。

機器學習算法在大多數數據集上表現良好，但是對於較大的數據集，機器學習算法的性能沒有顯著提高。達到一定閾值後，機器學習算法的性能停滯。隨著數據的增加，能夠不斷學習和改進的模型變得非常重要。

2012年，George E.Dahl領導的團隊利用多任務深度神經網絡預測一種藥物的生物分子靶點，贏得了「默克分子活性挑戰賽」的冠軍。2014年，Hochreiter的團隊利用深度學習技術檢測營養素、家用產品和藥物中環境化學物質的非目標和毒性效應，並贏得了美國國家衛生研究院、美國食品和藥物管理局（FDA）和NCAT的「Tox21數據挑戰賽」。

此時此刻，神經網絡被認為是一個革命性的變革。如今，深度學習和神經網絡是所有高水平比賽的顯著特徵。卷積神經網絡、長短時記憶（LSTM）和生成對抗網絡非常流行。特別是深度學習的強化程度每天都在迅速增加，並且有了巨大的進步。

圖源：unsplash


神經網絡的旅程值得被永恆銘記。神經網絡和深度學習從一個奇妙的前景，發展到現在幾乎成為解決任何複雜問題的最佳方法之一。我很高興身處於這個時代，能夠為這一變化做出貢獻。


留言點讚關注

我們一起分享AI學習與發展的乾貨

如轉載，請後臺留言，遵守轉載規範

相關焦點

  • 從Y = X到構建完整的人工神經網絡
    在本教程中，我們打算回答那些問題，我們從最簡單的人工神經網絡（ANN）做起，一直到複雜得多的模型。讓我們從構建一個沒有參數的機器學習模型開始，即Y=X。然後，我們將逐步增加一些參數到模型中，直到我們建立了一個單個神經元，這個神經元被設計成接收一個或多個輸入。接著，神經元從數學公式映射成圖形形式。通過連接多個神經元，就能生成一個完整的ANN。
  • 線蟲神經網絡首次完整破解,揭秘大腦功能如何產生
    原標題：歷時八年登上Nature封面：線蟲神經網絡首次完整破解，揭秘大腦功能如何產生大腦功能是如何從神經迴路的運作中產生的，第一次有了比較明確的解釋。歷時8年研究，哥倫比亞大學的博士後Steven J. Cook等人終於修成正果，他們的研究登上了今日Nature封面。
  • 極簡機器學習課程:使用Python構建和訓練一個完整的人工神經網絡
    而本文介紹的系列視頻，將帶領大家使用Python構建和訓練一個完整的人工神經網絡。1.數據+架構要想使用一種機器學習的方法，我們首先需要數據。機器學習中有大量的模型，本文訓練的是當前特別火的人工神經網絡。Ps：把數據放進模型之前，我們需要考慮數據單位間的差異。2.正向傳播上一節我們建立了神經網絡，這次我們將用Python程式語言來實現它。
  • 什麼是人工智慧神經網絡? 神經網絡是怎麼應用到各領域的?|什麼|...
    川北在線核心提示：原標題：什麼是人工智慧神經網絡？ 神經網絡是怎麼應用到各領域的？ 　　人腦中的神經網絡是一個非常複雜的組織，成人的大腦中約有1000億個神經元，人類至今仍在探索人腦的工作原理。而人們通過對生物神經元的研究和理解，構建了一個模擬人腦的計算模型：人工神經網絡！ 　　那麼，人工神經網絡是什麼？人類通過構造神經網絡，能否給AI賦能，使之自我進化？ 　　什麼是神經網絡？
  • 神經網絡算法原理_神經網絡算法的應用_神經網絡算法實例說明
    神經網絡是一種模擬人腦結構的算法模型。其原理就在於將信息分布式存儲和並行協同處理。雖然每個單元的功能非常簡單，但大量單元構成的網絡系統就能實現非常複雜的數據計算，並且還是一個高度複雜的非線性動力學習系統。 　　神經網絡的結構更接近於人腦，具有大規模並行、分布式存儲和處理、自組織、自適應和自學能力。
  • BP神經網絡
    其實在其他領域也是一樣，隨著神經網絡學習資料庫的範圍變大，學習程度的深入，使得神經網絡在更多領域得到運用，神經網絡正在成為一種有效的工具。由於財務風險預警的複雜性以及對決策的重要影響，國內外有大量的研究預測工作，採用各種方法來優化財務風險預警模型。
  • 最新論文震驚了科學界：宇宙就是一個完整的神經網絡
    我們並不是能常常看到試圖重新定義人類世界觀的論文，但在今年夏天卻有一篇上傳至arXiv具有爭議性的研究，明尼蘇達大學德盧斯大學的一位名叫維塔利·凡奇林的物理學教授用一篇論文令人大開眼界的重塑現實，他認為我們生活在一個龐大的神經網絡當中，這個神經網絡支配著我們周圍的一切。
  • 神經網絡算法在我國核領域中的應用綜述
    當前是我國加強人工智慧布局、收穫人 工智能紅利、引領智能時代的重大歷史機遇期。 核工業作為高科技戰略產業，既是國家安全重要基石，又是科技強國建設的重要先導和支撐。我國 已建立起包括鈾礦地質勘探、鈾礦採冶、鈾純化、鈾濃縮、元件製造、核電、乏燃料後處理、放射性廢 物處理處置等環節的完整核工業體系，核工業已經成為軍民結合產業的標杆。
  • 一份完全解讀:是什麼使神經網絡變成圖神經網絡?
    本文將就「為什麼圖有用」、「為什麼很難在圖上定義卷積」、「是什麼使神經網絡成為了圖神經網絡」這些問題進行討論。首先，讓我們簡單回顧一下什麼是圖？圖 G 是由有向或無向邊連接的一組節點(頂點)。節點和邊通常是由專家依據知識經驗或是對問題的直覺進行設置的。
  • 人工神經網絡及其應用
    1 人工神經網絡的發展歷史及其意義1.1 人工神經網絡的發展歷史神經網絡的發展可以追溯到19世紀末，其發展可以分為四個階段。第二個階段為低潮階段，始於在1969年M.Minsky和S.Papert發表的《感知器》，該書中指出，簡單的神經網絡只能運用於線性問題的求解，能夠求解非線性的網絡應該具有隱層，從理論上還不能證明感知器模型擴展到多層的意義，從而許多的專家紛紛放棄這方面的研究，從而開始了神經網絡發展歷史上長達十年的低潮時期。
  • 人工智慧神經網絡和生物大腦有什麼區別 神經網絡將如何發展
    人工與自然學習在人工智慧的整個歷史中，科學家一直將自然作為開發能夠表現出智能行為的技術的指南。自從該領域的歷史開始以來，符號人工智慧和人工神經網絡就構成了開發AI系統的兩種主要方法。在AI歷史的前幾十年中，由程式設計師明確定義系統規則的符號系統佔據了主導地位，而如今，神經網絡已成為人工智慧大多數發展的主要亮點。人工神經網絡受到其生物學對應物的啟發，並試圖模仿有機大腦的學習行為。但是正如Zador解釋的那樣，人工神經網絡中的學習與大腦中發生的事情有很大不同。
  • 大腦皮層神經網絡測量取得新突破
    來源：科技日報科技日報北京10月31日電 (記者顧鋼)哺乳動物的大腦具有大量神經細胞和極高的通信密度，是已知最複雜的網絡。使用優化的基於AI的圖像處理以及人機數據分析之間的有效交互，研究人員能夠在此組織段中重建所有大約40萬個突觸和大約2.7米的神經元網絡。重建的組織再現了約7000個軸突和大約3700個突觸後神經細胞過程之間的結締，即神經網絡局部完整的通信圖。重建不僅產生了更大的網絡圖，而且效率提高了約33倍，這是哺乳動物大腦進行密集的多項式重建的新標準。
  • 有道nmt神經網絡_有道神經網絡翻譯(nmt) - CSDN
    Weaver發表《翻譯備忘錄》，第一次正式提出機器翻譯的思想，到傳統的基於短語的機器翻譯（PBMT：Phrase-Based Machine Translation）,再到當今基於遞歸神經網絡（RNN：recurrent neural network）技術的神經網絡翻譯（NMT：Neural Machine Translation）的各種翻譯機和翻譯軟體的出現。
  • 神經網絡模型預測值 論文_bp神經網絡預測模型建模步驟 - CSDN
    這些形式的連接經常被手工重新進行設置，從而可以清除神經網絡的狀態。和常規連接的主要區別是，這種連接會持續不斷地改變，即便這個神經網絡當前沒有處於訓練狀態。下圖展示了以上所介紹的神經網絡及其連接方式。以下內容將詳細介紹25個神經網絡模型，如果你想閱讀關於它們的原始論文，請在微信中回復「神經網絡」，即可獲得打包的PDF文件。
  • 最強大腦皮層神經網絡重建 揭哺乳動物最大神經線路圖
    最新Science雜誌封面，發布了知名的德國馬克斯·普朗克腦研究所的最新腦科學成果：他們七年磨一劍，重建了非常複雜的大腦皮層神經網絡，揭示了迄今為止最大哺乳動物神經線路圖。此前，人類只知大腦神經元的「樣子」，現在，哺乳動物神經元如何連接——首次得到揭秘，並實現了更大量級的大腦皮層神經網絡的重建。並且AI的方法在其中發揮重要作用，研究者還說，這種突破還可能進一步為AI發展提供指導：「揭開生物神經網絡連接秘密，或許可以進一步探明大腦高效計算原理。
  • 對人工神經網絡「開刀」,利用神經科學消融法檢測人工神經網絡
    當談及人工神經網絡，黑箱問題總會引起熱議，人們對黑箱問題的評價褒貶不一。有人認為黑盒是神經網絡的優勢，這代表神經網絡的自主學習性，代表其自動學習以及自動完善的特性。在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經網絡的特定區域的方法，觀察該區域如何影響性能。最終，通過這些觀測結果對人工神經網絡和生物神經網絡的組織形式進行比較。「在人工神經網絡上應用消融的方法十分簡單的，」Meyes 和 Meisen 解釋道。
  • 人工神經網絡的定義
    人工神經網絡的定義 　　人工神經網絡（ Artificial Neural Networks， 簡寫為ANNs）也簡稱為神經網絡或稱作連接模型，是對人腦或自然神經網絡若干基本特性的抽象和模擬。
  • 人工神經網絡的五大主要應用場景
    人工神經網絡是一種嘗試，模擬組成人腦的神經元網絡，這樣計算機就能像人一樣學習事物並做出決策。人工神經網絡是通過對普通計算機進行編程而產生的，使它們的行為類似於人類的相互連接的腦細胞。人工神經網絡是受人腦啟發的計算模型。人工神經網絡最近的許多進展都是在人工智慧領域取得的，包括語音識別，圖像識別，以及基於人工神經網絡的機器人。
  • 疫情中大放異彩的人工智慧,神經網絡,僅僅60年歷史,你信嗎
    AI已漸漸融入到我們生活的方方面面，深度理清和解析它的發展歷史，有助於我們全面理解這個熟悉而陌生的新生事物，評估未來可能會帶來的影響。1943年，心理學家麥克洛奇和數理邏輯學家皮茲，提出了神經網絡模型，即著名的M-P模型。以麥克洛奇和皮茲為鼻祖，基於神經網絡的人工智慧研究，被稱為「連接主義」，也叫仿生學派或心理學派。
  • 初識人工神經網絡
    這也就是神經網絡的魅力所在。人工神經網絡（artificial neural networks) 是一種模仿生物神經網絡行為特徵，進行信息處理的算法數學模型。在人工神經網絡模型中使用單元節點模擬神經元，通過調整神經網絡內部大量節點（神經元）之間相互連接的權重來達到處理信息的目的。