深度:機器如何模仿人類的學習方式?

2020-12-11 雷鋒網

編者註：本文由雷鋒網(公眾號：雷鋒網)首發，未經許可拒絕轉載！

導讀：

古有算盤，今有計算機，人工智慧（Artificial Intelligence，AI）始終是人類永恆又美好的夢想。然而，漫漫的歷史長河中人類前僕後繼，雖然計算機技術已經取得了長足的進步，然而仍然沒有一臺機器產生真正的「自我」意識。谷歌大腦認出貓和狗，阿法狗打敗了李世石，智能車拉著我們去兜風……儘管深度學習（Deep Learning）讓 AI 在近期取得了諸多突破，但人工智慧始終還是離不開「人工+智能」，離不開大量的人工標定數據去指導智能系統的學習。

ImageNet，COCO，Places，我們為了智能而不斷人工，為了一勞永逸而不斷地標定數據。然而，這並不是人類的最終夢想——不勞而獲。直到 Science 封面文章 Bayesian Program Learning（BPL，《Human-level concept learning through probabilistic program induction》），像人類一樣學習的人工智慧又引爆了人類曾經的夢想，Google DeepMind 的新成果 Memory-Augmented Neuaral Networks（MANN,《One-shot Learning with MemoryAugmented Neuaral Networks》）讓夢想又朝現實邁進了一步。  

懶惰是人類社會進步的原動力，單點學習（One-Shot learning）的目標是不勞而獲。不同於傳統機器學習方法需要大量數據去學習和反覆的訓練，One-Shot 通過單一的訓練樣本去學習並做出準確的預測。然而，One-Shot learning 是一個永恆的挑戰。由於現有的機器學習模型參數量龐大，小樣本下很難在巨大的搜索空間中找到刻畫本質屬性的最優解。

因此當遇到新的任務（Task）時，傳統學習算法只能通過新任務的大量樣本低效率地去調整（finetuning）原有模型，以保證在杜絕錯誤幹擾（Catastrophic Interference）的情況下將新信息充分涵括。BPL 從認知科學的角度，基於貝葉斯過程模擬人類學習思路；MANN 從神經科學的角度，基於記憶神經網絡構造仿生學習模型。相比於貝葉斯過程學習（BPL），記憶增強神經網絡(MANN)將 One-shot Learning 從應用驅動型推向數據驅動型，從已有數據出發去主動挖掘One-shot Learning的方法。通過關注存儲內容的外部記憶機制快速吸收新知識，並且僅利用少數幾個例子就可以從數據中做出準確預測。 

一、人的學習—記憶與學習（Memory & Learning）

從神經科學的角度來說，學習（Learning）定義為將經驗（Experience）編碼進記憶（Memory）的過程。魚的記憶只有 7 秒，沒有記憶的學習不是智能，魚永遠是只能在水裡遊的魚。學習形成了不同類型的記憶：形象記憶（以感知過的事物形象為內容），情緒記憶（以過去體驗過的情感為內容），邏輯記憶（是以概念命題為內容），動作記憶（以操作性行為為內容）……記憶指導學習，學習增強記憶。人類從刀耕火種，嬰兒從呱呱落地，「學習→ 記憶→學習」貫穿著社會與個體。對於社會，古書典籍讓經驗得到記憶；對於個體，大腦皮層讓知識得到記憶。           

人的學習過程中（如下圖），大腦對外部環境進行感知，注意機制對感興趣的信息保持關注；在工作記憶中，新知識在舊知識的基礎上通過檢索被快速建立起來；而後經過神經元的加工整理，形成難被遺忘的長時記憶。由此，人不斷地從生活經驗中建立並整合知識，從而學會處理日益複雜的任務。在持續不斷的學習過程中，對以往知識檢索利用，使得人們只需要少量的訓練就能快速地學會新的任務。綜上，一個真正的智能系統應具備以下兩方面的作用:

（1）在長時記憶系統中建立一個可檢索的知識庫；

（2）在交互過程中持續不斷的整合更新知識庫。

二、MANN——學會學習（Learning to Learn）

埃德加•福爾在《學會生存》中指出：「未來的文盲不再是不認識字的人，而是沒有學會怎樣學習的人 。 」學會學習（Learning to Learn）不僅僅是教育界面臨的問題，也是機器學習中面臨的問題：未來的智能不再是能幹活的機器，而是學會怎樣學習的機器。「學會學習」 中的「學習」即為元學習（Meta-learning）。行為學意義上認為元學習是學習行為本身的改變；信息學意義上認為元學習是關於獲取知識和經驗的學習。人工智慧意義上的元學習一般指的是一種遷移學習（Transfer Learning）方案，通過已有的知識輔助新知識的學習，照著葫蘆畫瓢，照著貓畫老虎。可規模化的元學習方案應滿足以下兩個要求：

（1）知識必須以穩定且可尋址的方式存儲；

（2）存儲容量不與參數規模相關。  

長短時模型（Long Short Term Model，LSTM）通過隱性的共享記憶結構，不完全地實現知識的存儲。直到了神經圖靈機（Neuaral Turing Machine，NTM）的出現，NTM 引入帶記憶的神經網絡去模擬大腦皮質的長時記憶功能，實現用極少量新任務的觀測數據進行快速學習。不同於傳統神經網絡，NTM（如下圖）通過控制器（Controller）對輸入輸出（Input/Output）向量進行選擇性地讀寫（Read＆Write Heads）操作，實現與外部記憶矩陣（Memory）進行交互。基於強泛化能力的深度神經網絡架構，並綜合長時觀測的記憶模型與新觀測的匹配信息對存儲內容進行有效地更新。

 

相比於神經網絡圖靈機，記憶增強神經網絡（MANN）提出了一種新讀寫更新策略——LRUA（Least Recently Used Access）。有別於 NTM 由信息內容和存儲位置共同決定存儲器讀寫， MANN 的每次讀寫操作只選擇空閒或最近利用的存儲位置，因此讀寫策略完全由信息內容所決定。這種更為靈活的讀寫策略更適用於時序無關的分類回歸問題。MANN 結合了更靈活的存儲能力和強泛化的深度架構，實現知識的更為高效的歸納轉移（Inductive transfer）——新知識被靈活的存儲訪問，基於新知識和長期經驗對數據做出精確的推斷。

三、終極理想——終身學習（Life-long Learning）

活到老學到老，人的一生是學習的一生。終身學習（Life-long Learning）是一種能夠存儲學習過的任務知識，並能利用舊知識快速學習新任務的完整系統方案。相較於傳統機器學習方法，終身學習憑藉任務間的知識共享和知識庫的知識積累，突破了學習過程在樣本集和時間上的限制，為實現高效及高度智能化的系統提供可能。 

一個終身學習系統包含以下基本組成部分，各模塊間的相互作用共同實現「活到老學到老」。

（1）知識倉庫（Memory）

記憶是智能的基礎，終身學習系統期望充分利用已學過的知識輔助學習。知識倉庫用於存儲學習過程中需要長期存儲的知識。其中可分為基礎知識和抽象知識兩類，分別支持知識從簡單到複雜的縱向遷移，以及相關任務之間知識的橫向遷移。

（2）任務隊列（Controller）

任務隊列考慮知識的學習順序對系統的泛化能力與學習代價的影響。學習順序設置對學習有著重要的影響，因此終身學習系統期望合理設置學習順序以越快越好地進行學習，循序漸進，拋磚引玉。此外，高效的任務隊列也為終身學習系統提供主動學習的可能，系統可以主動優先學習對關鍵任務。

（3）知識遷移（Read）

知識遷移是終身學習系統的基礎。知識遷移從知識倉庫中選擇對新知識（目標領域，Target Domain）有幫助的舊知識（源領域，Source Domain）進行遷移。因此要求終身學習系統應具備有效度量並創造正遷移條件的能力，充分利用已經學到的任務知識，儘可能高效地學習新任務——遷移什麼？如何遷移？何時遷移？

（4）知識整合（Write）

知識整合是終身學習系統中至關重要的環節，以保證知識倉庫能得到及時的更新。取其精華，去其糟粕，知識在整合過程中，系統應對知識進行相應的篩選，在兼顧不損害原有知識的前提下，儘可能整合有利於遷移的新知識。

學海無涯，活到老學到老。人工智慧之路漫漫，吾將上下而求索。

參考文獻

[1] Santoro A, Bartunov S, Botvinick M, et al. One-shot Learning with Memory-Augmented Neural Networks[J]. arXiv preprint arXiv:1605.06065, 2016.

[2] Lake B M, Salakhutdinov R, Tenenbaum J B. Human-level concept learning through probabilistic program induction[J]. Science, 2015, 350(6266): 1332-1338.

[3] Graves A, Wayne G, Danihelka I. Neural turing machines[J]. arXiv preprint arXiv:1410.5401, 2014.

[4] Ruvolo P, Eaton E. ELLA: An Efficient Lifelong Learning Algorithm[J]. ICML (1), 2013, 28:507-515.

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 深度學習應用於機器翻譯的魔力
    事實證明，在過去兩年中，深度學習完全改寫了我們的機器翻譯方法。對語言翻譯幾乎一無所知的深度學習研究人員正在將相對簡單的機器學習解決方案放在一起，這些解決方案擊敗了世界上最好的專家構建的語言翻譯系統。這一突破背後的技術稱為序列到序列學習。這是用於解決多種問題的非常強大的技術。
  • 深度學習邊界難測, iSee 通過人腦認知應用讓機器更聰明 | GAIR...
    * iSee CEO 趙一彪博士深度學習為人工智慧發展提供了強大助力，通過海量數據的灌輸，機器可以進行多種模型下的完善強化，逐步具備人類的感知與判斷能力。但依賴神經網絡需要面對的一件事情是，如何解決深度學習的邊界問題。對人工智慧公司來說，即使數據量再龐大，也無法覆蓋所有的現實場景。自動駕駛公司要如何解決這些不計其數的 corner case，保證車輛能夠應對路程中的各種情境，實現安全駕駛，成了行業面臨的共同命題。畢業於 UCLA 的趙一彪選擇的是一種完全不同的思路。
  • 人工智慧、機器學習和深度學習的區別是什麼?
    更重要的是，設備、計算機和機器都在聰明地執行任務。它們是如何做到的呢?通過人工智慧，也就是AI。　　「人工智慧」一詞最早由認知科學家約翰·麥卡錫在研究中提出，他寫到，「這項研究基於一種推測，即任何學習行為或其它智力特徵，在原則上都可以被精確地描述，從而可以製造出一臺機器來模擬它。」這種描述在今天仍然適用，只是複雜性增加了一些。
  • 如何搭建你自己的「深度學習」機器?
    對於那些不能深度學習功能的GPU，本文將會一步一步的教大家如何構建一個自己的深度學習機器。深度學習系統本質上是在另一臺電腦上安裝一個具有深度學習的GPU。GPU是普通計算機和深度學習機器的主要區別。首先，檢測下你的GPU型號是否有在這個網站中列出，繼續閱讀下文，你就會知道如何用小於$1.5k的花費來裝備你的機器。
  • 深度學習是什麼,如何進行深度學習?
    綜上，我們所說的深度學習，必須滿足以下四個要點： ▲ 深度學習是指教學中學生的學習而非一般意義上學習者的自學，因而特別強調教師的重要作用，強調教師對學生學習的引導和幫助。 ▲ 深度學習的內容是有挑戰性的人類已有認識成果。
  • 人工智慧、機器學習、深度學習的區別是什麼?
    Artificial Intelligence：人工智慧；Machine Learning：機器學習；Deep Learning：深度學習概括地說，AI 目前主要用於描述一些可以進行智能化行為的設備或機器，機器學習是它的子集，而深度學習是機器學習的一個子集。如上圖所示，最外層的是人工智慧，中間層是機器學習，最裡層則是深度學習。
  • 重磅 批評深度學習的Gary Marcus能讓人工智慧更接近人類嗎?
    Geometric Intelligence 計劃利用這種激進的機器學習路徑來研發一種用於人工智慧的新算法，從而使機器通過一種全新的、更好的方式進行學習。如今，包括谷歌、百度在內的幾乎所有公司都在致力於將人工智慧商業化，這些公司的研究重點都是在深度學習，大腦中的神經迴路在接收到新信息會發生變化，深度學習算法就是對這種變化方式進行粗略建模。
  • 無所不能的機器人:模仿人類筆跡以假亂真
    我們在許多刑偵類影視劇中常常會看到這樣的場景，警方利用筆跡來對嫌疑人進行判斷與篩查，我們都知道，一個人的筆跡就像是他的長相一樣，是獨一無二的，筆跡可以被模仿，卻沒有完全相同的兩種筆跡。那麼機器人是否能夠模仿人類筆跡，模仿到以假亂真的程度呢？據新聞報導顯示，哈爾濱一名初中生買了一臺寫字機器人，迅速完成了課後作業，最後被母親發現，最開始母親對一個「金屬架子」能夠模仿人的筆跡表示懷疑，但看到孩子的作業本上與本人字跡十分相似的字體出現在眼前，又不由得心生感嘆。
  • 研究表明虎皮鸚鵡模仿發音的方式和人類相似
    虎皮鸚鵡以能夠模仿人類聲音而著稱，最新研究顯示，即使虎皮鸚鵡從未聽過人類的聲音，它們依然能夠區分「t」和「d」的不同。圖中是研究中所用到的一隻鸚鵡。 鳥類對人類聲音的辨識一直以來都是爭論的焦點，最新研究顯示，即使虎皮鸚鵡從未聽過人類的聲音，它們依然能夠區分「t」和「d」的不同。這一研究表明虎皮鸚鵡接受聲音和模仿學習發音的方式和人類相似。「和人類一樣，虎皮鸚鵡是社會性動物，通過聲音與同類進行交流，而且被鼓勵和人類進行互動。」，研究人員說道。「研究與人類接收聲音方式相似的動物可以幫助我們更好地了解人類的相關機制。」
  • 學界 | 使用深度學習和樹搜索進行從零開始的既快又慢的學習
    而持續的深入學習又能逐漸提升直覺，從而使更準確的直覺回饋到更強大的分析中，這就形成了一個閉合的學習迴路。換言之，人類是通過既快又慢的思考方式來學習的 [1]。目前的深度強化學習存在什麼問題？在訓練的初始階段，強化學習智能體會模仿人類專家的行動—而只有經歷這樣的初始階段，它們才會開始潛在地學習更強大的超人類玩法。但是這種算法從某種程度而言並不令人滿意，因為它們可能會嚴重偏向某人類玩家的風格，從而忽視潛在的更好策略。同時，人類專家資料庫在遊戲領域中或許可得，而如果我們想要在其他情況下訓練出一個 AI 機器，也許我們並沒有這種可用的資料庫。
  • 人工智慧、機器學習、深度學習之間究竟是什麼關係
    強人工智慧：強人工智慧觀點認為有可能製造出真正能推理(Reasoning)和解決問題(Problem_solving)的智能機器，並且，這樣的機器能將被認為是有知覺的，有自我意識的。強人工智慧可以有兩類： 類人的人工智慧，即機器的思考和推理就像人的思維一樣； 非類人的人工智慧，即機器產生了和人完全不一樣的知覺和意識，使用和人完全不一樣的推理方式。
  • 深度|深度學習與統計物理的通用邏輯——重整化系統
    我覺得，兩位優秀的物理學家感受到了兩個領域的思維模式和計算技巧的共鳴，進而設想大自然是不是具有一種統一的對信息進行提取的邏輯和方式。——機器之心成員：趙巍2012年，在YouTube視頻上流傳著一個可以識別貓的視頻。
  • MetaMind深度解讀NLP研究:如何讓機器學習跳讀
    選自MetaMind作者：Alexander Rosenberg Johansen機器之心編譯參與：機器之心編輯部自然語言處理是人工智慧研究的核心問題之一。近日，已宣布被 Salesforce 收購的深度學習公司 MetaMind 在其官方網站上發表了一篇文章，深度剖析了 LSTM 和詞袋模型在自然語言處理上的應用。
  • 馬雲:讓機器模仿人是對智能的膚淺理解
    如何與之相處？6月29日，阿里巴巴集團董事局主席馬雲在天津舉行的世界智能大會上發表主題為「智能改變世界」的演講，他表示，未來的社會應當想辦法讓人活得更像人、機器更像機器。人類必須去發現、去做更多有價值的事，機器則應去做人做不到的事情，去發展自己智能的力量，人們應尊重機器、敬畏機器。
  • 一文看懂什麼叫深度學習
    深度學習還有個別名叫(UnsupervisedFeature Learning)，顧名思義就是，不要人參與特徵的選取過程。深度學習的實質是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特徵，從而最終提升分類或預測的準確性。
  • 從「機器兒童」到「機器學習」:「學習」的概念是如何變化的?
    人類智能的一個重要特徵便是具備學習能力。人類大腦令人驚嘆的學習能力使得牙牙學語的嬰兒能夠成長為學識淵博、談吐自如的成年人。對於人類而言，學習是與生俱來的能力，這種能力的普遍存在使得我們忽略了它的奇異與珍貴之處。而對於人工智慧研究而言，如何令機器具備這種人類世界中最普遍的能力，是非常具備挑戰性的研究方向。
  • 模仿學習(Imitation Learning)完全介紹
    在傳統的強化學習任務中，通常通過計算累積獎賞來學習最優策略（policy），這種方式簡單直接，而且在可以獲得較多訓練數據的情況下有較好的表現。然而在多步決策（sequential decision）中，學習器不能頻繁地得到獎勵，且這種基於累積獎賞及學習方式存在非常巨大的搜索空間。而模仿學習（Imitation Learning）的方法經過多年的發展，已經能夠很好地解決多步決策問題，在機器人、 NLP 等領域也有很多的應用。
  • 機器之心專訪吳恩達,深度學習課程項目Deeplearning.ai正式發布
    吳恩達：Deeplearning.ai 今天的發布會將宣布基於 Coursera 的一系列深度學習課程。在人工智慧領域，我們有機會創造一系列前所未有的系統與產品。但是，即使像谷歌和百度這樣的公司也無法覆蓋這一領域的全部。所以，我認為讓深度學習社區發展壯大的最好方式就是創造更好的深度學習課程，讓越來越多的人接觸深度學習。
  • 【學界】深度學習如何影響運籌學?
    OR/optimization兩個學科近年的復興無疑需要歸功於機器學習。從這個角度看，機器學習（包括深度學習），是運籌學的一個應用領域。在使用運籌學來解決各行各業形形色色問題的過程中，研究者在理論和應用層面發展出了許多類型的優化算法，也解決了不少實際問題。各類運籌學的期刊、會議有很多，每年至少有幾千篇論文、專利發表出來。
  • 3 分鐘搞懂深度學習到底在深什麼
    如果所有的細節都要人類去設定，那就不叫做「機器學習」了，這個系統厲害的地方就在於，在神經網絡裡的千百萬個數值細節，都是機器自己學出來的，人類要做的事情就是給他「規則」跟海量的學習數據，告訴機器什麼答案是對的，中間的過程完全不用操心。