深度學習之後,我們或許可以從進化論中找到新的突破口

2021-01-09 雷鋒網

圖 1:開放的環境與物種間的競爭是達爾文進化論中實現自然進化的兩個重要的驅動力,而這兩個驅動力在最近的 AI 模型演進方法的研究工作中卻沒有體現出來,在同一個世代中,更快的黑斑羚和更快的獵豹比它們更慢的同類更容易生存下來——由此進化出更快的黑斑羚和獵豹品種。基於基因和自然選擇理論的這些原理可以幫助AI獲得大的進步麼?

目錄

一、簡介

二、基因和自然選擇

三、進化計算

進化策略

直接編碼的基因算法

間接編碼的基因算法

無限開放式進化(這是最有趣的部分)

本文未提及的其他方面

四、結論

五、參考文獻

一、簡介

大概自 2012 年以後 [1],人工智慧行業的爆發式增長几乎都是反向傳播訓練的(深度學習)神經網絡模型所帶來的。包括用於圖形分類、自動語音識別、語言翻譯、機器人以及能玩單人或多人遊戲的自主智能體等領域的模型。

然而最近,研究者開始應用基於生物學進化機制的方法來構建模型。這種思路在深度學習時代之前就有了,但直到最近才發展到足以和反向傳播訓練的深度學習模型媲美的態勢。

在這篇博客裡,我們會聊到一些進化方法,對比它們與生物進化和有機發育的異同,並推斷出他們最終將如何以甚至比傳統深度學習模型更強大和更高效的方式推動 AI 模型的發展。

二、基因和自然選擇

簡單來說,達爾文理論認為,進化是機體特性經自然選擇強化所發生的微小變化的結果。具有優勢特性的有機體更容易繁衍下來,這樣就淘汰了那些具有相對劣勢特性的有機體。

達爾文當時並不知道這些特性是如何由父母輩遺傳到下一代的(如果知道了這一點,他的發現就更加了不起),但我們現在知道有機體的基因型,以及它生存發展的外界環境共同決定了它的表現型(物理和行為特性)。一般來說,後代出現了新基因型是因為遺傳自父母的 DNA 發生了隨機突變,或是多個來源的基因混合(有性生殖),或是兩者兼而有之。

三、進化計算

受進化論的啟發,科學家們對生物進化的理解遷移到了計算模型的優化上。其中最簡單的方式是進化策略(evolution strategies),更大、更多樣化的複雜模型則採用基因算法(genetic algorithms)。這兩種方法都是通過優化適應度函數來顯性地評估人工有機體在特定任務上的表現。另一種可替代的方法是,摒棄適應度函數,而選擇利用豐富、開放的環境,讓超過一個種類的多個智能體在該環境中為生存和繁衍而獨自競爭,利用自然選擇挑選出最終存活並繁衍下來的那個。

1、進化策略

進化策略是這樣一類優化算法:在每一次迭代(代際傳遞)中,參數向量(基因型)都會受到擾動(突變),變化後的適應度函數會被再次評估打分 [2,3]。最高得分的參數向量會參與形成下一代的參數向量,不斷迭代直到目標方程已被充分優化。

在協方差矩陣適應性進化策略中(Coveriance-Matrix Adaptation Evolution Strategy,CMAES),模型參數的分布會存儲在協方差矩陣中。每一代中,每個樣本的模型參數都取值於這個分布。協方差矩陣會根據獲得最高適應度得分的樣本參數更新矩陣。大家如果想看到這一過程的 2D 可視化效果,可參考 Otoro 的博客:http://blog.otoro.net/2017/10/29/visual-evolution-strategies/

儘管這一方法的原理很簡單,它與相對現代、大規模,經過強化學習訓練的深度學習模型相比仍十分有競爭力,OpenAI [4] 就體現了這一點,並且相關的文章(https://openai.com/blog/evolution-strategies/)中也對此有論述。

與強化學習方法相比,進化策略有一些非常好的屬性,它在多核CPU 上更容易實現並擴展,還能快速地完成模型訓練,並且這種方法沒有藉助梯度(使用梯度方法較難在離散輸出結果上訓練)。

圖 2:上圖演示的是OpenAI應用進化策略訓練的3D小人學習行走的情況(視頻來源於博客blog post)。優化後的訓練結果,也就是優化收斂到的最小值呈現了較大的多樣性。在本文後續會介紹到,訓練得到的智能體的移動方式看上去都不太自然,它們無法像自然中的生物一樣,在出生後不久就能習得諸如行走、奔跑之類的運動能力。

2、直接編碼的基因算法

對於基因算法(Genetic Algorithm)這個術語,不同的研究者和實踐者可以有很多不同的定義。我們這裡採用最常見的一種是,在每代中,算法: 1)從一個規模 P 的種群中,基於適應性函數選出表現最好的 N 個智能體(N<P),2)讓篩選出來的這些智能體通過自我繁殖(無性)或配對繁殖(有性)產生新一代智能體, 3)在繁殖過程中,後代的基因會因突變、交叉(父母輩基因的混合)或是兩者的共同作用而產生變化。

進化策略與基因算法的另一個區別是在進化策略中,種群的基因組是用概率分布表示的。這也就意味著在指定某代的某個種群中的所有成員都落在參數(基因組)空間中的同一個類中,相反,在基因算法中就沒有這種限制。而實際情況是,單個種群往往只進行其優勢特性的進化,除非環境或者是有其他算法組分來推動種群的多樣性(這種情況下,多個「種族」就會產生)。

而在基因算法的諸多應用中,基因型-表現型是直接對應的,也就是說每個基因都直接由智能體的模型參數進行編碼。實際應用中,基因和它的外在表現型也是直接對應的,比如,深度學習模型中用數值表示權重或偏置項。因此,進化策略訓練的模型可以直接編碼。

相反,生物學是基於間接編碼的。舉例來說,由 DNA 組成的基因並不對大腦中神經元間的突觸強度進行編碼,而是對那些共同指導大腦(和它的突觸)發育的蛋白質進行編碼,並根據有機體的經驗,學習選擇強化或是弱化哪些突觸的機制。我們會在後續的文章中介紹一些 AI 間接編碼的例子。

2017 年,Ken Stanley 和 Jeff Clune 兩位是長期推崇使用「神經進化主義」方法進化神經網絡參數的倡議者,他們稱直接編碼的基因算法在很多 Atari 遊戲中都有良好的表現,包括那些強化學習(Q-learning 或策略梯度)方法也難以玩好的遊戲 [5]。他們的團隊在 Uber AI 實驗室使用了一個簡單的基因算法,這個算法中,通過在母網絡參數中加入高斯噪音,就可將基因突變引入自我繁殖後代進程中。

 

圖 3:除了讓智能體通過玩Atari遊戲進行進化,Uber AI團隊還讓智能體試著完成相對初級的迷宮遊戲,只不過是讓一個智能體玩兩個有不同陷阱的迷宮。應用進化策略ES訓練的智能體被困在陷阱1裡且沒有繼續進化。經過基因算法GA訓練的智能體表現更好一些,但還是被困在了陷阱 2 裡。當同時根據適應性得分和智能體所表現出的探索性行為(GA-NS)挑選可繼續繁殖的智能體時,智能體很快進化出了解謎的能力。而應用強化學習方法(A2C和DQN)訓練的智能體就沒有習得解謎的能力。

Uber 團隊還檢驗了獎勵智能體(允許他們繁殖)的探索行為(Novel Behaviours)產生的效果。他們稱,儘管智能體在傳統適應性函數中都得分較低,但這個方法對整個種群的代際傳遞表現還是有幫助的。給行為的新穎度賦分的基因算法是一種質量多樣性算法(Quality-Diveristy Algorithm)[6],該算法還是一個活躍的研究領域,它的理念是維持種群內行為的多樣性,為新的、更複雜行為的出現提供了一個培養池,這有益於後代有機體的發展,儘管複雜行為在形成之前還會有更多得分很低甚至得負分的簡單行為出現。(注意:這很大程度上是一種啟發式策略,因為在代際傳遞中,自然力將如何推動這些保留下來的「無價值」行為表現型進行進化,還尚未明確。)

總之,Uber 團隊使用了一種充滿創造力的高效方法,來保存數以千計的智能體涵蓋的大規模基因型(每個智能體有幾百萬個神經網絡參數)。換言之,他們留存了這些創造了初代智能體和各種突變集的種子記錄。因此,單個智能體就可以用一個種子向量實現再生,智能體也可以這種形式作為整體被保存下來,而不再直接以模型參數的形式儲存。

3、間接編碼的基因算法

一般來說,間接編碼模型的基因算法在應用上還不如直接編碼模型成熟(尤其在解決現代大規模的問題上)。然而間接編碼模型在未來或許會被證明是一種非常有力的方法,因為它具有對複雜、繁瑣模型編碼的潛力。舉例來說,有機體內的某個基因組一般是確定的,但基因的蛋白質產物可以在一段時間和空間(有機體內)中以組合形式進行交互,這就允許了無限種可能性的發生。下面我們重點說兩個間接編碼的例子。

HyperNEAT

之間談到過的進化計算方法有一個固定大小的基因組,也就是說是一個有著固定架構的神經網絡。基因決定了這個固定架構的參數值,但並沒有規定其他的方面,因此該基因算法並沒有規定神經網絡長大、縮小或是調整架構的途徑。2002 年,Stanley 和 Miikkulainen 引入了增強拓撲的神經進化方法(NeuroEvolution of Augmenting Topologies,NEAT)[7],NEAT 定義了基因與神經網絡中的連接的映射關係,並支持通過加入定義新連接和節點的「新基因」來實現神經網絡的進化。

 

圖 4:除了定義網絡權重和偏置項值,NEAT 還定義了基因與網絡架構的映射規則。基因算法中,網絡可以通過添加連接和節點發展。

然而,NEAT 是一種直接編碼模型,每個基因定義兩節點之間的連接權重。一些基因可能會表現出「殘疾」的情況,也就是轉碼後的權重值為 0 的情形。HyperNEAT 於是應運而生。

在 HyperNEAT 中,NEAT 訓練輸出的網絡定義了次級網絡的權重。這個次級網絡被用來運行相應的任務。在最簡單的版本中,次級任務網絡中的節點是落在二維空間中的,因此每個節點都可以用(x,y)坐標來定義。初始生成的第一個網絡,被稱為是複合模式生成網絡(CPPN),需要四個輸入值來定義網絡中兩個節點的位置(i 和 j):(xi,yi)和(xj,yj)。CPPN輸出的則是網絡中任意兩點間連接的權重值。由此推之,NEAT方法可以通過進化CPPN網絡,指導任務網絡的「發育」。之後,適應性函數會對該任務網絡而不是 CPPN 進行評估。

HyperNEAT 方法中,一個較小的 CPPN 網絡就可以定義一個任意密度的複雜任務網絡。作為 CPPN 的這種進化性的體現,已進化出可以生成複雜二維圖片的模型。與進化任務網絡總是落後於其他新近模型的情況不同,HyperNEAT 已被應用在訓練模型玩 Atari 遊戲上 [9](幾乎是同一時期,DeepMind 也公布了強化學習方法訓練的此類模型 [10])。

 

圖 5:在這個 HyperNEAT 實例中,任務網絡(右邊)是一個雙層網絡,這個網絡中的神經元在上下兩層間建立了連接,但層內並沒有任何連接。CPPN 網絡(左邊)在給定任務網絡節點的基礎上,定義了任務網絡連接的強度。CPPN 是一個由 NEAT 基因-網絡映射關係定義的神經網絡,並可以根據適應性函數對給定 CPPN 實例進化出的任務網絡的打分,應用基因算法進行進化。

有機體發育

生物學上的進化並不會直接建立成熟有機體的表現型。而是通過基因指導個體的發育間接地建立有機體的表現型(如胎兒期、嬰兒期、青春期)。基因在成年期也會作用於個體對環境的反應(比如,在有機體由低海拔地區轉移到高海拔地區時,有機體內會產生更多的紅細胞)。然而,NEAT 神經網絡群體在進化時,這些網絡並不是由基因組「生長」出來的,相反,由於 NEAT 網絡是直接編碼,它的網絡進化也是直接由範例定義的。

研究者如 Jordan Pollack 和他的前博士後,Sylvain Cussat-Blanc,共同發現了將有機體的發育階段原理吸收進來的進化計算方法。在 2015 年的研究中 [11],他們應用近似於 NEAT 的基因算法進化出了基因調控網絡(Gene Regulatory Networks,GRNs),GRNs 是一種通過基因(以及未組成基因的 DNA、RNA 和蛋白質)間的相互作用調控基因表達(轉譯蛋白質)的神經網絡。不同的基因會在不同的發展階段,在不同的環境條件中得以觸發表達出來。因此,進化的不是有機體本身,而是有機體發育的方式。作者在文中表明了該算法相較於標準基因算法的優勢。然而,由於該算法計算複雜度太高,導致其不太可能在現有硬體條件下,被應用到更大規模,更具挑戰性的現代 AI 任務中。

圖 5:相比於由基因組直接編碼神經網絡(比如NEAT),Pollack 和他的同事 [11] 選擇應用可以調控神經網絡發展的基因控制網絡來調控網絡的進化,這種方法更類似於生物學上的基因指導人類由胚胎期發育至成人期的機制。 

最近,Miller 等 [12] 構建了神經網絡中的神經元(組織細胞和它們的樹突)發展模型。這個發展模型是由基因編程形成的電腦程式展現。基因編程與基因算法之間有很大的區別,這就留待各位讀者之後再去查閱其他相關資料。儘管如此,Miller 和他的同事成功地應用進化計算方法創建了一種可以有效搭建神經網絡的發展模型,這點毋庸置疑,該神經網絡可以生成新的樹突和神經連接來學習新任務。

4、開放式進化

到目前為止,我們討論了應用適應性函數來給單個智能體的表現打分,並以此為依據來決定誰來繁殖後代的進化方法。很顯然,自然界中沒有顯性的適應性方程(但,其實是有隱性逆向適應性方程的,如果有機體 X 繁殖了較有機體 Y 更多的後代,那麼有機體 X 更有可能具備更強的適應性。)也就是說,自然界進化出了極其智慧的物種(人類),也進化出了具備其他獨特迷人的物理特性以及天生行為特質的種群,而這一切都是在沒有任何外在引導下完成的。

這項發現鼓舞了人工生命以及開放式進化的研究領域。人工生命學指的是在真實環境,或是在鏡像還原了自然環境的人工環境中生存的人工有機體的研究。研究者們應用這種途徑來研究我們已知的、或是未知但可能出現的生命形態。開放式進化研究通常都會考慮人工生命研究中的人工有機體,觀察這些有機體如何在類似於產生其他生物進化的環境條件下進化,換言之,開放式進化的研究對象是在開放環境中直接進行的繁殖活動(尋找配偶,獲取足夠的食物以存活或繁衍,逃脫天敵的捕獵,等等),而不是基於顯性的適應性指標。

與深度學習相比,開放式進化還屬於一個較小的研究領域,但它其實已經是個相當古老的領域了,該領域的先鋒學者如 Charles Ofria,Jordan Pollack,Risto Miikkulainen,以及他們的學生(其中有些已經是該領域的領頭人)已經在這個領域裡上花費了數十年時間。對開放式進化的發展和繁榮的更詳盡描述,請參見 Lehman,Stanley,Soros 的博客(https://www.oreilly.com/radar/open-endedness-the-last-grand-challenge-youve-never-heard-of/),以及 Jeff Clune[13] 的這篇論文(https://arxiv.org/pdf/1905.10985.pdf)。

人工有機體在開放式環境中的進化機制可以幫助 AI 智能體發展取得進步麼?

我們相信答案是「可以」,但有兩個前提條件:(1)種類的共同進化和(2)在豐富、多樣化、動態的環境中進行進化。(對此問題的不同的觀點請參見 Lisa Soros 的博士論文 [14] :https://stars.library.ucf.edu/etd/5965/).

針對第一個條件,環境中必須同時存在不同種類,具有差異化的需求和能力的智能體,這種情況下,物種的共同進化可能會進一步引申出物種間的協作——這是進化出人類這種級別的智慧生物的先決條件。共同進化作用不僅可以進化出越來越快的獵豹和黑斑羚,同時還可以進化出狼群中的智慧社群行為,正如 BBC 節目《 coordinated hunting in packs 》中所展示的那樣。

視頻註:部分因為共同進化作用,狼進化出了社群智慧,這讓它們可以通過群體捕獵捕獲體型遠大於它們自身的動物,獲得的食物可以讓整個群體受益。

最近 OpenAI 的一項研究發現經過強化學習訓練的智能體之間會產生複雜的交互行為,儘管它看上去更像是個「營養不良」的獎勵系統。眾所周知,獎勵是基於團隊表現而非個人表現裁定的——就像一群狼會因完成一次大型的捕獵獲得更多的食物。

視頻註:在一開始,智能體對如何完成最基礎的捉迷藏都毫無頭緒。團隊間的競爭是激發團隊協作行為的驅動力。值得注意的是,這些智能體是用強化學習而不是進化計算方法訓練的,而智能體團隊間的競爭仍可以催生出探索性的複雜行為。

強化學習與進化計算間有個很重要的區別必須要在這裡提一下。本質上講,強化學習模型是對動物如何在後天進行學習的模擬,當動物的某個行為獲得獎勵時(獲得食物、住所或者配偶等等),它們更傾向於重複這個行為,期待獲得更多的好處。

然而,動物的許多能力都是源自進化,並在胎兒期或是降生後不久就能表現出來這些能力。舉例說明,人類天然具備「客體」的感知能力(但尚不具備對「客體永久性」的認知),嬰兒不需要學習就知道在空間上近距離排列的「像素」(視網膜上的光子)更有可能同為某個物體的一部分。一個解釋先天性的極端例子是,一些動物可以在出生之後(幾分鐘內)迅速掌握複雜的運動控制能力。生物有機體與生俱來許多能力。

深度學習模型則大多是從頭開始訓練(宛若一張「白板」),並且都是面向某個專門的應用進行針對性訓練的。構建具備更為通用的、更接近真實世界所需能力的 AI 智能體,或許可以首先從進化出誕生之初就具備了基準知識體系(物理學、情緒、基礎需求等等)的智能體開始。這些智能體可能會通過強化學習機制(理想情況下,該機制可能會進化為智能體一種先天能力,比如元學習能力)在「有生之年」繼續學習如何完成特定的任務。

視頻註:幼年羚羊在出生後幾分鐘內就具備了敏捷的肌肉控制和導航能力。進化賦予了它們對重力、物理、客體的先天意識以及高級的感覺運動控制系統。它們不需要強化學習系統來學習這些概念和能力。

正如前文指出的,進化出智慧智能體的第二個前提條件是豐富、多樣、動態的環境。這樣的環境包含了各種不同的時間和空間條件,某些基因突變會在恰當的生態條件得以留存下來,但當環境固定不變時,後續的世代中這些基因突變就會被淘汰掉。再進一步說,突變後的、有利的表現型可能不僅在某個環境中有優勢,它可能在另一個恰當的環境中也是有優勢的,出現這種有機體系的原因可以是智能體自主移動到了新的環境,也可以是智能體所在的環境發生了改變。這也和我們前面在基因算法中討論過的質量多樣性方法有類似之處。

5、本文未提及的其他方面

除了上述已經提及的內容之外,我在這裡還列出了一些智能體和智能體環境以及我們推測能夠推動智能體進化出超過當下 AI 模型能力的基因算法的其他相關觀點。其中列出的一些智能體類別,在條件支持的情況下能夠順其自然地進化,但也可能被直接利用來加速實現通用人工智慧的終極目標。

智能體與環境

培養與長期發展階段:督促智能體更多地關心無助的、處於發育期的後代可能會促進一系列社會行為的發展,比如社會互動、溝通交流(語言)、協作(父母間的,父母與子女間的,或是無親緣關係的父母和子女之間的——培育一個孩子是勞師動眾的一件事情),等等。

個體意識:智能體應該具備識別同種類的其他個體的能力(通過一類智能體基因組表達出的「視覺上的」或是其他形式的特點)。如果智能體能夠互相識別,它們就可以將個體的行為與其本身聯繫起來,這有助於信任、協作、看護等行為的進化。(但同時也會產生不信任、欺騙和合謀)。

溝通媒介:環境應當允許智能體具備一些可以發展出一套溝通方法(一種語言)的形態。它可以是聽覺的、視覺的,甚至觸覺的。這對智能體進化出複雜的社會交互或協作行為來說是必要的。

基因和基因算法

組合基因的間接編碼:利用基因間的相互作用生產更高階的產品(比如,蛋白質,或是調控蛋白質產物)使得結構緊湊但能夠高度充分表達的基因組的出現成為可能,與每個基因值對應唯一一個模型參數或表現特質的基因模型相比,前者可以更高效的完成進化。除此之外,這種組合作用的方式還可以限制由於基因突變或偶發事件導致的後代完全無法自立生活(花在仿真/評估上時間被白費)的可能性。

指導發展的基因:與之前所提到的相關,編碼指導有機體發育的基因,而不是最終的成年有機體可能是更加集約,且更具進化潛力的方式(正如 HyperNEAT)。如果發育同樣還受到基因間的相互作用以及環境的驅動,這就給基因帶來了額外的篩選壓力,可以更好地推動進化。

可在規模上進化的基因組:與行為簡單的有機體相比,行為上複雜的有機體還可能要求更多基因來定義它們的表現型(或是它們的發育機制)。然而,一個具有小型基因組的簡單物種,可能會較一個具有大型基因組的簡單物種更快進化出複雜的行為。面對單個基因的選擇壓力,具有大型基因組的簡單物種更脆弱,因為單個基因突變對大型基因組有機體的行為改變作用微乎其微,這就拖慢了進化的進程。

結構化篩選繁殖和死亡智能體的機制:在應用了適應性函數的算法中,典型的篩選機制是挑選出表現最好的智能體進行繁殖,並淘汰同世代的其他智能體。然而,在這種機制下,剛突變的可以給智能體提供適應性上的好處的基因可能仍會由於物種間的遺傳漂變丟失掉。最近的研究 [15] 表明在一個智能體繁殖時,有策略地選擇哪個智能體應被淘汰(結構化的「進化圖譜」有對這種篩選機制的圖示)對新的有益處的基因在物種間的傳遞有「放大作用」,並可同時降低有利基因丟失的概率。在豐富、開放式的環境裡,這種結構可能正是環境間接施加影響的方式。

四、結論

最近幾年深度學習對於 AI 領域取得巨大進展所起到的作用是毋庸置疑的,相信未來還會有更多突破。但同時我們認為,過去一直處於替補地位的進化計算方法,最終能夠在提升 AI 能力上實現能夠與深度學習相媲美的飛躍——無論是以深度學習已取得的成果為基礎,還是不藉助深度學習成果基礎,獨立發展為全新的方法。

最後,我們推測進化計算方法將會極大提高 AI 的運算效率。基於現有的硬體平臺進行智能體的進化,併合理設計從基因到指令的映射關係,篩選出可加速完成任務的智能體,由此在該硬體平臺上逐漸優化智能體的性能。

五、參考文獻

1.    Krizhevsky, A., Sutskever, I., and Hinton, G. E. ImageNet classification with deep convolutional neural networks. In NIPS, pp. 1106–1114, 2012.

2.    I. Rechenberg and M. Eigen. Evolutionsstrategie: Optimierung Technischer Systeme nach Prinzipiender Biologischen Evolution. Frommann-Holzboog Stuttgart, 1973.

3.    H.-P. Schwefel.Numerische optimierung von computer-modellen mittels der evolutionsstrategie.1977.

4.    Salimans T., Ho J., Chen X., and Sutskever I. Evolution strategies as a scalable alternative to reinforcement learning. arXiv preprint arXiv:1703.03864, 2017.

5.    Felipe Petroski Such, Vashisht Madhavan, Edoardo Conti, Joel Lehman, Kenneth O Stanley, and Jeff Clune. Deep neuroevolution: Genetic algorithms are a competitive alternative for training deep neural networks for reinforcement learning. arXiv preprint arXiv:1712.06567, 2017.

6.    Justin K Pugh, Lisa B Soros, and Kenneth O Stanley. Quality diversity: A new frontier for evolutionary computation. Frontiers in Robotics and AI, 3:40, 2016.

7.    Stanley, K. O. & Miikkulainen, R. Evolving neural networks through augmenting topologies. Evol. Comput. 10, 99–127 (2002).

8.    Stanley, Kenneth O.; D』Ambrosio, David B.; Gauci, Jason (2009–01–14).「A Hypercube-Based Encoding for Evolving Large-Scale Neural Networks」. Artificial Life. 15 (2): 185–212.

9.    Hausknecht, M., Lehman, J., Miikkulainen, R. & Stone, P. A neuroevolution approach to general atari game playing. IEEE Trans. Comput. Intell. AI Games 6, 355–366 (2014).

10.  Mnih, V. et al. Human-level control through deep reinforcement learning. Nature 518, 529–533 (2015).

11.  Cussat-Blanc, S., Harrington, K. & Pollack, J. Gene regulatory network evolution through augmenting topologies. IEEE Trans. Evolut. Comput. 19, 823–837 (2015).

12.  Miller, J.F., Wilson, D.G., Cussat-Blanc, S.: Evolving developmental programs that build neural networks for solving multiple problems. In: Banzhaf, W., Spector, L., Sheneman L. (eds.) Genetic Programming Theory and Practice XVI, Chap. TBC. Springer (2019).

13.  Jeff Clune. AI-GAs: AI-generating algorithms, an alternate paradigm for producing general artificial intelligence. arXiv preprint arXiv:1905.10985, 2019.

14.  Soros, Lisa,「Necessary Conditions for Open-Ended Evolution」(2018). Electronic Theses and Dissertations. 5965. https://stars.library.ucf.edu/etd/5965.

15.  Pavlogiannis A, Tkadlec J, Chatterjee K, Nowak MA. Construction of arbitrarily strong amplifiers of natural selection using evolutionary graph theory. Communications Biology. 2018;1(1):71.

via https://towardsdatascience.com/evolutionary-approaches-towards-ai-past-present-and-future-b23ccb424e98

雷鋒網 AI 科技評論編譯。雷鋒網雷鋒網(公眾號:雷鋒網)

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 深度學習引爆下一次科技革命
    但深度學習是從未經標記的數據展開學習,這更接近人腦的學習方式,可以通過訓練之後自行掌握概念。面對海量數據,深度學習算法可以做到傳統人工智慧算法無法做到的事情,而且輸出結果會隨著數據處理量的增大而更加準確。這將大幅度提高計算機處理信息的效率。同時,深度學習在加速回歸定律的指引下會使得進化過程中產物(輸出結果)獲得指數級增長,當深度學習的效率變得更高,就會吸引更多的資源向它聚合,使其發展更為迅速。
  • 從進化論中我們能學到什麼?
    我們能夠從藉助大數據的力量,科學家能夠對比數百萬個基因,呈現出數百萬年的物種進化。研究如此大量的基因數據絕非易事,因此Tabach博士的實驗室開發了人工智慧算法來搜索和比較這些基因組的進化模式——識別具有特定功能的不同基因組合。
  • Adam 或許不是最佳的深度學習優化器
    讓我明確一點:眾所周知, Adam 不會總實現最佳性能, 但大多數時候,人們認為可以利用 Adam 的默認參數在處理某個深度學習問題上實現至少次優的性能。換句話說,Adam 現在被認為是深度學習的默認優化器。那麼,Adam 背後成功的秘密是什麼? 多年來,人們發表了大量的論文試圖解釋 Adam 和它的表現,太多了,不能一一列舉。從「適應學習率」(適應到什麼?
  • 識別太陽系外行星信號:人工智慧可以為我們找到新的行星嗎?
    在晴朗的夜晚,你可以很容易地看到木星、火星或太陽系的其他行星。幾千年前的天文學家就是這樣發現第一批行星的。我們不能直接觀察太陽系外的行星,比如海王星和天王星,所以,當然,我們也不能看到圍繞其他恆星運行的行星。
  • 《明日之後》又出進化槍?玩家找到「黃金MSR」與「重型武裝」!
    歡迎諸位小夥伴們來到本期遊戲君開講的《明日之後》「生存那點事兒」~今天呢,咱們聊聊「鋼鐵入侵」的重度階段、玩家擊敗BOSS之後的「奇遇」以及關於新的進化升級武器的玩家發現~得,廢話不多說了,依然是你熟悉的「老配方」:有圖有證據,邊看邊聊天兒吧
  • 博弈論速成指南:那些融入深度學習的經典想法和新思路
    對於初學者而言,遊戲環境在強化學習或模仿學習等領域中逐漸成為流行的訓練機制。理論上,任何多智能體 AI 系統都要經歷玩家之間的遊戲化交互。構建遊戲原則的數學分支正是博弈論。在人工智慧語境和深度學習系統語境下,要想使多智能體環境具備一些必備的重要能力,博弈論必不可少。在多智能體環境中,不同的 AI 程序需要交互或競爭才能達成目標。
  • 最新研究:新的深度學習技術破解偏微分方程的數學難題
    通過解此偏微分方程,可以得知任何時間點的流體運動,並模擬將如何繼續運動或之前是如何運動的。但這些計算非常複雜且計算量很大,所以常常依賴超級計算機來進行數學運算。這就是人工智慧領域可以發揮作用的地方。通過使用深度學習來加快解決的速度,將對科學探索和工程應用產生很大的好處。
  • 新的深度學習方法從胺基酸序列預測蛋白質結構
    然而,目前的方法在可以確定的蛋白質的規模和範圍方面受到限制。現在,哈佛醫學院的一位科學家使用了一種稱為深度學習的人工智慧來預測基於其胺基酸序列的任何蛋白質的三維結構。系統生物學家Mohammed AlQuraishi於4月17日在Cell Systems上在線報導,詳細介紹了一種計算確定蛋白質結構的新方法 - 實現與當前最先進方法相當的精確度,但速度提高了一百萬倍。
  • 死亡是進化的前提嗎?
    在我們看來,尼採可能是想告訴科學家:人的生命是由時間控制的,即使是發達的科學和技術也無法改變的事實。也許尼採的思想是天才性的預見,他的這種思想在現代生物進化論中被接受,並且專家們拿出了相關的生物學上的證據。這些生物學者們認為,越是高級的動物,再生和不死的能力就越低。
  • 2021高考地理備考建議:應以薄弱短板作為突破口
    2021年起,「3+1+2」新高考方案,高考方式進入選擇模式,語數英仍然採用全國卷,物化生史地政六科由各省自主命題,地理學科由全國卷回歸自主命題卷,由綜合卷變為單科卷,面臨試卷結構、命題風格等方面的變化,對備考提出了新的要求。
  • 神經進化:一種不一樣的深度學習
    綜上所述,為了使搜索空間具有適當的粒度,根據實際問題的要求,設計遺傳編碼和相應的神經進化算法非常重要。因此,我們我們先來回顧一下遺傳編碼的概念。遺傳編碼有效的神經網絡是能夠進行有效的變異和重組人工神經網絡的前提。擁有強大表示能力的神經網絡不用分析高度複雜的數據結構就能夠快速的處理緊湊的遺傳密碼(compact genetic codes)。
  • 科學家找到深度學習基因組學應用的一頂「黑帽子」—新聞—科學網
    DARTS 的基本框架 研究人員首次將深度學習與貝葉斯假設檢驗結合,利用深度學習強化RNA可變剪接分析的準確性。 ■本報記者 趙廣立 在生命科研領域,常有人說深度學習的基因組學應用好比是「一個盲人在一間黑暗的房子裡尋找一頂並不存在的黑色帽子」。言下之意,是遺憾深度學習的基因組學應用並沒有給人們帶來太多驚喜。不過,近日賓夕法尼亞大學和費城兒童醫院教授邢毅團隊的一項研究,找到了這樣一頂「黑帽子」。
  • 深度學習與統計力學(I) :深度學習中的基礎理論問題
    對英文原報告感興趣請在本公眾號回復關鍵詞「深度學習統計力學」。深度神經網絡最近在機器學習方面取得了顯著的成功,這就對其成功背後的理論原理提出了深刻的問題。例如,這樣的深層網絡可以計算什麼?我們如何訓練他們?信息是如何通過它們傳播的?為什麼他們泛化能力很好?我們怎麼能教他們想像呢?
  • 告別2019:屬於深度學習的十年,那些我們必須知道的經典
    當今天的太陽升起時,我們正式告別了上一個十年。在這十年中,伴隨著計算能力和大數據方面的發展,深度學習已經攻克了許多曾經讓我們感到棘手的問題,尤其是計算機視覺和自然語言處理方面。此外,深度學習技術也越來越多地走進我們的生活,變得無處不在。
  • Uber論文5連發宣告神經演化新時代,深度強化學習訓練勝過SGD和策略...
    這種基於群落的探索方式和傳統強化學習中只有一個智能體進行探索的做法有很大不同,其實乃至近期的關於深度強化學習的探索能力的研究都只靠一個智能體進行探索。Uber AI 的研究人員們通過實驗表明,增加的這種新的探索方式可以提高進化策略在許多領域的表現,包括一些 Atari 遊戲、模擬器中的仿人類行走,在這些任務中都需要躲開具有欺騙性的局部極小值。
  • 或許在不久的未來,人類將開啟新的進化之路
    或許在不久的未來,人類將開啟新的進化之路相信大家都聽說過基因編程,這可是現代科技領域的一股新的潮流,因為在我們的印象中,基因可是人類進化和生存的一個很重要的存在,很多人類的基本習慣,甚至是我們的生理構成都是由這些最微小的物質所組成,因此人類對於這個領域的研究,對人類的未來有著很深遠的影響。
  • 國內科學家找到突破口:100%死亡率將成歷史
    如今我們大多數人的生活已經開始趨向於小康水平,一個家庭的生活水平提升上來之後,那些喜歡養小動物的就會在自己的家中養上一隻兩隻小動物,最普遍的便是貓貓狗狗了,但是有了寵物之後,狂犬病就成為了最讓家裡人擔心的一個問題。
  • DeepMind 綜述深度強化學習:智能體和人類相似度竟然如此高!
    然而,在那之後的短時間內,Deep RL 的研究發生了重要的創新,其樣本效率得到顯著提升。這些方法大大降低了深度強化學習對訓練數據量的要求,也就相當於讓深度強化學習變得快多了。這些計算技術的出現使 Deep RL 成為人類學習建模的候選模型,也是心理學和神經科學相關觀點的重要啟蒙。
  • 深度學習背後的基礎-神經網絡揭秘
    最近, 深度學習三傑獲得了計算機界最重要的圖靈獎, 它們的貢獻都集中在對深度學習的根據神經網絡的理論突破。 今天我們看到的所有和人工智慧有關的偉大成就, 從阿法狗到自動駕駛, 從海量人臉識別到對話機器人, 都可以歸功於人工神經網絡的迅速崛起。那麼對於不了解神經網絡的同學如何入門? 神經網絡的技術為什麼偉大, 又是什麼讓它們這麼多年才姍姍走來?
  • 解構「黑暗中的捕光者」 能否成破解光合生物進化機制突破口
    海平面以下1500米、海底黑煙囪周圍,生活著一種古老的光合細菌,它能否成為破解光合生物進化機制的突破口?光合生物是自然界最高效的太陽能固定「機器」,平均每年通過光合生物的光合作用所同化的太陽能約為人類所需能量的10倍。光合作用被稱為地球上最重要的化學反應,對包括人類在內的地球生物的生存繁衍具有極為重要的影響。