人物 | Ian Goodfellow親述GAN簡史:人工智慧不能理解它無法創造的東西

2021-01-14 機器之心

選自Wired

作者:Cade Metz

機器之心編譯

參與:黃小天、蔣思源


著名物理學家、加州理工學院教授以及暢銷書作者理察·費曼( Richard Feynman)離開人世的那一天,其教室的黑板上寫著:「我不能創造的,我也不理解(What I cannot create, I do not understand)。」


當 Ian Goodfellow 解釋其在谷歌大腦正進行的研究時,他引用了費曼的這一格言,但他指代的不是自己或者谷歌的任何員工,而是機器:「人工智慧不能創造的,其也不理解(What an AI cannot create, it does not understand)。」


Goodfellow 是當今人工智慧領域最重要的研究者之一,在 OpenAI (谷歌大腦的競爭者,由 Elon Musk 和 Sam Altman 聯合創建)短暫工作之後,他又重返谷歌,組建一個新的研究團隊探索「生成模型」,其可以創建圖片、聲音和真實世界的其他表徵。 Goodfellow 同意費曼的觀點,認為這一努力是實現所有人工智慧的一條重要路徑。


Ian Goodfellow 說:「這會促進人工智慧學習真實存在的世界結構。」


「如果人工智慧對世界的想像包含真實細節,即懂得如何生成真實的圖像和聲音,這會促進人工智慧學習真實存在的世界結構。」Goodfellow 解釋說。「世界結構可以幫助人工智慧理解其看到的圖像或聽到的聲音。」


2014 年 Goodfellow 還是蒙特婁大學的一名博士生,在酒吧的一次醉酒爭論後,他就已在構想著一種稱為「生成對抗網絡」或者 GAN 的人工智慧技術。然而,醉酒帶來了靈感,這是一個十分優雅的想法:第一個人工智慧創造逼真圖像,第二個人工智慧分析其結果,並確定這張圖像是真是假。Goodfellow 說:「你可以將此看作是一位藝術家(生成模型)和一位藝評家,藝術家想要愚弄藝評家,使其相信藝術家的生成的圖像是真的。」由於第二個人工智慧在鑑別圖像真假上十分賣力,第一個人工智慧可從其學到通過自學無法學到的方式來仿製逼真圖像。在這一過程中,這兩個神經網絡不斷推動人工智慧前進直到有一天計算機可以脫離人類的指導而存在。


監管 Facebook 整個人工智慧研究的 Yann LeCun 說:「GAN 是近 20 年來深度學習領域誕生的最酷想法。」深度學習是人工智慧的一個分支,其改變了包括谷歌、微軟、亞馬遜以及 Facebook 在內的所有網際網路巨頭的發展發向。Goodfellow 的想法仍然有待完善,但已快速擴展到整個人工智慧領域。許多研究者,包括 LeCun,認為他們可以通過它實現「無監督學習」。即這一人工智慧研究領域的偉大抱負:實現無需人類直接幹預的機器學習。


步入正軌


Goodfellow  是在 Les 3 Brasseurs 酒吧(或者 The 3 Brewers)有了 GAN 的最初想法,當時他的朋友 Razvan Pascanu (現在是DeepMind 的一名研究員)博士畢業, Goodfellow 和許多其他朋友為其送行。他們中的一個人正在描述一個新的研究項目,致力於從數學上界定照片中的一切,即把關於照片的統計學數據輸入到一臺機器從而使其自行創建圖片。Goodfellow 認為有點詭異,說這永遠不會奏效——因為有太多的統計學數據要考慮以至於沒有一個人可以全部記錄下來。但是在這時,他想到了一個更好的方法:神經網絡可以教會機器如何創建真實的圖片。


神經網絡是一個複雜的數學系統,其通過分析大量的數據以學習任務,比如圖片中的人臉識別和理解口頭語言。站在酒吧之中時, Goodfellow 想到,當第一個神經網絡學習創建真實圖片時,第二個可以扮演敵手,鑑定這些被生成圖片的真偽,並將其判斷回饋給第一個神經網絡。通過這種方式,他說,可以最終教會第一個神經網絡生成與真實圖像難以區分的偽造圖片。


Goodfellow 的朋友開始反駁,其也同樣堅持 Goodfellow 的方法並不奏效。所以當 Goodfellow 晚上回到家後,他構建了 GAN。他還記得「回到家還是有點醉,我就坐在那思考朋友在酒吧說的是錯的!後來我徹夜未眠並在筆記本上編寫GAN。」Goodfellow 說的這個代碼是第一次嘗試。他說:「我非常幸運,因為如果當時這個模型失敗,也許就放棄了這一個想法。」


他和其他一些研究人員發表了一篇論文,描述那年晚些時候的思潮。隨後三年,其他數百篇論文探討了這一概念。在第一篇論文中,兩個神經網絡就能產生可以生成手寫數字的逼真圖像系統。現在,研究人員將這一概念應用到從貓到火山再到整個星系等一切事物的圖像中。它甚至能協助天文實驗的開展和局部物理學的模擬。


但實現還是非常困難。因為這一系統訓練的神經網絡不是一個,而是同時訓練兩個。在谷歌,當 Goodfellow 組建了一個聚焦於 GAN 及其相關研究的團隊時,希望精煉研究進程。Goodfellow 說:「作為一名機器學習研究者,我所必須面對的是研究出十分可靠的訓練方式。」


最後的結果:遠遠不只是生成圖片和聲音,還能識別圖像與聲音,這是一條實現優秀系統的路徑——只需少量人類幹預就能學習到更多知識。Goodfellow 說:「這些模型學習理解世界的結構,並在沒有過多明確告知的情況下幫助系統學習。」


GAN 甚至可以實現無監督學習,這在今天並不真實存在。目前,神經網絡能通過分析數百萬張貓的照片而識別出貓,但前提是人類必須在之前小心地區分圖像並為貓的照片做上標註。實際上人類在識別過程中參與很多,這也經常是一個難題,即這一問題是有偏見的還是在訓練人工智慧時確實需要人工幹預。像 LeCun 那樣的研究者正努力推動無需大量人工幹預就能學習的系統,這會加速人工智慧的發展。


但這僅僅只是開端。GAN 同時還將帶來更多的可能性。南加利福尼亞大學的人工智慧研究員 David Kale 認為,這一想法可以幫助他及其研究同事在不侵犯患者隱私的情況下構建健康醫療人工智慧。基本上,GAN 可以生成偽造(fake )的健康醫療記錄。機器學習系統可以在這些偽造的數據而不是真實數據上進行訓練。Kale 說:「我們不能將患者數據放入到人人可用的網上,那麼為什麼我們不在偽造數據上訓練 GAN,並創建一個完全合成的數據集再開放用於其它研究呢?通過這樣的方式,任何在合成數據集訓練的模型與在原始數據訓練的不會有什麼區別,我們有什麼理由不這樣做呢?」


雖然許多研究者在探索 GAN 背後的思想,但 Goodfellow 正打算在谷歌建立一個專門團隊。Goodfellow 是離開谷歌到OpenAI(該實驗室承諾與世界分享其研究)的研究者之一。但不到一年,他又回到了谷歌,因為他的合作者幾乎都在那裡。Goodfellow 說:「在視頻通話中花費一天的時光並不有趣。這並不是完成工作的最佳方法。」


分享很重要,密切合作也是——不管是人工智慧研究者還是神經網絡。


原文地址:https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/



本文為機器之心編譯,轉載請聯繫本公眾號獲得授權

✄---

加入機器之心(全職記者/實習生):hr@jiqizhixin.com

投稿或尋求報導:editor@jiqizhixin.com

廣告&商務合作:bd@jiqizhixin.com

相關焦點

  • 大咖| GAN之父Ian Goodfellow在Quora:機器學習十問十答
    當然,我們也摘錄了Ian Goodfellow對他的「愛子」GAN的點評。此外,文摘將在本周推出Quora問答精選專欄,大家敬請關注!作為一個大二學生,我該如何進入人工智慧領域?Ian Goodfellow:「深度學習」是一個非常廣泛的概念,我不確定它是否可以被取代。深度學習只是意味著用更多的處理步驟來學習,而不是僅僅只有一步。從這點來說,相比於「淺」的算法,「深」的算法會遇到組合爆炸的問題。
  • Ian Goodfellow:GAN相比其他生成模型的優缺點及應用
    它能應用到其他事物的生成嗎?  生成對抗網絡的簡單介紹如下,訓練一個生成器(Generator,簡稱G),從隨機噪聲或者潛在變量(Latent Variable)中生成逼真的的樣本,同時訓練一個鑑別器(Discriminator,簡稱D)來鑑別真實數據和生成數據,兩者同時訓練,直到達到一個納什均衡,生成器生成的數據與真實樣本無差別,鑑別器也無法正確的區分生成數據和真實數據。GAN的結構如圖1所示。
  • 「GAN之父」Goodfellow與網友互動:關於GAN的11個問題(附視頻)
    它們可以被用來創造很多的東西,包括 GANs 和 DBN。這個問題的另外一個方面是:DBN和 GANs 的效果或者學習區別是什麼。DBN 基於統計物理學的模型,你寫下一個能量函數(energy function),來描述不同圖片的相似度。如果一個圖像的能量較低,那麼更可能發生。這類似於山上的巖石。滾到山腳的石頭比山頂的石頭有更低的能量,這是由於重力。
  • 自Ian Goodfellow之後,GANs還有哪些開拓性進展?
    介紹Yann LeCun在Quora上曾說,「對抗訓練是有史以來最酷的東西」。我也同意他說的,因為切片麵包從未在深度學習的圈子裡引起如此多的關注和興奮。在這篇總結裡,我們一起來看看3篇基於Ian Goodfellow在2014年發表的開拓性工作的文章。 生成對抗網絡(GANs)概述 我在之前的博文,《9篇你要知道的深度學習論文》,裡提到過Ian Goodfellow生成對抗網絡的論文。那些網絡模型大致是,你有兩個模型,一個生成模型(generative model)和一個辨別模型(discriminative model)。
  • Ian Goodfellow推特小課堂又開課啦:數學求導的小技巧
    大數據文摘作品作者:小魚、蔣寶尚最近,Ian Goodfellow不斷在推特和大家分享一寫學習的小技巧。Goodfellow稱,他最喜歡用超實數(hyperreal numbers)來求導數。註:超實數是一個包含實數以及無窮大和無窮小的域,它們的絕對值分別大於和小於任何正實數。
  • 圖靈與香農以及他們的大時代《智慧財產權簡史》人物篇
    《智慧財產權簡史》人物篇迎來影響至今(預計整個21世紀還會持續受到他們的影響)的兩位偉大人物——艾倫·圖靈和香農,推薦閱讀書單:《艾倫·圖靈傳》《香農傳》《生命3.0》。我們先簡要回顧一下艾倫·圖靈充滿靈性的一生,圖靈少年時就表現出獨特的直覺創造能力和對數學的愛好。1926年,14歲的圖靈考入倫敦著名的謝伯恩公學,受到良好的中學教育。1927年,15歲的圖靈為了幫助母親理解愛因斯坦的相對論,寫了愛因斯坦的一部著作的內容提要,表現出非凡的數學天賦(《智慧財產權簡史》已出場的多位人物均表現出超高的數學天賦),獲得過國王愛德華六世數學金盾獎章。
  • 《未來簡史》作者Yuval Harari:人工智慧與人工意識
    牛津大學歷史學博士、《未來簡史》作者尤瓦爾•赫拉利(Yuval Harari)發表了《人工智慧與人工意識》重要講話。非常感謝大家,今天我要與大家分享的是人工智慧與人工意識的關係。人工智慧和人工意識,在很偉大的革命變革邊緣,這不僅僅是在歷史上,實際上也是從地球有生命開始最偉大的一個革命。
  • 我不能創造的東西,我就不理解
    我不能創造的東西,我就不理解(What I cannot create, I do not understand
  • 《未來簡史》讀後感(三):人工智慧將取代人類?
    然而《未來簡史》卻提出了未來人工智慧可能會取代人類,頓時社會上一片譁然,各位大咖紛紛議論起人工智慧前面兩章回顧了人類社會的過去跟現在,這部分在《人類簡史》已經論述過了,重點是第三部分的對未來的展望。作者認為隨著人工智慧的發展,人類將逐漸退出舞臺。人類並不比其他動物神聖高貴,最終將跟曾經統治過地球一段時間的霸主——恐龍一樣銷聲匿跡。不同的是恐龍的退場是由於氣候環境的突變,最終無法適應氣候條件而滅絕。而人工智慧統治地球以後,人類並不會消失,那麼人類會以什麼形式繼續生存呢?
  • 【書評】《新未來簡史》:為何說人工智慧的深度學習能力比人類差萬...
    出版社:電子工業出版社出版時間:2018年4月人工智慧與人類在學習能力上的差異為了客觀、形象、深入地理解「人工智慧的學習能力、智能比人類差一萬倍甚至億倍」這一概念,這裡做個類比:有兩顆桃樹,分別為甲和乙。
  • 解讀《未來簡史》:我們擔心人工智慧,其實擔心的不是機器而是人
    人工智慧給我們帶來的是什麼?對於人工智慧,我們持有樂觀的想法。因為人工智慧越來越多的取代人類所做的事情,會讓人解放成一個「神」。這也是尤瓦爾·赫拉利從《人類簡史》到《未來簡史》一直在敘述的過程。我看了尤瓦爾·赫拉利的《未來簡史》,讓我感動的是,他所謂的《未來簡史》夠像這個英文的標題一樣,HOMO DEUS,HOMO(人類)來自於拉丁文一個詞彙「上帝」,人是不是成為「上帝」,成為「神」?我們總是以為科幻小說是科幻,但是人類為什麼有神話?神話是信息交流不暢通的時候不得不把看到的不理解的事物通過想像彌合。
  • 乾貨| 直觀理解GAN背後的原理:以人臉圖像生成為例
    他希望是自己發現了 GAN 而不是 Ian Goodfellow。目前,人們利用 GAN 可以完成不同種類的生成任務,它能夠生成現實中的圖片,三維模型,視頻和其他更有價值的成果。GAN 的生成樣例生成類似於 MNIST 資料庫的手寫數字圖片——甚至連人類都無法區別生成的圖片和真實圖片使用 StackGAN 基於文字描述生成圖片使用 DCGAN(深度卷積對抗生成網絡)生成人臉使用 DCGAN (https://github.com/mattya/chainer-DCGAN) 生成動漫人物除了生成實物外
  • 超全的GAN PyTorch+Keras實現集合
    本文介紹了主流的生成對抗網絡及其對應的 PyTorch 和 Keras 實現代碼,希望對各位讀者在 GAN 上的理解與實現有所幫助。/ccgan.py本論文介紹了一種基於圖像的半監督學習方法,它在繪畫中將使用對抗性損失函數。
  • 《未來簡史》預言人工智慧終結人類
    本月,《未來簡史》中國大陸唯一授權中文版由中信出版社正式推出。這是繼希伯來文、英文之後在全球出版的第三個語言版本。如果說《人類簡史》是關於人類從哪裡來,那麼《未來簡史》就是關於人類的出路在哪裡。英國《衛報》稱,幾年前廣獲好評的世界級暢銷書《人類簡史》終於迎來姐妹篇——《未來簡史》。這是一部對人類科技驅動未來展開探索的燒腦之作,甚至比前作更具可讀性和重要性。
  • 書評:如何理解《時間簡史》之我見
    我感受到了他的藐視,決心一定要看懂《時間簡史》,雖說這本薄薄的小冊子實在難以下咽,並不如它的作者霍金所言,通俗易懂——這該是物理專業人士的認為吧。話說《時間簡史》說的並不是有關時間的歷史,而是物理學的歷史。而理論物理研究的重頭戲就是宇宙學——宇宙的起源和發展。
  • 《未來簡史》:人機大戰,誰才是未來的主宰
    但是,它正在我們的生活中發生著。我們把它稱為「人工智慧」。早在200年前的人們,是無法想像的。當然,就像現在的我們,也無法想像200年之後的未來,會是個什麼樣子。自1956年誕生以來,隨著研究和應用的不斷深入,人們對人工智慧的理解和認識也發生了深刻的變化。不可否認,人工智慧在模仿和執行人類的某些智力功能,如判斷、推理、規劃、設計、思考、學習、識別等,解決了很多過去只有人類專家才能處理好的複雜問題。
  • GAN快速入門資料推薦:17種變體的Keras開原始碼,附相關論文
    Code:https://github.com/eriklindernoren/Keras-GAN/blob/master/dcgan/dcgan.pyPaper:Unsupervised Representation Learning with
  • Ian Goodfellow提出顯著...
    選自arXiv作者:Julius Adebayo、Ian Goodfellow等機器之心編譯參與:Geek AI、張倩顯著性方法被廣泛應用於突出輸入中與學到的模型的預測結果相關的特徵。現有的顯著性方法通常是以圖像數據的視覺吸引作為指導的。
  • 《未來簡史》讀後感
    ## 《未來簡史》讀後感以色列的歷史學家尤瓦爾·赫拉利寫的《未來簡史》一書,流行的程度可能不亞於某些娛樂明星,你打開任何一個關於讀書的公眾號或APP幾乎都能看到它的身影。仿佛這本書揭示了某些驚人的東西,讓很多人覺得不閱讀一下就 OUT 了!前一陣,我也成為了「很多人」中的一員;算是較認真地閱讀完了全書,並做了一些筆記。