IanGoodfellow撰文總結:谷歌的ICLR2017碩果纍纍

2020-12-11 雷鋒網

雷鋒網消息,谷歌大腦團隊的IanGoodfellow今日在研究院官網上撰文,總結了谷歌在ICLR2017上所做的學術貢獻。雷鋒網編譯全文如下,未經許可不得轉載。

本周,第五屆國際學習表徵會議(ICLR2017)在法國土倫召開,這是一個關注機器學習領域如何從數據中習得具有意義及有用表徵的會議。ICLR包括conferencetrack及workshoptrack兩個項目,邀請了獲得oral及poster的研究者們進行分享,涵蓋深度學習、度量學習、核學習、組合模型、非線性結構化預測,及非凸優化問題。

站在神經網絡及深度學習領域浪潮之巔,谷歌關注理論與實踐,並致力於開發理解與總結的學習方法。作為ICLR2017的白金贊助商,谷歌有超過50名研究者出席本次會議(大部分為谷歌大腦團隊及谷歌歐洲研究分部的成員),通過在現場展示論文及海報的方式,為建設一個更完善的學術研究交流平臺做出了貢獻,也是一個互相學習的過程。此外,谷歌的研究者也是workshops及組委會構建的中堅力量。

如果你來到ICLR2017,我們希望你能在我們的展臺前駐足,並與我們的研究者進行交流,探討如何為數十億人解決有趣的問題。

以下為谷歌在ICLR2017展示的論文內容(其中的谷歌研究者已經加粗表示)

區域主席

GeorgeDahl,SlavPetrov,VikasSindhwani

程序主席(雷鋒網此前已經做過相關介紹)

HugoLarochelle,TaraSainath

受邀演講論文

UnderstandingDeepLearningRequiresRethinkingGeneralization(BestPaperAward)

ChiyuanZhang*,SamyBengio,MoritzHardt,BenjaminRecht*,OriolVinyals

Semi-SupervisedKnowledgeTransferforDeepLearningfromPrivateTrainingData(BestPaperAward)

NicolasPapernot*,MartínAbadi,lfarErlingsson,IanGoodfellow,KunalTalwar

Q-Prop:Sample-EfficientPolicyGradientwithAnOff-PolicyCritic

Shixiang(Shane)Gu*,TimothyLillicrap,ZoubinGhahramani,RichardE.Turner,SergeyLevine

NeuralArchitectureSearchwithReinforcementLearning

BarretZoph,QuocLe

Poster論文

AdversarialMachineLearningatScale

AlexeyKurakin,IanJ.Goodfellow,SamyBengio

CapacityandTrainabilityinRecurrentNeuralNetworks

JasmineCollins,JaschaSohl-Dickstein,DavidSussillo

ImprovingPolicyGradientbyExploringUnder-AppreciatedRewards

OfirNachum,MohammadNorouzi,DaleSchuurmans

OutrageouslyLargeNeuralNetworks:TheSparsely-GatedMixture-of-ExpertsLayer

NoamShazeer,AzaliaMirhoseini,KrzysztofMaziarz,AndyDavis,QuocLe,GeoffreyHinton,JeffDean

UnrolledGenerativeAdversarialNetworks

LukeMetz,BenPoole*,DavidPfau,JaschaSohl-Dickstein

CategoricalReparameterizationwithGumbel-Softmax

EricJang,Shixiang(Shane)Gu*,BenPoole*

DecomposingMotionandContentforNaturalVideoSequencePrediction

RubenVillegas,JimeiYang,SeunghoonHong,XunyuLin,HonglakLee

DensityEstimationUsingRealNVP

LaurentDinh*,JaschaSohl-Dickstein,SamyBengio

LatentSequenceDecompositions

WilliamChan*,YuZhang*,QuocLe,NavdeepJaitly*

LearningaNaturalLanguageInterfacewithNeuralProgrammer

ArvindNeelakantan*,QuocV.Le,MartínAbadi,AndrewMcCallum*,DarioAmodei*

DeepInformationPropagation

SamuelSchoenholz,JustinGilmer,SuryaGanguli,JaschaSohl-Dickstein

IdentityMattersinDeepLearning

MoritzHardt,TengyuMa

ALearnedRepresentationForArtisticStyle

VincentDumoulin*,JonathonShlens,ManjunathKudlur

AdversarialTrainingMethodsforSemi-SupervisedTextClassification

TakeruMiyato,AndrewM.Dai,IanGoodfellow

HyperNetworks

DavidHa,AndrewDai,QuocV.Le

LearningtoRememberRareEvents

LukaszKaiser,OfirNachum,AurkoRoy*,SamyBengio

WorkshopTrack

ParticleValueFunctions

ChrisJ.Maddison,DieterichLawson,GeorgeTucker,NicolasHeess,ArnaudDoucet,AndriyMnih,YeeWhyeTeh

NeuralCombinatorialOptimizationwithReinforcementLearning

IrwanBello,HieuPham,QuocV.Le,MohammadNorouzi,SamyBengio

ShortandDeep:SketchingandNeuralNetworks

AmitDaniely,NevenaLazic,YoramSinger,KunalTalwar

ExplainingtheLearningDynamicsofDirectFeedbackAlignment

JustinGilmer,ColinRaffel,SamuelS.Schoenholz,MaithraRaghu,JaschaSohl-Dickstein

TrainingaSubsamplingMechanisminExpectation

ColinRaffel,DieterichLawson

TuningRecurrentNeuralNetworkswithReinforcementLearning

NatashaJaques*,Shixiang(Shane)Gu*,RichardE.Turner,DouglasEck

REBAR:Low-Variance,UnbiasedGradientEstimatesforDiscreteLatentVariableModels

GeorgeTucker,AndriyMnih,ChrisJ.Maddison,JaschaSohl-Dickstein

AdversarialExamplesinthePhysicalWorld

AlexeyKurakin,IanGoodfellow,SamyBengio

RegularizingNeuralNetworksbyPenalizingConfidentOutputDistributions

GabrielPereyra,GeorgeTucker,JanChorowski,LukaszKaiser,GeoffreyHinton

UnsupervisedPerceptualRewardsforImitationLearning

PierreSermanet,KelvinXu,SergeyLevine

ChangingModelBehavioratTest-timeUsingReinforcementLearning

AugustusOdena,DieterichLawson,ChristopherOlah

*工作內容在谷歌就職時完成

工作內容在OpenAI任職時完成

詳細信息可訪問了解,雷鋒網編譯。research.googleblog

相關焦點

  • Ian Goodfellow撰文總結:谷歌的 ICLR 2017 碩果纍纍
    雷鋒網消息,谷歌大腦團隊的 Ian Goodfellow 今日在研究院官網上撰文,總結了谷歌在 ICLR 2017 上所做的學術貢獻。雷鋒網編譯全文如下,未經許可不得轉載。站在神經網絡及深度學習領域浪潮之巔,谷歌關注理論與實踐,並致力於開發理解與總結的學習方法。作為 ICLR 2017 的白金贊助商,谷歌有超過 50 名研究者出席本次會議(大部分為谷歌大腦團隊及谷歌歐洲研究分部的成員),通過在現場展示論文及海報的方式,為建設一個更完善的學術研究交流平臺做出了貢獻,也是一個互相學習的過程。
  • Ian Goodfellow 離開OpenAI,重回谷歌大腦團隊
    已於今年 3 月份從 OpenAI 重回谷歌。目前沒有其它公開資料顯示 Goodfellow 的最新動向,不過從個人資料的更新時間來看,Goodfellow 回谷歌一事或已坐實。其實這一事情早有端倪。前段時間,Ian Goodfellow 投遞的論文獲得了 ICLR 2017 的 Best Paper,而 Goodfellow 在此論文的公司名赫然寫著 Google Brain。底部的注釋顯示,他這篇論文的工作是在 OpenAI 與 Google Brain 工作期間完成的。也就是說,Ian Goodfellow 很有可能在完成論文期間就從 OpenAI 跳回了谷歌。
  • 專訪Ian Goodfellow:不積跬步無以成就GAN
    在他們的對話中,深度學習研究員、GAN之父Goodfellow回顧了自己當年的科研經歷,簡要介紹了自己對於科研、行業和未來發展的一些看法。Sanyam Bhutani:您好,GAN之父,感謝您願意接受我的採訪。Ian Goodfellow:非常歡迎!
  • 谷歌大牛Ian Goodfellow已經加盟蘋果,擔任特殊項目的機器學習主管
    谷歌大牛Ian Goodfellow已經加盟蘋果,擔任特殊項目的機器學習主管。 又有大牛被蘋果挖走。 谷歌高級研究科學家、OpenAI研究科學家Ian Goodfellow周四更新了自己的LinkedIn,最新的職業信息顯示,他3月份已經加盟蘋果,擔任特殊項目的機器學習主管。
  • 重磅| GAN之父Ian Goodfellow加盟蘋果
    機器之心報導機器之心編輯部據 CNBC 報導,生成對抗網絡(GAN)的創造者,前谷歌大腦著名科學家 Ian Goodfellow 剛剛正式宣布加盟蘋果。他將在蘋果公司領導一個「機器學習特殊項目組」。目前,Ian Goodfellow 的 LinkedIn 帳戶已經更新了最近的跳槽活動:「我在蘋果公司領導一個機器學習特殊任務群組。」Goodfellow 寫道。
  • 谷歌頂級人工智慧專家Ian Goodfellow加入蘋果公司 擔任總監級別職務
    北京時間4月5日凌晨消息,據美國媒體CNBC報導,作為曾經谷歌人工智慧領域的頂尖人物之一,Ian Goodfellow已加入蘋果公司擔任總監級別職務。  去年,蘋果公司聘請谷歌人工智慧負責人John Giannandrea負責監督人工智慧戰略。  Goodfellow周四更新了他的LinkedIn個人資料,確認他在3月份從谷歌跳槽到蘋果公司。他說他是特殊項目團隊的機器學習負責人。除了為FaceID和Siri等功能開發AI之外,蘋果公司還一直致力於自動駕駛技術。最近,自動駕駛團隊進行了一輪裁員。
  • MIT在讀博士生質疑ICLR 2018防禦論文很水?Ian Goodfellow跟帖回應
    谷歌大腦負責人 Jeff Dean 日前在推特上轉了一篇名字為 Anish Athalye 的推文,立刻引起了整個機器學習學術圈的關注,被譽為「GANs 之父」的 Ian Goodfellow 也接連跟帖回復。
  • 谷歌34歲AI新生代領袖被蘋果挖走 「GAN之父」Ian Goodfellow跳槽
    當地時間周四(4月4日),隨著 Ian Goodfellow 更新了他在領英上的個人資料,他 3 月份從谷歌跳槽到了蘋果的事實得到了證實。目前,他是蘋果特殊項目小組的機器學習主管。DeepTech 曾就此事聯繫 Goodfellow ,未收到沒有回覆相關評論。
  • lan Goodfellow IEEESSP最新演講:對抗性實例安全性研究及其未來
    大數據文摘作品作者:鄭璇真繼上周密集更新的推特小課堂後,時刻操心著大家學習的Ian Goodfellow先來回顧一下上周的推特小課堂:學界 | Ian Goodfellow發推講2個機器學習黑魔法,教你如何推導公式學界 | Ian Goodfellow推特小課堂又開課啦:數學求導的小技巧
  • 大咖| GAN之父Ian Goodfellow在Quora:機器學習十問十答
    當然,我們也摘錄了Ian Goodfellow對他的「愛子」GAN的點評。此外,文摘將在本周推出Quora問答精選專欄,大家敬請關注!Ian Goodfellow:如果你野心勃勃,邊實踐邊學習,並參與我們的對抗樣本競賽吧(NIPS 2017: Non-targeted Adversarial Attack)學習教你線性代數和概率論的課
  • GAN之父Ian Goodfellow:那個賦予機器想像力的人類
    Ian Goodfellow朋友們提出的方案是對那些組成圖片的元素進行複雜的統計分析以幫助機器自己生成圖片。這需要進行大量的數據運算,Ian Goodfellow告訴他們這根本行不通。神奇的GAN和它廣泛的應用Goodfellow現在是位於加州山景城谷歌總部的谷歌大腦團隊中的一名研究員
  • Ian Goodfellow線上直播實錄:關於GANs的那些不為人知的事兒
    Ian Goodfellow:這確實是真的,並不是傳言。我之前在幾次採訪中也講過這個故事,「麻省理工科技評論」「連線」雜誌,「英偉達博客」上都有報導。Wired:https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/NVIDIA Blog:https://blogs.nvidia.com/blog/2017/06/08/ai-podcast-an-argument-in-a-bar-led-to-the-generative-adversarial-networks-revolutionizing-deep-learning
  • Ian Goodfellow 談 GANs 論文評審:有這些跡象的論文要懷疑
    雷鋒網 AI 科技評論按:谷歌大腦研究員、「GANs」之父、《Deep Learning》課本作者之一的 Ian Goodfellow 自上次的線上直播裡回答了網友們提出的種種問題之後,昨天也在 Twitter 上發表了很多關於
  • ICLR2018論文投稿搶先看:Ian Goodfellow由衷讚賞的訓練穩定方法SN...
    這兩天又有一篇精彩的論文被發現、分享出來,Ian Goodfellow也給了很真誠且正面的評價:Ian Goodfellow: 「雖然GANs從單獨某個類別生成逼真的圖像已經做得很棒了(比如用一個GAN生成人臉,另一個GAN生成建築),但是用一個GAN解決 ImageNet 裡的1000個類別就一直都做得不好。
  • ICLR 2017 特稿:谷歌和 Facebook 亮眼表現盤點
    加盟新智元,與人工智慧業界領袖攜手改變世界。【新智元導讀】備受矚目的深度學習&機器學習頂會 ICLR 2017 本周召開。ICLR 創始人 Yoshua Bengio 和 Yann LeCun 擔任 General Chair。Facebook 的 Marc' Aurelio Ranzato 是 Senior Program Chair。
  • ...35揭曉:阿里巴巴王剛、吳翰清等六位華人當選,Ian Goodfellow...
    這一名單可謂是未來的風雲人物榜單,包括谷歌的聯合創始人 Larry Page 和 Sergey Brin、Facebook 的創始人馬克·扎克伯格、雅虎創始人楊致遠、Linux 之父 Linus Torvards、伊利諾伊大學的材料科學家約翰·羅傑斯、蘋果公司的首席設計師 Jonathan Ive、iRobot 公司的共同創始人 Helen Greiner,以及 PayPal 創始人 Max Levchin
  • Ian Goodfellow發推講2個機器學習黑魔法,教你如何推導公式
    大數據文摘作品作者:小魚、土豆《深度學習》(花書)作者Ian Goodfellow當然,更詳盡的操作還是要去看Goodfellow本人的《深度學習》。文摘菌給大家搭配了斯坦福的一門MOOC,一起學習風味更佳~拉至文末查看喔~Goodfellow稱,這是關於機器學習,他最喜歡的兩個快速理解理論推導的「黑魔法」。
  • 交互式線上科學期刊Distill上線,IanGoodfellow表示「學ML就找它」
    組織構成作為一個獨立組織,Distill的成員主要有:編輯:Shan Carter 和ChrisOlah(谷歌大腦)指導委員會成員:Yoshua Bengio (蒙特婁大學)Mike Bostock (d3創建人)Amanda Cox (紐約時報)Ian Goodfellow
  • Ian Goodfellow 和 Papernot 半年三篇博文,對機器學習的安全隱私來了個大起底
    安全與隱私問題的積極行動者GANs 的提出者、在谷歌大腦做人工智慧研究的 Ian Goodfellow 近期在 Twitter 上的動向都是安全方面的。這個博客是 Ian Goodfellow 和 Nicolas Papernot 兩人共同創建、更新的,還建立了 cleverhans 對抗性機器學習樣本庫目,他們的目的是與全世界的研究者們共同探索和改善機器學習模型在安全和隱私方面的表現。
  • 像「花書」一樣排版:Ian Goodfellow「親授」的高級LaTex教程
    當地時間 3 月 1 號,深度學習知名同名教材《Deep Learning》的第一作者 Ian Goodfellow 發推把這個一行 Python 代碼都沒有的 GitHub 項目推薦給了大家。GitHub 項目地址:https://github.com/goodfeli/dlbook_notation項目裡包括了定義深度學習教科書風格的各個文件、《深度學習》一書符號說明頁的 .tex 文件以及一個兩頁長的注釋(commentary.tex)。