優必選研究院再次獲得國際學術界認可,論文《Evolutionary Generative Adversarial Networks》入選《麻省理工科技評論》(MIT Technology Review)「The Best of the Physics arXiv」。該論文由優必選雪梨大學人工智慧中心的王超嶽(學生)在徐暢博士、姚新教授(南方科技大學)和陶大程教授(雪梨大學教授、優必選雪梨大學人工智慧中心主任、優必選人工智慧首席科學家)的聯合指導下完成。
《麻省理工科技評論》網站發布的優必選雪梨大學人工智慧中心論文
《Evolutionary Generative Adversarial Networks》
《麻省理工科技評論》於1899年在美國麻省理工學院創刊,是世界上歷史最悠久,也是影響力最大的技術商業類雜誌。內容覆蓋廣泛,涉及網際網路、通訊、計算機技術、能源、新材料、生物醫學和商務科技幾大領域。其重點關注新興科技及其對商業和社會的巨大影響,為超過300萬科技領域的專業人士及商業領袖提供前瞻性的資訊和獨到深入的行業趨勢研究分析。已經或正在走出實驗室,走向市場和即將商業化的技術,顛覆現有格局,創造全新市場,深刻影響人類社會的技術都是這本雜誌關注的重點內容。
在陶大程教授的領導下,優必選雪梨大學人工智慧研究中心主要研究關注人工智慧的基礎技術:Perceiving、Learning、Reasoning以及Behaving,目前在計算機視覺領域,包括物體檢測、場景解析、從單張彩色圖像中恢復深度信息、目標跟蹤、人體姿態估計、人臉識別、看圖說話與看圖回答問題、模仿學習、多視角學習、深度模型壓縮等多個方向上均取得很好的進展。
2018年,優必選雪梨大學AI研究中心在國際頂級AI學術會議上屢獲佳績,有4篇論文入選CVPR2018,5篇論文入選AAAI 2018,5篇論文入選IJCAI 2018並獲得傑出論文獎、,2篇論文入選KDD 2018,8篇論文入選ECCV 2018,此外,還在ECCV 2018第一屆圖像對話比賽(Visual Dialogue 2018)中榮膺冠軍,一舉擊敗中科大、南洋理工、微軟、以色列理工、UIUC以及首爾大學等近十支由國際知名高校和科技巨頭組成的參賽團隊。
這些研究成果,對於未來的機器人技術以及產品落地都會有很多的促進:讓機器人能夠更加準確地感知、理解環境,為終端用戶帶來更好的體驗,同時也能加速推動人工智慧與人形機器人領域前沿技術的商業化落地,助力優必選實現讓機器人走進千家萬戶的夢想。
附:論文《Evolutionary Generative Adversarial Networks》(《Evolutionary GAN: 基於演化算法的GAN模型》)的內容介紹
1. 簡介
生成對抗網絡(GAN)在近些年中取得了快速的發展和廣泛的關注,並被應用於一系列現實世界的任務中,例如圖像生成,圖像編輯,視頻預測等等。具體來說,現有的GAN算法大多是在生成器G和判別器D之間執行一個two-player adversarial game。 在對抗過程中,生成器G致力於不斷地『騙過』判別器D,並最終生成服從真實分布的樣本。雖然對抗學習在許多問題上都取得了不錯的表現,但很多現有的GAN模型也都面臨訓練難的問題,例如梯度消失和模式崩潰(mode collapse)。在本文中,受到自然演化過程的啟發,作者們提出了Evolutionary GAN (E-GAN),一個基於演化算法的GAN框架,以提升GAN訓練的穩定性並期望得到更好的生成效果。
2. Evolutionary GAN
與以往的1vs1的對抗算法不同,E-GAN設計了一個判別器D與生成器『種群』(population)之間的對抗框架。具體來說,作者假設生成器G不再以個體的形式存在,而是以『種群』(population)的形態與判別器D進行對抗。從演化的角度,判別器D可以被視為演化過程中不斷變化的環境,根據優勝劣汰的原則,生成器『種群』中表現不好的個體(individual)被不斷淘汰,只有表現優異的individual才會被保留以進一步的適應環境 (i.e., 與判別器D進行對抗)。這樣,每次更新產生的生成器G都將是當下所有策略中最優的選項,從而我們不必再去小心翼翼的維持訓練過程中D和G的平衡,避免了梯度消失,模式崩潰等一系列訓練不穩定的問題。具體的訓練方法入框架圖所示:
在每一次對抗過程中,生成器的演化過程由三個步驟組成,分別是變異(Variation),評估(Evaluation)和選擇(Selection)。
2.1. 變異(Variation)
在對抗過程中,為了可以持續更新並得到合適的生成器G,首先需要對現有的生成器『種群』進行變異操作,並產生新的後代(offspring)。通過觀察和對比現有的GAN training loss,作者發現不同的loss function具有不同的優勢和劣勢,因而採用他們作為不同的變異操作 (mutations)將可以得到不同的offspring。具體在試驗中,三種變異操作被採納,分別是 Minimax mutation,
Heuristic mutation,
和Least-squares mutation:
通過觀察這三種變異的損失函數曲線,並輔助以理論分析,作者表示這三種mutations具有互補的優勢,可以用於產生不同的特性的offspring。
2.2. 評估(Evaluation)
2.3. 選擇(Selection)
在衡量過所有offspring的生成性能後,作者們根據優勝劣汰的原則擇優選取更新過後的生成器G進行新一輪的訓練。綜上所說,整個演化訓練過程總結在下表中:
3. 實驗
E-GAN在混合高斯分布,cifar10,LSUN bedroom,SVNH等多個數據集上進行了實驗。先後驗證了E-GAN網絡的生成多樣性,生成質量,訓練效率,結構魯棒性和生成連續性的各項性能。結合定性的生成樣本感官和定量的Inception score, FID, E-GAN均表現出了優於已有two-player GAN模型的性能。部分實驗結果如下所示:
(免責聲明:以上內容為本網站轉自其它媒體,轉載目的在於傳遞更多信息,不代表本網觀點,亦不代表本站贊同其觀點和對其真實性負責,也不構成任何其他建議,請讀者僅作參考,注意可能的風險,並請自行承擔全部責任。)