英偉達的研究人員創造了一種增強方法來訓練生成對抗性網絡

2020-12-25 電子發燒友

英偉達的研究人員創造了一種增強方法來訓練生成對抗性網絡

大數據文摘 發表於 2020-12-23 10:17:25

英偉達的研究人員創造了一種增強方法來訓練生成對抗性網絡(GAN),與先前的方法相比,這種方法需要的數據量相對更少。

英偉達的這種GAN網絡,可用於風景畫等藝術作品的創作,還可製作一些用於視頻會議的作品。(GAN是人工智慧的一種形式,它將生成器網絡與鑑別器網絡相匹配,以創建圖像或視頻。) 訓練GANs可能需要10萬張以上的圖像,但論文「利用有限數據訓練生成對抗性網絡」中提出了一種稱為自適應鑑別器增強(ADA)的方法,利用這種方法訓練GAN,可使需要的數據減少10到20倍。

「小型數據集的關鍵問題是:鑑別器會產生過擬合,訓練開始發散,使得生成器的反饋變得毫無意義『論文中這樣描述』通過在多個數據集上進行訓練,結果證明,現在只使用幾千張圖片就可以取得好的結果,而Style GAN2的訓練結果則需要與更少的圖像匹配。」

今年早些時候,來自Adobe Research、MIT和清華大學的研究人員詳細介紹了GANS增強的另一種方法DiffAugment。

英偉達副總裁,圖學研究員David Luebke聲稱,做過實用數據科學的人都知道:大部分時間都用在收集和管理數據上,這通常稱為ETL管道:提取、轉換和加載。

他說:「僅這一項工作就需要大量實地數據科學人員,我們認為這種方法非常有用,因為你無需巨量的數據,也能獲得有用的結果。」 他說:「對於那些沒有大量時間對數據進行標註的數據科學人員來說,這一點變得尤為重要。」 論文的作者認為:減少數據約束可以授權研究人員檢查GANs的新用例。除了創造人或動物的假照片外,研究人員認為GAN可能在醫學成像數據中得到應用。

「如果有一位專門研究某一特定領域的放射科醫生。..。..讓他或她坐下來給你貼上5萬張照片的標籤可能不太現實。..。..但是讓他們貼上1,000張照片的標籤似乎是完全可能的。這的確降低了數據科學家需要投入的數據管理的工作量,從而方便了研究工作,「Luebke說。

在世界上最大的年度AI研究會議——NeurIPS會議上,作為神經信息處理網絡的一部分,本周發表了一篇詳細介紹該方法的論文。

「用有限的數據訓練生成對抗性網絡」並不是唯一與GAN相關的論文。另一篇研究論文介紹了鑑別器驅動的潛在抽樣(DDLS),利用CIFAR-10數據集進行評估時,DDLS提高了GAN的性能。

這篇論文是由MILA魁北克人工智慧研究所和谷歌大腦研究人員合作撰寫,作者包括Yoshua Bengio和Hugo Larochelle,蒙特婁谷歌大腦小組組長,NeurIPS會議常務主席。

責任編輯:lq

 

打開APP閱讀更多精彩內容

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 英偉達創新技術 開創性人工智慧先河
    從數據集中,英偉達開發的人工智慧能夠創建新的圖像,複製原始藝術家的作品,這些圖像可以用來幫助進一步升級人工智慧模型。 人工智慧通過應用一種突破性的神經網絡訓練技術取得了這一重要的成就,這種技術類似於流行的NVIDIA StyleGAN2模型。
  • 單張圖像就可以訓練GAN!Adobe改良圖像生成方法 | 已開源
    而最近,來自Adobe和漢堡大學的研究人員,對這個方法做了改進,探討了幾種讓GAN在單幅圖像提高訓練和生成能力的機制。  研究人員將改進的模型稱作ConSinGAN。  訓練架構優化:並行的SinGAN  首先,我們先來看下SinGAN的訓練過程。  SinGAN在圖像中訓練幾個單獨的生成網絡,下圖便是第一個生成器,也是唯一從隨機噪聲生成圖像的無條件生成器。
  • 英偉達發布「山寨」遊戲創造器,已完美復現《吃豆人》
    但事情總有兩面性,例如DeepMind曾經改造了「史上最強」的BigGAN,讓新的算法去做圖像分類,刷新了ImageNet無監督表徵學習的紀錄。而近日,英偉達研究院創建的強大新AI模型GameGAN也讓四十年前的《吃豆人》遊戲再度重生。用神經網絡支撐的GAN技術創造出逼真的遊戲,英偉達此項工作屬全球首個。
  • 中科院劉斌:基於聯合對抗增強訓練的魯棒性端到端語音識別
    主要研究興趣為魯棒性語音識別、聲紋識別、語音喚醒、對抗學習。把對抗學習應用到魯棒性語音識別中,獲得了ICASSP 2018 最佳學生論文獎,先後參與華為、騰訊、滴滴、學而思等合作項目。報告內容:近年來,端到端系統在語音識別領域取得了重大突破。然而,端到端的結構對於噪聲和混響的幹擾不是特別魯棒,在現實應用中性能顯著降低。為了減輕這個問題,主流的方法是使用語音增強作為語音系統的前端模塊。
  • NVIDIA發布自我學習增強技術!AI以較少影像訓練,可產生越級成果
    使AI以較少影像數量訓練,可產生越級成果NVIDIA Research 將在本周舉辦的神經信息處理系統年會 / NeurIPS 發布一項研究成果,稱為自我調整判別器增強 ADA ( adaptive discriminator augmentation ),能夠以較少的圖像實現越級的影像對抗生成網絡成果
  • 微軟分享史上最大基於Transformer架構的語言生成模型
    基於Transformer的架構,意味著該模型可以生成單詞來完成開放式文本任務。除了完成未完成的句子外,它還可以生成對輸入文檔的問題和摘要的直接答案。去年8月,英偉達曾宣布已訓練世界上最大的基於Transformer的語言模型,當時該模型使用了83億個參數,比BERT大24倍,比OpenAI的GPT-2大5倍。
  • 用2D圖像生成3D模型,微軟新AI模型或成遊戲業福音
    近日,微軟研究院(Microsoft Research)的研究團隊發表了一篇預印論文,他們在論文中詳細介紹了一個新的AI框架,該框架採用「可縮放」訓練技術,可將2D圖像進行3D形狀的模擬生成。研究人員表示,在使用2D圖像進行訓練時,該框架始終可以比現有的模型生成效果更好的3D形狀,這對於遊戲開發、視頻製作、動畫等領域是一個極佳的自動化工具。
  • 數據不夠,Waymo用GAN來湊:用生成圖像在仿真環境中訓練模型
    數據不夠,無人車標杆Waymo決定用GAN來湊。這隻GAN,名叫SurfelGAN,能基於無人車收集到的有限的雷射雷達和攝像頭數據,生成逼真的相機圖像。用GAN生成的數據訓練,還是訓練自動駕駛汽車,這到底靠譜不靠譜?
  • 研究人員應用光學渦旋 證明混合計算機視覺系統的可行性
    而使用深度學習卷積神經網絡(CNN)這種圖象處理算法層的計算機已徹底改變了計算機視覺。(圖片來源:https://techxplore.com/)但CNN通過學習之前訓練過的數據來對圖像進行分類,通常是憑藉記憶或生成刻板印象。
  • 視距內空戰訓練的新手段:美使用增強現實技術生成殲-20戰鬥機
    一、AR訓練技術實用化1. 機載戰術增強現實系統機載戰術增強現實系統(ATARS)由Red 6公司設計,是一種基於頭盔顯示器的系統,向真實的駕駛艙增加增強現實所需的顯示和控制系統,可以在白天和動態情況下以數字方式生成虛擬目標,讓虛擬目標融入真實世界使飛行員可以目視觀察並允許在實時飛行中與目標對抗。
  • Valse 2017 | 生成對抗網絡(GAN)研究年度進展評述
    我們希望輸出分布達到期望分布,那麼我們需要找兩個分布之間差異的度量方式,這是我認為在 GAN 裡面需要研究的第一個關鍵性問題。第二,如何設計生成器。如果我們想要學習映射,就需要一個生成器,那麼就要對它的訓練、可學習性進行設計。這是 GAN 裡面另一個可以研究的角度。第三,連接輸入和輸出。如下圖右邊性別轉換的例子,輸入是一張男性圖像,輸出是一張女性圖像。
  • 「頂會推薦第04期」網絡空間安全領域頂級會議技術成果分析推薦ACM...
    《全部捕獲:使用蜜罐來捕獲神經網絡的對抗性攻擊》(Gotta Catch Em All:Using Honeypots to Catch Adversarial Attacks on Neural Networks)針對的問題:深度神經網絡(DNN)容易受到對抗性攻擊,只要提供經過訓練的模型,就可以修改輸入從而產生錯誤輸出。
  • 深度圖像識別-深層網絡的隱式語義數據擴增 ISDA 方法
    vZVEETC-電子工程專輯本文提出了一種用於訓練深度圖像識別網絡的隱式語義數據擴增(ISDA)算法。ISDA 是高效的,因為它不需要訓練/推斷輔助網絡或顯式地生成額外的訓練樣本。我們的方法是由最近的工作所做的有趣的觀察所驅動的,這些觀察表明網絡中的深層特徵通常是線性化的[9,10]。
  • GAN版馬裡奧創作家來了:一個樣本即可訓練,生成關卡要素豐富
    為此,研究人員提出了一種保留重要token的下採樣方法。具體步驟如下:首先,在單樣本編碼的訓練關卡上,使用雙線性下採樣來創建所選尺寸的基礎關卡。針對每個尺寸中的每個像素,選擇值大於0的token。並從該列表中,保留層次結構中等級最高的token,將其餘token設置為0。
  • 日本研究員提出基於生成對抗網絡的Iconify模型!
    為解決設計師的這一痛點,來自於日本九州大學和電氣通信大學的研究人員提出了基於生成對抗網絡的Iconify模型,可以將輸入的圖像轉換為較為形象簡潔的圖標,為圖標生成和構建提出了新的可行方向。研究人員將圖標生成任務視為在照片和圖標間實現域遷移的生成任務。由於沒有對應的配對數據集,研究人員採用了基於CycleGan和UNIT等方法來構建模型,學習出從圖像到圖標的圖標化能力。
  • 谷歌新研究:基於數據共享的神經網絡快速訓練方法
    本文應用數據共享和並行流水線的思想,在一個數據讀入和預處理周期內多次重複使用上一次讀入的數據進行訓練,有效降低模型達到相同效果所需的總 epoch 次數,在算法層面實現對訓練過程的加速。網絡訓練的另一個瓶頸網絡訓練速度的提升對神經網絡的發展至關重要。過去的研究著重於如何在 GPU 和更專業的硬體設備上進行矩陣和張量的相關運算,從而代替 CPU 進行網絡訓練。
  • 研究人員找到了一種更好的設計金屬合金的方法
    麻省理工學院的研究人員將計算機模擬和機器學習過程相結合,可對金屬混合後的特性進行預測,從而指導開發新的合金。發表在《Nature Communications》雜誌上論文,對這一方法進行了詳細描述。在某些情況下,沿晶界的原子團聚是一種理想的特性,可以提高金屬的硬度和抗腐蝕能力,但有時也會導致脆化。根據合金的預期用途,工程師們會嘗試優化各種特性的組合。在這項研究中,研究小組根據文獻中已經基本描述的組合,研究了200多種基本金屬和合金金屬的不同組合。然後,研究人員系統地模擬了其中一些化合物,以研究它們的晶界配置。
  • 英偉達聯合MIT用AI為圖片降噪,推出深度學習系統Noise2Noise
    【獵雲網(微信號:)】7月11日報導 (編譯:Henry)英偉達、麻省理工學院和阿爾託大學的研究人員正在嘗試利用人工智慧(AI)來消除圖像噪點。該團隊使用來自ImageNet數據集的50000張圖像來訓練其AI系統以重建照片,並且該系統甚至能夠在沒有引用原圖的情況下,去除圖像中的噪點。這個被稱為Noise2Noise的AI系統是基於深度學習算法創建的,並且已利用ImageNet數據集提供的50000張圖片進行了強化鍛鍊。每一張訓練圖片都是由清晰的高質量原圖上隨機地加上噪點而創建的。
  • NeurlPS2020|訓練數據嚴重不足,我的GAN也不會涼涼了!
    ,僅靠千張圖片,即可訓練出強大的GAN網絡,下面我們就來一探究竟。 近日,Nivida的研究人員研發出了一種被稱為自適應鑑別器增強(ADA, Adaptive Discriminator Augmentation)的方法,直接將訓練數據量減少10到20倍,此研究成果已經被發布在《用有限數據訓練生成對抗網絡(Training Generative Adversarial Networks with Limited Data》這篇論文中
  • NVIDIA利用嵌入式AI視覺自動生成遊戲關卡
    英偉達表示,這樣的工作表明了未來人工智慧將如何用於遊戲設計。開發人員可以將其工作輸入到AI中,並使用它來創建變體或設計新關卡。 Nvidia多倫多研究實驗室主任Sanja Fidler對記者說:「您可以使用它來將不同的遊戲融合在一起,通過不同的遊戲玩法組合賦予開發商更多的能力。」