今日Paper|小樣本學習;機器學習;單幅圖像去霧;零樣本目標檢測等

2020-12-05 雷鋒網

目錄

提高小樣本學習對全新分類的識別能力 機器學習的「學習如何遺忘」複雜城市背後簡單的空間尺度規則FD-GAN：具有融合鑑別器的生成對抗網絡用於單幅圖像去霧 GTNet：用於零樣本目標檢測的生成遷移網絡

提高小樣本學習對全新分類的識別能力

論文名稱：Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation

作者：Hung-Yu Tseng /Hsin-Ying Lee /Jia-Bin Huang /Ming-Hsuan Yang

發表時間：2019/9/26

論文連結：https://paper.yanxishe.com/review/10295?from=leiphonecolumn_paperreview0212

推薦原因

這篇論文研究的是小樣本學習，也就是如何在每個類別只有幾個、甚至一個樣本的情況下學習如何分類。現有的基於指標的小樣本分類算法，都是通過一個學習到的指標函數，把要預測的樣本的特徵嵌入和給定的樣本進行對比。雖然這些方法已經展示出了可喜的效果，但由於不同類別的特徵分布有很大的差異，所以這樣的方法並不能很好地分辨來自新的分類（與給定的樣本不同的分類）的樣本。

在這篇論文中，作者們在基於指標的方法基礎上又加入了領域遷移的思路，他們用特徵級別的變換層+仿形變換來增強圖像特徵，作用是在訓練過程中模擬不同領域的不同特徵分布。作者們還設計了一個「學習如何學習」的模塊，為變換層學習超參數。作者們的大量實驗表明他們的方法可以作用於各種各樣的基於指標的方法，並帶來穩定的表現提高。

機器學習的「學習如何遺忘」

論文名稱：Machine Unlearning

作者：Bourtoule Lucas /Chandrasekaran Varun /Choquette-Choo Christopher /Jia Hengrui /Travers Adelin /Zhang Baiwu /Lie David /Papernot Nicolas

發表時間：2019/12/9

論文連結：

https://paper.yanxishe.com/review/10275?from=leiphonecolumn_paperreview0212

推薦原因

假設你用一百萬條數據訓練了一個機器學習模型，然後數據提供方有一天突然告訴你，其中有幾條數據是有問題的、或者現在不允許使用了，現在要把這幾條數據對模型的影響取消掉。除了從頭訓練一個新模型，還有什麼辦法嗎？這個問題就是機器學習的「反學習」，Machine Unlearning，「學習如何遺忘」。

在傳統搜索中，想刪除某條數據很容易；但在機器學習模型中，數據會被模型記住，存在被攻擊者還原、獲取的風險；即便採用一些保護方式，數據的影響也成為了模型參數的一部分，難以單獨解耦，從而難以單獨消除。所以想要刪除數據，常見做法基本上只能是重新訓練模型。

在這篇論文中，作者們提出了一種新的訓練框架來解決這個問題。他們的方法可以減少受到刪除數據影響的參數的數量，而且會對訓練算法中間階段的輸出做一些緩存，以減少遺忘這些數據的過程中對整個模型的更新次數。依靠這樣的設計，他們的方法減少了數據遺忘過程中的計算開銷，即便在最差情況下也有效。如果用戶能夠提供先驗，他們的方法還能獲得更好的效果。作者們的這項研究能對機器學習模型實際應用中的數據治理起到幫助。

複雜城市背後簡單的空間尺度規則

論文名稱：Simple spatial scaling rules behind complex cities

作者：Ruiqi Li /LeiDong /JiangZhang /Xinran Wang /WenXu Wang /Zengru Di /H.Eugene Stanley

發表時間：2017/11/28

論文連結：https://paper.yanxishe.com/review/10274?from=leiphonecolumn_paperreview0212

推薦原因

文章通過一個基於空間吸引和匹配生長機制的簡單模型，提供一個普遍的超線性和亞線性總體尺度律的起源的一般性解釋，並準確地預測千米級的社會經濟活動。為從城市元素之間的相互作用的角度揭示城市的演變開闢了一條新的途徑，有著廣泛的應用

FD-GAN：具有融合鑑別器的生成對抗網絡用於單幅圖像去霧

論文名稱：FD-GAN: Generative Adversarial Networks with Fusion-discriminator for Single Image Dehazing

作者：Dong Yu /Liu Yihao /Zhang He /Chen Shifeng /Qiao Yu

發表時間：2020/1/20

論文連結：https://paper.yanxishe.com/review/9629?from=leiphonecolumn_paperreview0212

推薦原因

這篇論文被AAAI 2020接收，考慮的是圖像去霧問題。

大部分現有的基於學習的圖像去霧方法並非完全端到端的，而是遵循傳統的去霧步驟：首先評估傳輸介質和大氣光線，隨後恢復基於大氣散射模型的無霧圖像。但是在實踐中，由於缺乏先驗信息和約束條件，很難精準估計出中間參數，而不精確的估計則削弱了去霧的效果，結果導致偽影、色彩失真和霧霾去除效果不足。為解決這些問題，這篇論文提出一個完全端到端的具有融合判別器的生成對抗網絡（Generative Adversarial Networks with Fusion-discriminator，FD-GAN）進行圖像去霧。FD-GAN將頻率信息作為附加先驗知識，以生成更自然、逼真的除霧圖像。進一步，這篇論文合成大尺寸訓練數據，包含不同的室內與戶外霧化圖，以促進模型表現。實驗表明，FD-GAN在公共合成數據集和真實世界圖像上均達到了當前最佳的性能。

GTNet：用於零樣本目標檢測的生成遷移網絡

論文名稱：GTNet: Generative Transfer Network for Zero-Shot Object Detection

作者：Zhao Shizhen /Gao Changxin /Shao Yuanjie /Li Lerenhan /Yu Changqian /Ji Zhong /Sang Nong

發表時間：2020/1/19

論文連結：https://paper.yanxishe.com/review/9628?from=leiphonecolumn_paperreview0212

推薦原因

這篇論文提出了一種生成遷移網絡（Generative Transfer Network，GTNet）來用於零樣本目標檢測。GTNet包含一個目標檢測模塊和一個知識遷移模塊。前者可學習大量已知領域知識，而後者利用合成的特徵來生成未知類型的特徵，這些特徵則被用於訓練目標檢測模塊中新的分類層。為了使用類內方差和IoU方差為每個未知類合成特徵，這篇論文設計了一個基於IoU的生成對抗網絡IoUGAN作為特徵合成器，包含三個單元模型：類特徵生成單元，前景特徵生成單元和背景特徵生成單元。類特徵生成單元利用以類語義嵌入為條件的類內方差信息生成位置特徵，前景特徵生成單元和背景特徵生成單元將IoU方差加入到類特徵生成單元的結果中，分別得到指定類前景與背景特徵。在公共數據集上的評估表明這篇論文提出的GTNet優於當前最佳的零樣本目標檢測方法。

論文作者團隊招募

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

雷鋒網雷鋒網雷鋒網

相關焦點

  • 今日Paper | 梯度剪切;命名實體識別;自然語言處理;免強度函數學習...
    ：今日 Paper | 小樣本學習；機器學習；單幅圖像去霧 ；零樣本目標檢測等今日 Paper | 可視問答模型；神經風格差異轉移；圖像壓縮系統 ；K-SVD圖像去噪等今日 Paper | 依賴性解析器；DNNs對圖像損壞；高效人臉特徵學習 ；虛擬試穿統一框架等今日 Paper | 模態平衡模型；組合語義分析；高表達性SQL
  • CVPR 2019提前看:少樣本學習專題
    近兩年來我們注意到學界開始改變之前大數據好效果的模型訓練方式，關注用少量的數據來達到較好的任務表現，目前此類方法還處在學界探索實驗階段，在業界運用還不算普及（由於業界產品對模型精確度有比較高的要求，且大多針對的都是特定業務細分場景），然而該方向『小數據學好模型』的思想對之後的機器學習研究和應用都具有非常好的前景以及應用潛力，所以筆者今年挑了四篇思路和方法都比較新穎，同時結果也具有說服力的少樣本學習的文章進行了比較細緻的引讀和推薦
  • 「合併」樣本和標籤?IBM 為多標籤小樣本圖像分類帶來新進展!|CVPR...
    雷鋒網 AI 科技評論按：目前大多數關於圖像小樣本分類的研究工作都是研究單標籤場景，每個訓練圖像只包含一個對象，然而現實中的場景中以多對象多標籤居多，因此對於多標籤小樣本的圖像分類研究更 具現實意義。IBM 的研究人員對多標籤小樣本的圖像分類進行了研究，並在 CVPR 2019 大會上進行了論文分享，相關成果發表在 IBM 官網博客上，雷鋒網 AI 科技評論編譯如下。當我們將人工智慧和機器學習擴展到面向企業和工業界應用的更廣泛的任務集時，從更少的數據集中學到更多是必要的。數據增強是一個重要的工具，特別是在沒有足夠的訓練數據的情況下，它通過自動合成新的訓練樣本來改進學習。
  • 圖像樣本不夠用?元學習幫你解決
    從那時起，由於計算能力的不斷提高和機器學習社區的巨大努力，深度學習算法在與計算機視覺相關的任務上從未停止過提高它們的性能。2015年，何凱明和他在微軟的團隊報告說，他們的模型在對來自 ImageNet 的圖像進行分類時表現優於人類。在那時候，有人可能會說，計算機在利用數十億圖像來解決特定任務方面變得比我們更強。歡呼！
  • 小樣本學習(Few-shot Learning)綜述
    問題定義人類非常擅長通過極少量的樣本識別一個新物體，比如小孩子只需要書中的一些圖片就可以認識什麼是「斑馬」，什麼是「犀牛」。在人類的快速學習能力的啟發下，研究人員希望機器學習模型在學習了一定類別的大量數據後，對於新的類別，只需要少量的樣本就能快速學習，這就是 Few-shot Learning 要解決的問題。
  • 談談實現小樣本學習的兩條路徑
    小樣本學習是當下機器學習界的一個核心課題。大數據是當下深度學習的咽喉，面臨收集成本昂貴，甚至根本無法採集的弊端， 小樣本學習的實踐價值不言而喻。對於眾多產業來說， 真正能夠收集到大量樣本的是極少數情況，比如人臉識別，網際網路上的文本等。而更廣大的行業， 數據本身收集就很難，一些隱私倫理等障礙難以跨越，比收集數據更難的還有標註，大數據支撐的機器學習基本使用無望。
  • 今日Paper|虛假新聞檢測;馬爾可夫決策過程;場景文本識別;博弈論...
    為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。
  • CVPR 2018 最前沿:讓神經網絡學習比較來實現少樣本學習
    這個方法非常簡單通用，但是效果很不錯，在少樣本學習及零樣本學習的幾個基準數據集上都取得了相當好的結果。下面，我們就來好好聊聊這篇 paper。2. 為什麼有這個 idea？一般我們在 paper 中，並不會探討這個問題，就是這個 idea 是怎麼產生的。
  • 今日Paper | 問答系統;3D人體形狀和姿勢;面部偽造檢測;AdderNet等
    ，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。以，作者提出了一種連續的機器學習形式，作為變化和微分積分方程的一個問題。
  • 清華朱軍團隊包攬三項冠軍 | NIPS 2017對抗樣本攻防競賽總結(附學習資料)
    所謂對抗樣本，就是對輸入數據進行略微修改，以使得機器學習算法對該輸入給出錯誤的分類結果。在很多情況下，這些修改非常細微，人類觀察者甚至根本不會注意到這些修改，但是分類器卻會因此犯錯誤。對抗樣本攻擊對目前的機器學習系統提出了挑戰，因為即使攻擊者無法訪問基礎模型，也能對機器學習系統發起攻擊。
  • ...CVPR 2020 論文推薦:元轉移學習;ABCNet;動態圖像檢索;點雲分類...
    目錄12-in-1: 多任務視覺和語言表示學習CVPR 2020 | 用於零樣本超解析度的元轉移學習CVPR 2020 | ABCNet：基於自適應Bezier-Curve網絡的實時場景文本定位CVPR
  • CVPR 2018:阿里提出新零樣本學習方法,有效解決偏置問題
    論文地址：http://arxiv.org/abs/1803.11320 大多數現有的零樣本學習（Zero-Shot Learning，ZSL）方法都存在強偏問題：訓練階段看不見（目標）類的實例在測試時往往被歸類為所看到的（源）類之一。因此，在廣義ZSL設置中部署後，它們的性能很差。在本文，我們提出了一個簡單而有效的方法，稱為準完全監督學習（QFSL），來緩解此問題。
  • 《基於單幅圖像的快速去霧》原理與C++復現(有一定工程意義)
    前言今天為大家帶來一篇之前看到的用於單幅圖像去霧的算法，作者來自清華大學，論文原文見附錄。2. 霧天退化模型在計算機視覺領域，通常使用霧天圖像退化模型來描述霧霾等惡劣天氣條件對圖像造成的影響，該模型是McCartney首先提出。該模型包括衰減模型和環境光模型兩部分。
  • 你真的懂對抗樣本嗎?一文重新思考對抗樣本背後的含義
    怎樣才能確保生成的對抗樣本符合這樣的定義？本文深入解析了對抗樣本背後的數學定義，並幫助讀者重新理解對抗樣本的定義。對抗樣本是各種機器學習系統需要克服的一大障礙。對抗樣本的存在表明模型傾向於依賴不可靠的特徵來最大化性能，如果特徵受到幹擾，那麼將造成模型誤分類，可能導致災難性的後果。
  • 增量學習不只有finetune,三星AI提增量式少樣本目標檢測算法|CVPR...
    的基礎上，採用基於特徵的知識遷移策略，將網絡分成類可知和類不可知模塊進行增量式少樣本學習。首先使用基類訓練一個通用的特徵提取器，然後基於meta-learning學習class code生成器，最後通過結合特徵和class code進行目標定位。
  • 清華大學團隊包攬三項冠軍,NIPS 2017對抗樣本攻防競賽總結
    所謂對抗樣本，就是對輸入數據進行略微修改，以使得機器學習算法對該輸入給出錯誤的分類結果。在很多情況下，這些修改非常細微，人類觀察者甚至根本不會注意到這些修改，但是分類器卻會因此犯錯誤。對抗樣本攻擊對目前的機器學習系統提出了挑戰，因為即使攻擊者無法訪問基礎模型，也能對機器學習系統發起攻擊。
  • 專訪| 對抗樣本攻防戰,清華大學TSAIL團隊再獲CAAD攻防賽第一
    對抗攻擊對抗樣本是指攻擊者通過向真實樣本中添加人眼不可見的噪聲，導致深度學習模型發生預測錯誤的樣本，如下圖所示給定一張熊貓的圖像，攻擊方給圖片添加了微小的噪聲擾亂，儘管人眼是很難區分的，但是模型卻以非常高的概率將其誤分類為長臂猿。
  • 沒有大數據,這7種小樣本數據同樣潛力無窮
    全文共2581字，預計學習時長5分鐘人們常說，大數據是打造成功機器學習項目的關鍵。但主要的問題在於：很多機構沒有你想要的數據。在沒有大數據這一關鍵原材料的情況下，我們該如何將機器學習的想法製成原型，使其產生實效呢？我們又該如何用有限的數據來源，有效獲取和創造價值呢？功能性原型(functional prototype)是一種辦法。
  • 若DL沒了獨立同分布假設,樣本不獨立的機器學習方法綜述
    但對於某些應用場景，基於現有的機器學習算法和框架，使用 Non-IID 數據訓練會出現意想不到的負面效果，比如模型準確度低、模型無法收斂等。比較常見的需要處理 Non-IID 數據問題的應用場景包括：異常檢測（Outlier Detection）。
  • 機器不學習:生成對抗網絡-NIPS 2017對抗樣本攻防賽冠軍算法分享
    對抗樣本是一類被惡意設計來攻擊機器學習模型的樣本。它們與真實樣本的區別幾乎無法用肉眼分辨，但是卻會導致模型進行錯誤的判斷。對抗樣本的存在會使得深度學習在安全敏感性領域的應用收到威脅，如何對其進行有效的防禦是重要的研究課題。我們提出了動量迭代快速符號化梯度法和高層引導去躁算法，分別應用於對抗樣本的攻擊和防禦，取得了NIPS 2017對抗樣本比賽的冠軍。