今日Paper|小樣本學習;視覺情感分類;神經架構搜索;自然圖像摳像等

2020-12-08 雷鋒網

為了幫助各位學術青年更好地學習前沿研究成果和技術,AI 研習社重磅推出【今日 Paper】欄目,每天都為你精選關於人工智慧的前沿學術論文供你學習參考。以下是今日的精選內容——

目錄

基於深度學習的步行者慣性導航:方法、數據集和設備推理用於視覺情感分類的多源域自適應用多尺度自監督表徵提高小樣本學習的表現在神經架構搜索裡使用權值共享真的有效、可靠嗎?通過引導的上下文注意進行自然圖像摳像

基於深度學習的步行者慣性導航:方法、數據集和設備推理

論文名稱:Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

作者:Chen Changhao /Zhao Peijun /Lu Chris Xiaoxuan /Wang Wei /Markham Andrew /Trigoni Niki

發表時間:2020/1/13

論文連結:https://paper.yanxishe.com/review/8987?from=leiphonecolumn_paperreview0117

推薦原因:這篇論文嘗試將深度學習進一步應用於慣性導航研究中。

慣性測量單元被廣泛部署在智能設備和移動機器人上。在新興的物聯網中,利用慣性數據獲得準確可靠的行人導航支持是一項重要的服務。近年來,運用深度神經網絡處理動作感知和坐標估計逐漸變得流行。但是,缺乏足夠標註數據來訓練和評估基線模型成為這一應用的限制。這篇論文的貢獻是提出了一個名為Oxford Inertial Odometry Dataset(OxIOD)的新數據集,即首個用於深度學習慣性導航研究的數據集,在每條序列中都有微調好的標註信息。進一步,為了在邊緣計算上保證更高效的推理,這篇論文還提出一個新的輕量級框架,從原始的IMU數據上學習和重構行人軌跡。實驗表明所提數據集與方法能夠在資源受限的設備上獲得精準的行人慣性導航信息。

用於視覺情感分類的多源域自適應

論文名稱:Multi-source Domain Adaptation for Visual Sentiment Classification

作者:Lin Chuang /Zhao Sicheng /Meng Lei /Chua Tat-Seng

發表時間:2020/1/12

論文連結:https://paper.yanxishe.com/review/8988?from=leiphonecolumn_paperreview0117

這篇論文考慮的是視覺情感分類問題。

視覺情感分類任務的現有域自適應方法通常是針對單源場景。在這種場景中,模型從充分標註好的源領域數據學習完畢後,遷移到只有較寬鬆標註或無標註數據的目標領域。不過在實踐中,從單一源領域來的數據通常容量有限,很難覆蓋目標領域的全部特徵。為了解決這個問題,這篇論文提出了一個新的名為多源情感生成對抗網絡的多源域自適應方法,用於處理視覺情感分類。為了處理來自多個源域的數據,新模型通過端到端的循環一致對抗學習,學習如何找到一個統一的情感潛在空間,在該空間來自源域和目標域的數據共享相似的分布。在四個基準數據集上的實驗證明,在情感分類任務上,這篇論文提出的新模型顯著優於目前的最佳模型。

用多尺度自監督表徵提高小樣本學習的表現

論文名稱:Few-shot Learning with Multi-scale Self-supervision

作者:Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

發表時間:2020/1/6

論文連結:https://paper.yanxishe.com/review/9112?from=leiphonecolumn_paperreview0117

推薦原因

從深度學習流行以來,需要大量數據的這一特點就經常被指責,更有人指出人類的智慧只需要幾個甚至一個樣本就可以學會某個任務或者某種概念 —— 這就是小樣本學習,有許多研究人員就在這個方向做著努力。近期,「二階池化」(second-order pooling)的方法在小樣本學習中發揮了很好的效果,主要是因為其中的聚合操作不需要對CNN網絡做修改就可以處理各種不同的圖像解析度,同時還能找到有代表性的共同特徵。

不過,學習每張圖像的時候只使用一種解析度不是最優的方法(即便整個數據集中所有圖像的解析度都各自不同),因為每張圖像中的內容相比於整張圖像的粒度粗細不是固定不變的,實際上這受到內容本身和圖像標籤的共同影響,比如,常見的大類物體的分類更依賴整體外觀形狀,而細粒度的物體分類更多依賴圖像中局部的紋理模式。也所以,圖像去模糊、超解析度、目標識別等任務中都已經引入了多尺度表徵的概念,用來更好地處理不同分類粒度。

這篇論文裡作者們就嘗試了在小樣本學習中引入多尺度表徵。他們主要需要克服的困難是,要避免多尺度表徵把標準方法的使用變得過於複雜。他們的方法是,在二階池化的屬性的基礎上設計一個新型的多尺度關係網絡,用來在小樣本學習中預測圖像關係。作者們也設計了一系列方法優化模型的表現。最終,他們在幾個小樣本學習數據集上都刷新了最好成績。

在神經架構搜索裡使用權值共享真的有效、可靠嗎?

論文名稱:Deeper Insights into Weight Sharing in Neural Architecture Search

作者:Zhang Yuge /Lin Zejun /Jiang Junyang /Zhang Quanlu /Wang Yujing /Xue Hui /Zhang Chen /Yang Yaming

發表時間:2020/1/6

論文連結:https://paper.yanxishe.com/review/9111?from=leiphonecolumn_paperreview0117

推薦原因

神經網絡架構搜索(NAS)是讓深度學習自動化、在指定任務上獲得最佳模型的一個好辦法。但NAS的問題也很明顯,模型結構需要迭代更新,每個更新出的結構還需要經過訓練才能了解表現如何,所以從頭開始做NAS非常消耗能源和時間。

近期有一些研究用權值共享的方式,節省了評估結構表現的時間;具體來說,權重共享是首先獲得一個大網絡的所有權值,然後對於在大網絡基礎上簡化出的小網絡,就直接使用對應的權值。但是這種做法是沒有經過嚴謹的理論證明的,實際使用中的影響也還沒有得到完善的研究。

這篇論文就對現有的權值共享方法做了詳細的實驗研究,作者們發現,1,來源稍有區別的模型之間可以有巨大的表現差別;2,即便子網絡之間的表現有很大差別,訓練那個大網絡也很有價值;3,不同子模型之間的幹擾是造成表現區別的重要原因;4,適當降低權值共享的程度可以有效降低表現波動、提高表現

通過引導的上下文注意進行自然圖像摳像

論文名稱:Natural Image Matting via Guided Contextual Attention

作者:Li Yaoyi /Lu Hongtao

發表時間:2020/1/13

論文連結:https://paper.yanxishe.com/review/8989?from=leiphonecolumn_paperreview0117

推薦原因

這篇論文考慮的是自然圖像摳像的問題。

基於深度學習的方法在自然圖像摳像(natural image matting)方面取得顯著進步。受基於親和力方法與上下文注意力機制的成功啟發,這篇論文開發了一種新的使用指引的上下文注意力模塊的端到端方法。指引上下文注意力模塊會根據學習到的低級關聯信息,直接在全局範圍內傳播高級不透明信息。新方法可以模仿基於親和力方法的信息流,並同時利用深度神經網絡學到的豐富特徵。在Composition-1k測試集和Alphamatting.com基準數據集上的實驗結果表明,這篇論文提出的新方法在自然圖像摳像方面優於之前的最新方法。

論文作者團隊招募

為了更好地服務廣大 AI 青年,AI 研習社正式推出全新「論文」版塊,希望以論文作為聚合 AI 學生青年的「興趣點」,通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地,也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你,可以加入我們的論文作者團隊。

入論文作者團隊你可以獲得

1.署著你名字的文章,將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要:

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊,可以添加運營小姐姐的微,備註「論文兼職作者」

雷鋒網雷鋒網雷鋒網

相關焦點

  • 今日Paper | 可視問答模型;神經風格差異轉移;圖像壓縮系統 ;K-SVD...
    為了驗證AI的推理能力,視覺問答(Visual Question Answering,VQA)被用作一種視覺圖靈測試。現有VQA模型的關鍵是將圖像的視覺特徵與給定問題的語義特徵相結合而學習到聯合嵌入。大量的研究聚焦於利用視覺注意力機制來設計複雜的聯合嵌入策略,以有效捕捉視覺與語義間的交互作用。
  • 今日Paper | 多人姿勢估計;對話框語義分析;無監督語義分析;自然...
    創新點:為了解剛才所提出的問題,本論文提出了一種新的動態神經網絡語義分析框架,應用了一種弱監督的獎勵引導搜索。研究意義:通過這種方式來搭建的網絡模型,可以完成精確的回答(是在作者們自己收集的數據中)。
  • 今日Paper | 模態平衡模型;組合語義分析;高表達性SQL查詢;多人...
    因此這篇論文鼓勵維護兩個模型,即僅圖像模型和圖像-歷史聯合模型,並將它們的互補能力結合起來以形成更平衡的多峰模型。這篇論文通過集成和共有參數的共識落差融合,提出了兩種方法用於這兩個模型的集成,並且在2019年視覺對話挑戰賽上取得了出色的成績。
  • 今日Paper | 小樣本學習;機器學習;單幅圖像去霧 ;零樣本目標檢測等
    from=leiphonecolumn_paperreview0212推薦原因這篇論文研究的是小樣本學習,也就是如何在每個類別只有幾個、甚至一個樣本的情況下學習如何分類。現有的基於指標的小樣本分類算法,都是通過一個學習到的指標函數,把要預測的樣本的特徵嵌入和給定的樣本進行對比。
  • 今日Paper|神經網絡結構搜索;視覺目標;人物識別;視頻3D人體姿態...
    目錄基於進化算法和權值共享的神經網絡結構搜索檢測視頻中關注的視覺目標包含狀態信息的弱監督學習方法進行人物識別基於解剖學感知的視頻3D人體姿態估計RandLA-Netfrom=leiphonecolumn_paperreview0312推薦原因本文為2020CVPR的文章,是國內華為公司的一篇paper。本文的主要工作是為了優化進化算法在神經網絡結構搜索時候選網絡訓練過長的問題,作者參考了ENAS和NSGA-III。
  • CVPR 2019 神經網絡架構搜索進展綜述
    這種智能體通常是用循環神經網絡實現的,它的目標是尋找能夠獲得更高收益的神經架構。其他的搜索算法還包括基於梯度的優化(所有可能的架構組成一個巨大的圖,每條邊有一個可學習的實值,代表每個block被使用的概率)、貝葉斯優化(搜索空間由某種啟發函數貫穿,這種啟發函數可以是用於預測採樣模型準度的代理損失函數)等等。
  • 「合併」 樣本和標籤? IBM 為多標籤小樣本圖像分類帶來新進展!|...
    ,每個訓練圖像只包含一個對象,然而現實中的場景中以多對象多標籤居多,因此對於多標籤小樣本的圖像分類研究更 具現實意義。IBM 的研究人員對多標籤小樣本的圖像分類進行了研究,並在 CVPR 2019 大會上進行了論文分享,相關成果發表在 IBM 官網博客上,雷鋒網 AI 科技評論編譯如下。當我們將人工智慧和機器學習擴展到面向企業和工業界應用的更廣泛的任務集時,從更少的數據集中學到更多是必要的。數據增強是一個重要的工具,特別是在沒有足夠的訓練數據的情況下,它通過自動合成新的訓練樣本來改進學習。小
  • 今日Paper|視覺目標;聯合學習;面部反欺;在元學習等
    目錄CVPR 2020 | 檢測視頻中關注的視覺目標CVPR 2020 | D3Feat:密集檢測和3D局部特徵描述的聯合學習CVPR 2020 | 搜索中央差分卷積網絡以進行面部反欺模型的密度估計能力、序列生成能力、BLEU分數之間到底是什麼關係在元學習和具體任務的學習之間尋找平衡CVPR
  • 神經架構搜索(NAS)越來越高效,但遠遠不夠!
    神經架構搜索的重要性首先大家需要了解的是,僅有單個隱藏層和非線性激活函數的神經網絡,在該層有足夠多神經元的情況下(即萬能近似定理,UAT),是能夠表示任意函數的。然而,這種簡單的架構,雖然理論上能夠學習任意函數,但是並不能表示出現在人類視覺皮層的分層過程。
  • 今日Paper | 新聞推薦系統;多路編碼;知識增強型預訓練模型等
    from=leiphonecolumn_paperreview0118從深度學習流行以來,需要大量數據的這一特點就經常被指責,更有人指出人類的智慧只需要幾個甚至一個樣本就可以學會某個任務或者某種概念 —— 這就是小樣本學習,有許多研究人員就在這個方向做著努力。
  • 深度學習變革視覺實例搜索
    研究興趣為深度學習與計算機視覺。曾獲2015年首屆阿里巴巴大規模圖像搜索大賽二等獎,總排名第三名。摘要近些年,深度學習在各種計算機視覺任務上都取得了重大的突破,其中一個重要因素就是其強大的非線性表示能力,能夠理解圖像更深層次的信息。本文對基於深度學習的視覺實例搜索方法做了簡單的總結和概括,希望能給讀者們帶來啟發。
  • 什麼是神經網絡架構搜索?
    深度學習提供了這樣一種承諾:它可以繞過手動特徵工程的流程,通過端對端的方式聯合學習中間表徵與統計模型。 然而,神經網絡架構本身通常由專家以艱苦的、一事一議的方式臨時設計出來。 神經網絡架構搜索(NAS)被譽為一條減輕痛苦之路,它可以自動識別哪些網絡優於手工設計的網絡。
  • 深度神經網絡中的對抗樣本與學習7篇文章
    攻擊者的目標是找到一個小的、不可察覺擾動的現有圖像,以強制分類器去錯誤分類,而同個圖像仍能被人類正確分類。用於產生對抗圖像的先前技術依賴於對完整訓練集的訪問和網絡中的隱藏權重。在每種情況下,訓練數據被上傳到服務,該服務學習分類器。然後使用替代網絡技術來找到愚弄分類器的樣本。對MNIST的測試精度達到92.17%的亞馬遜分類器可能被96.19%的對抗樣本所欺騙;在MNIST上獲得了92%的測試準確性的Google分類器,可能被88.94%的對抗樣本所欺騙。基於梯度掩蔽的防禦對抗替換攻擊而言不是有效。
  • 【深度神經網絡 One-shot Learning】孿生網絡少樣本精準分類
    本文將介紹 One-shot Learning,描述單樣本分類問題的基準,結合一個實例(包括實現代碼),還指出了一些大家通常不會想到的小點子。好好學習吧~傳統觀點一般認為,深度神經網絡通常比較擅長從高維數據中學習,例如圖像或者語言,但這是建立在它們有大量標記的樣本來訓練的情況下。
  • 雞生蛋與蛋生雞,縱覽神經架構搜索方法
    從谷歌漸進式的架構搜索到 CMU 的可微架構搜索,利用神經網絡自動搭建不同的神經網絡架構已經受到廣泛的關注。最近弗萊堡大學的研究者發表了一篇論文縱覽不同的神經架構搜索方法,他們從神經網絡的搜索空間、搜索策略以及性能評估策略等三個方向探討了不同的思路與方法。
  • 谷歌大腦重磅研究:神經結構搜索發現全新特徵金字塔架構,超越Mask...
    設計搜索空間,生成特徵表示學習視覺特徵表示是計算機視覺中的一個基本問題。近年來,針對圖像分類和目標檢測的深度卷積網絡(ConvNets)模型架構的設計取得了很大進展。與預測圖像類別概率的圖像分類任務不同,目標檢測有其自身的挑戰,即在多種尺度和位置上檢測和定位多個對象。
  • 【學術論文】基於深度學習的圖像分類搜索系統
    圖像分類是根據圖像的信息將不同類別的圖像區分開來,是計算機視覺中重要的基本問題,也是圖像檢測、圖像分割、物體跟蹤、行為分析等其他高層視覺任務的基礎
  • 零基礎入門深度學習(六):圖像分類任務之LeNet和AlexNet
    從本課程中,你將學習到:深度學習基礎知識numpy實現神經網絡構建和梯度下降算法計算機視覺領域主要方向的原理、實踐自然語言處理領域主要方向的原理、實踐>個性化推薦算法的原理、實踐本周為開講第四周,百度深度學習技術平臺部資深研發工程師孫高峰,開始講解計算機視覺中圖像分類任務。
  • 今日Paper|從純圖像重建世界;層次遞歸網絡序列;注意力神經網絡...
    更好的物體表徵,更好地從純圖像重建世界層次遞歸網絡序列標註的轉移學習論文名稱:TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS
  • 今日Paper|人臉數據隱私;神經符號推理;深度學習聊天機器人等
    為了幫助各位學術青年更好地學習前沿研究成果和技術,AI科技評論聯合Paper 研習社(paper.yanxishe.com),推出【今日 Paper】欄目, 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。