今日Paper | MaskGAN;深度人臉識別;人體姿態估計;妝容遷移等

2020-12-16 雷鋒網

CurricularFace: 深度人臉識別的適應性課程學習損失

MaskGAN：多樣和交互的面部圖像操作

結合檢測和跟蹤的視頻人體姿態估計

通過解糾纏表示的局部面部妝容遷移

基於自動生成的訓練數據進行大規模事件抽取學習

  CurricularFace: 深度人臉識別的適應性課程學習損失

論文名稱：CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition

作者：Huang Yuge /Wang Yuhan /Tai Ying /Liu Xiaoming /Shen Pengcheng /Li Shaoxin /Li Jilin /Huang Feiyue

發表時間：2020/4/1

論文連結：https://paper.yanxishe.com/review/15951?from=leiphonecolumn_paperreview0414

推薦原因

這是騰訊優圖入選CVPR 2020的論文，考慮的是人臉識別的問題。

在人臉識別中，設計基於邊際的損失函數可以增加不同類別之間的特徵邊界，以增強可分辨性。這篇論文提出了一種新的自適應課程學習損失（Adaptive Curriculum Learning Loss，CurricularFace）策略，將課程學習的思想嵌入到損失函數中，從而實現一種用於深層人臉識別的新訓練策略，該策略主要針對早期訓練階段中的簡單樣本和困難樣本。CurricularFace在不同的訓練階段自適應地調整了簡單樣本和硬樣本的相對權重。在每個階段，根據不同難度將不同樣本分配給不同重要性，從而在實驗中優於其他方法。

論文名稱：MaskGAN: Towards Diverse and Interactive Facial Image Manipulation

作者：Lee Cheng-Han /Liu Ziwei /Wu Lingyun /Luo Ping

發表時間：2019/7/27

論文連結：https://paper.yanxishe.com/review/15950?from=leiphonecolumn_paperreview0414

推薦原因

這篇論文被CVPR 2020接收，處理的是面部圖像操作。

這篇論文提出了一個支持多樣化和交互式面部操作的新的框架，稱為MaskGAN。MaskGAN主要由兩部分組成：密集映射網絡（DMN）和編輯行為模擬訓練（EBST），其中DMN學習自由形式的用戶修改的MASK和目標圖像之間的樣式映射，從而支持不同的生成結果。EBST可以對源MASK上的用戶編輯行為建模，使整個框架對各種操作輸入更加健壯。這篇論文還構建了一個大規模的高解析度人臉數據集，並使用了名為CelebAMask-HQ的細粒度MASK標註規則。評估結果顯示MaskGAN在屬性遷移和樣式複製這兩個任務上優於其他方法。

論文名稱：Combining detection and tracking for human pose estimation in videos

作者：Wang Manchen /Tighe Joseph /Modolo Davide

發表時間：2020/3/30

論文連結：https://paper.yanxishe.com/review/15949?from=leiphonecolumn_paperreview0414

推薦原因

這篇論文被CVPR 2020接收，要解決的是人體姿態估計的問題。

與現有方法相比，這篇論文提出的新方法通過在時間上向前和向後傳播已知人員的位置並在這些區域中搜索姿勢，來預測未定位的人員實例。新方法包括三個部分：1）一個剪輯跟蹤網絡，對小型視頻剪輯執行人體關節檢測和跟蹤；2）視頻跟蹤管道，將剪輯跟蹤網絡產生的固定長度的小軌道合併到任意長度軌道中；3）時空融合過程，根據空間和時間平滑項精煉關節位置。得益於剪輯跟蹤網絡和合併程序的精確性，新方法可以產生非常準確的聯合預測，且可解決棘手場景（如糾纏不清的人）的常見錯誤。

論文名稱：Local Facial Makeup Transfer via Disentangled Representation

作者：Sun Zhaoyang /Liu Wenxuan /Liu Feng /Liu Ryan Wen /Xiong Shengwu

發表時間：2020/3/27

論文連結：https://paper.yanxishe.com/review/15948?from=leiphonecolumn_paperreview0414

推薦原因

這篇論文考慮的是面部妝容遷移的問題。

面部妝容遷移的目的是在任意給定的化妝圖像中呈現非化妝的面部圖像，同時保留面部特徵。當前最佳方法是將化妝風格信息從人臉圖像中分離出來，實現化妝效果的傳遞。然而，化妝風格包含了幾種語義清晰的局部風格表示，而這些表示通常糾纏在一起。這篇論文提出了一種新的統一對抗解糾纏網絡，將人臉圖像進一步分解為四個獨立分量（包括個人身份、唇妝風格、眼妝風格、臉妝風格）。由於化妝風格的進一步分解，新方法不僅可以控制全局化妝風格的程度，還可以靈活地調節局部化妝風格的程度。同時這篇論文將化妝遷移與卸妝整合成一個統一的框架，從而得到了多個卸妝效果。大量的實驗證明，相比於當前最先進的方法，新提出的方法可以產生更真實和準確的化妝遷移結果。

論文名稱：Scale Up Event Extraction Learning via Automatic Training Data Generation

作者：Ying Zeng; Yansong Feng; Rong Ma; Zheng Wang ; Rui Yan ; Chongde Shi ; Dongyan Zhao

發表時間：2017/11/11

論文連結：https://paper.yanxishe.com/review/14885?from=leiphonecolumn_paperreview0414

推薦原因

作者針對當時事件抽取任務中專業性強、需要人工定義trigger word、標註數據不足等問題，提出了一種基於Distant supervise的一般性事件抽取數據集，並且設計了一種基於關鍵論元的事件抽取模型，利用樣本中的關鍵論元來推斷出事件類型，進一步補充其他論元生成完成的事件表信息。

本文提出的基於關鍵論元的模型，不需要人工定義trigger word，同時結合以維基百科為基礎生成的數據集，對人工標註的樣本進行訓練，得到了更好的效果。

儘管現在有一些新的端到端的神經網絡模型的出現，並且也有了較之本文sentence-level更進一步的document-level，corpus-level的事件抽取，但是本文依然很值得一讀。本文詳細的講述了基於Distant supervise數據集以及關鍵論元的設計思路和生成方法，有助於理解一個好的事件抽取模型應該抽取什麼樣的信息。

雷鋒網(公眾號：雷鋒網)雷鋒網雷鋒網

相關文章：

今日 Paper | 人臉旋轉；BiLSTM-CRF；神經注意模型；Abigail等

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 今日Paper | 多人姿勢估計;對話框語義分析;無監督語義分析;自然...
    Leonid /Insafutdinov Eldar /Tang Siyu /Andres Bjoern /Andriluka Mykhaylo /Gehler Peter /Schiele Bernt發表時間：2015/11/20論文連結：https://paper.yanxishe.com/review/9236推薦原因：領域：多人關節姿態估計
  • 人體姿態估計、識別與生成最新技術一覽
    傳統的計算機視覺方法，會考慮深度信息的使用。例如 kinect攝像頭可以採集深度信息，進而可以用模式識別來估計人體姿態。而在深度學習時代，這以方向在理論上也值得進一步挖掘，所以對應到RGBD image。單視圖做的差不多了，那自然就開始考慮多視圖。
  • 今日Paper|神經網絡結構搜索;視覺目標;人物識別;視頻3D人體姿態...
    目錄基於進化算法和權值共享的神經網絡結構搜索檢測視頻中關注的視覺目標包含狀態信息的弱監督學習方法進行人物識別基於解剖學感知的視頻3D人體姿態估計RandLA-Netfrom=leiphonecolumn_paperreview0312推薦原因這篇論文提出使用狀態信息的弱監督學習實現行人識別的方法。在獲取人工標註的訓練數據代價太高的現實下，使用非監督學習來識別每個行人不同的視覺特徵具有很重要的意義。
  • 今日Paper | 可視問答模型;神經風格差異轉移;圖像壓縮系統 ;K-SVD...
    from=leiphonecolumn_paperreview0211 推薦原因這篇論文考慮的是圖像壓縮的問題。在基於深度神經網絡的有損圖像壓縮中，重要性圖方法被廣泛應用，以根據圖像內容的重要性來實現比特分配，然而這種方法容易出現嚴重失真。
  • 今日Paper | 模態平衡模型;組合語義分析;高表達性SQL查詢;多人...
    在兩個單人和兩個多人位姿估計基準上進行評估。該方法顯著優於最著名的多人姿態估計結果，同時在單人姿態估計任務中表現出了較強的競爭能力。Paper | 多人線性模型；身體捕捉；會話問答；自然語言解析；神經語義今日 Paper | 手部和物體重建；三維人體姿態估計；圖像到圖像變換等今日 Paper | 動態手勢識別；領域獨立無監督學習；基於BERT的在線金融文本情感分析等今日 Paper | 新聞推薦系統；多路編碼；知識增強型預訓練模型等今日 Paper
  • 今日Paper|人臉數據隱私;神經符號推理;深度學習聊天機器人等
    為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），推出【今日 Paper】欄目， 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。
  • 今日Paper | COVID-19;深度興趣網絡;COVIDX-NET;場景文本遷移等
    的深度學習分類器框架COVID-NET：一種用於從胸部X光圖像中檢測COVID-19病例的定製深度卷積神經網絡設計用於點擊率預測的深度興趣網絡CVPR 2020 | SwapText: 基於圖像的場景文本遷移論文名稱：Mapping the Landscape of Artificial Intelligence Applications against
  • 今日Paper | 跨模態行人重識別;對抗時尚遷移;學會注意錯誤;凸混合...
    from=leiphonecolumn_paperreview0311推薦原因本文主要是解決紅外線-RGB跨模態行人重識別的問題。from=leiphonecolumn_paperreview0311推薦原因基於機器學習的服裝遷移是近些年的一個研究熱點，是將虛擬試衣落地的較為現實的解決方案，具有非常大的商業價值和市場前景。一般服裝遷移問題包含兩個任務：一是學習將目標人體和服裝分離，二是生成目標人體穿著任意衣服的新的圖片。
  • 人體姿態估計(Human PoseEstimation)文獻綜述(3.6k字)
    、2D姿態估計方法分類、經典方法和CNN方法概述。)A人體姿態估計(Human PoseEstimation)文獻綜述(3.6k字)一、研究背景二、2D姿態估計方法分類概覽三、ClassicalApproach四、CNN-basedMethod五、實驗效果素材(630字)A人體姿態估計
  • 人體姿態估計的過去、現在和未來
    下面是單人姿態估計的結果圖（圖片來源於CPM的paper)：單人姿態估計算法往往會被用來做多人姿態估計。多人姿態估計的輸入是一張整圖，可能包含多個行人，目的是需要把圖片中所有行人的關鍵點都能正確的做出估計。針對這個問題，一般有兩種做法，分別是top-down以及bottom-up的方法。
  • 基於深度學習的人臉識別技術全解
    圖像表示、計算機視覺、姿態估計、人臉確認等領域。外在條件變化引起：1、由於成像角度的不同造成人臉的多姿態，如平面內旋轉、深度旋轉以及上下旋轉等，其中深度旋轉影響較大；2、光照的影響，如圖像中的亮度、對比度的變化和陰影等；3、圖像的成像條件，如攝像設備的焦距、成像距離等。
  • ECCV 2020 | 騰訊優圖8篇論文入選,涵蓋目標跟蹤、人臉識別等領域
    在競爭越來越激烈的情況下，本次ECCV 騰訊優圖實驗室共入選8篇論文，涵蓋目標跟蹤、行人重識別、人臉識別、人體姿態估計、動作識別、物體檢測等熱門及前沿領域，再次展示了騰訊在計算機視覺領域的科研及創新實力。
  • 重新思考人體姿態估計 Rethinking Human Pose Estimation
    當下多數深度CNN回歸的方式, 試圖用模型強大的擬合能力去迴避以上的顯式問題，而從大量的圖像數據和標籤監督信息中用神經網絡去學習圖像數據與構建的標籤信息之間的映射。3.當前主流研究的基礎問題和難點：神經網絡結構的設計是個永遠（當下）都會伴隨的問題（假如深度學習的熱潮沒有退去的話）Top-down：先檢測人體，再做單人姿態估計的兩階段方法。
  • 今日Paper | 深度循環神經網絡;PoseNet3D;AET vs. AED;光場視差...
    3D人體形狀和姿態估計AET vs.from=leiphonecolumn_paperreview0326推薦原因從二維關節中恢復三維人體姿態是一個高度無約束的問題。本文作者提出了一種新的神經網絡框架PoseNet3D，其以2D關節點作為輸入，輸出3D骨架和SMPL人體模型的參數。作者使用了學生-老師框架，從而避免了在訓練過程中使用3D數據如配對/未配對的3D數據、動捕數據、深度圖或者多視角圖像等等。
  • 深度人臉表情識別技術綜述,沒有比這更全的了
    同樣地，深度學習技術被越來越多地用於應對真實環境下的表情識別所帶來的挑戰。 圖 1 人臉表情識別數據集和方法 儘管深度學習具有強大的特徵學習能力，它在 FER 中的應用還有一些問題。首先，深度神經網絡需要大量訓練數據來避免過擬合。然而，現存的面部表情資料庫不足以訓練那些在目標識別任務中有著顯著效果的深度網絡。
  • 實時人體姿態估計:Dense Pose及其應用展望
    什麼是密集姿態估計（dense pose estimation）? 密集姿態估計 (dense pose estimation) 將單張 2D 圖片中所有描述人體的像素（human pixels），映射到一個 3D 的人體表面模型。
  • 基於深度學習和傳統算法的人體姿態估計
    優化之後將各個簡化二分圖中共同的骨點進行整合得到最終多人人體姿態估計。這樣做的優點是將NP－hard問題轉化為多個較容易求解的二分圖最優化，可以有效逼近全局最優解，同時降低算法複雜度，提高算法的運行效率，達到實時多人姿態估計的目的。
  • 實錄| 曠視研究院詳解COCO2017人體姿態估計冠軍論文(PPT+視頻)
    主講人：王志成 | 曠視研究院研究員 屈鑫 整理編輯 量子位 出品 | 公眾號 QbitAI12月13日晚，量子位·吃瓜社聯合Face++論文解讀系列第二期開講，本期中曠視（Megvii）研究院解讀了近期發表的人體姿態估計論文： Cascaded Pyramid Network for Multi-Person
  • 長篇乾貨 | 深度解析人臉識別技術
    技術發展方向 結合三維信息：二維和三維信息融合使特徵更加魯棒 多特徵融合：單一特徵難以應對複雜的光照和姿態變化 大規模人臉比對：面向海量數據的人臉比對與搜索 深度學習：在大數據條件下充分發揮深度神經網絡強大的學習能力 5.
  • 今日Paper | PolarMask;時間序列;面部表情編輯;ELECTRA 等
    該方法在個體歷史數據的分布中採樣，基於合理的反事實上的積分，去估計了在觀測前後預測分布的差異來度量重要度。根據該方法，可以得到在不同時間上的相關特徵複雜度，並且可以得到每個特徵最有影響力（重要度最高）的特定時間點。