今日Paper | 跨模態行人重識別;對抗時尚遷移;學會注意錯誤;凸混合...

2020-12-11 雷鋒網

跨模態行人重識別:共享與特異特徵變換算法cm-SSFT

GarmentGAN:具有圖片真實感的對抗時尚遷移

學習將紋理從服裝圖像轉移到3D人體

學會注意錯誤

MINA: 非剛性形狀對齊的凸混合整數規劃

  跨模態行人重識別:共享與特異特徵變換算法cm-SSFT

論文名稱:Cross-modality Person re-identification with Shared-Specific Feature Transfer

作者:Yan Lu

發表時間:2020/2/1

論文連結:https://paper.yanxishe.com/review/13406?from=leiphonecolumn_paperreview0311

推薦原因

本文主要是解決紅外線-RGB跨模態行人重識別的問題。由於Specific feature在對面模態中是不存在的,所以目前工業界大部分跨模態行人在識別算法通常只關注shared feature learning,很少關注Specific feature,比如在紅外線圖片中是沒有彩色顏色信息的。

主要創新點:利用近鄰信息:給定一紅外線query。當搜索彩色target時,可以先找到一些簡單的置信度高的彩色樣本,接著把這些彩色樣本的顏色特異特徵給與紅外線query,如此往復,便可以實現利用這些彩色信息再去搜索更難的彩色樣本的功能。

  GarmentGAN:具有圖片真實感的對抗時尚遷移

論文名稱:GarmentGAN: Photo-realistic Adversarial Fashion Transfer

作者:Amir Hossein Raffiee /Michael Sollami

發表時間:2020/3/4

論文連結:https://paper.yanxishe.com/review/13309?from=leiphonecolumn_paperreview0311

推薦原因

基於機器學習的服裝遷移是近些年的一個研究熱點,是將虛擬試衣落地的較為現實的解決方案,具有非常大的商業價值和市場前景。

一般服裝遷移問題包含兩個任務:一是學習將目標人體和服裝分離,二是生成目標人體穿著任意衣服的新的圖片。本文提出的GarmentGAN是一種基於生成對抗網絡的服裝遷移算法,其包含兩個獨立的GAN:形狀遷移網絡和外觀遷移網絡,分別處理這兩個任務,能夠生成較為逼真的目標圖片,對於複雜的人體姿態、手部姿勢、遮擋情況都能處理的不錯。作者最後將GarmentGAN與目前state-of-the-art的方法進行了定性和定量的比較,證明了該方法的有效性。

論文名稱:Learning to Transfer Texture from Clothing Images to 3D Humans

作者:Aymen Mir /Thiemo Alldieck /Gerard Pons-Moll

發表時間:2020/3/4

論文連結:https://paper.yanxishe.com/review/13303?from=leiphonecolumn_paperreview0311

推薦原因

本文已被CVPR2020接收,提出了一種實時自動的從衣服圖片的紋理遷移到SMPL人體模型的3D服裝上,是一種3D虛擬試衣的最新解決方案,數據和代碼將被開源,目前尚未公開。項目地址:https://virtualhumans.mpi-inf.mpg.de/pix2surf/

作者首先使用非剛性3D到2D註冊的方法,生成了服裝圖片和3D外衣的數據對,這種方法非常準確但是速度很慢。然後作者基於這些數據對,通過神經網絡學習了圖片像素到3D服裝表面的映射。作者通過實驗表面該方法比基於薄板樣條的圖片變形和圖片到圖片的遷移網絡更加準確更加快速。

文章方法提供了3D虛擬試衣的新方法,效果逼真,速度快(實時),值得關注。

論文名稱:Learning to pay attention on mistakes

作者:Anonymous authors

發表時間:2020/1/25

論文連結:https://paper.yanxishe.com/review/13405?from=leiphonecolumn_paperreview0311

推薦原因

在醫學圖像分割任務中,重點是從背景像素中檢測和區分出代表感興趣區域的前景像素。到目前為止,背景像素構成了圖像中大多數像素。這導致基於深度學習的醫學圖像分割頻繁出現的假陰性像素分類,即前景像素被錯誤地分類為屬於背景像素類別。作者提出了一種新的注意力機制來解決這種較高的假陰性檢測率。作者的方法試圖引導模型進行更多的假陽性檢測,從而糾正由於訓練數據不平衡而導致的分類結果不平衡。提出的注意力機制有三種實現方式:(1)顯式指導模型以檢測誤報;(2)通過轉向相反的假陰性來隱式學習假陽性;(3)在多任務環境中,共同引導假陽性和假陰性的學習。為了驗證提出的方法,作者在一個比較難的任務中驗證了我們提出的網絡:對腫瘤核心進行分割。在BRATS 2018訓練數據上進行5次交叉驗證後,作者的模型優於9個最新的基準模型,包括:空間注意力,空間通道注意力和自我注意力。作者的第三種實現將假陰性降低了10.4%,而假陽性的檢增加卻可以忽略不計。作者的第三個方案還將網絡的Hausdorff距離提高了28%以上,同時將IoU值提高了3%以上。除了顯著的性能提升外,提出的注意機制通過一個有效的感受也具有直觀的可解釋。因為該論文還在Under Review,為了保持保持匿名,該論文隱藏了GitHub上的代碼的連結,後續會公布。

論文名稱:MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment

作者:Florian Bernard /Zeeshan Khan Suri /Christian Theobalt

發表時間:2020/2/28

論文連結:https://paper.yanxishe.com/review/12864?from=leiphonecolumn_paperreview0311

推薦原因

形狀匹配 (Shape Matching) 是計算機視覺、圖形學等眾多領域的基本問題,其主要是研究如何在兩個形狀之間建立對應的問題。

本文作者提出了一個用於非剛性形狀匹配的凸混合整數規劃公式,為了解決該問題,作者提出了一種基於有效的低維離散模型的形狀變形模型,能夠在(大多數)實際情況下很容易地求得全局最優解。

文章的方法有眾多優勢:其不依賴與初始值,能夠有效收斂到全局最優解、在處理匹配問題的變種時非常靈活等等。作者通過實驗證明了文章方法優於現有的稀疏形狀匹配方法,並可以用來初始化稠密匹配算法。

為了更好地服務廣大 AI 青年,AI 研習社正式推出全新「論文」版塊,希望以論文作為聚合 AI 學生青年的「興趣點」,通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地,也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你,可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

    1.署著你名字的文章,將你打造成最耀眼的學術明星

    2.豐厚的稿酬

    3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要:

    1.將你喜歡的論文推薦給廣大的研習社社友

    2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊,可以添加運營小姐姐的微信(ID:julylihuaijiang),備註「論文兼職作者」

雷鋒網雷鋒網(公眾號:雷鋒網)雷鋒網

相關文章:

今日 Paper | 縮放神經網絡;形變的LSTM;知識圖譜複雜問答;陰影著色等

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 今日Paper|2019-nCoV傳播預測;行人重識別;協同時態建模;舞蹈生成等
    目錄用綜合方法預測2019-nCoV傳播的結束 通過被動WiFi傳感和數據挖掘了解社會事件中的人群行為用於RGB-紅外行人重識別的交叉模態配對圖像生成CTM:面向動作識別的協同時態建模Music2Dance:使用WaveNet的音樂驅動的舞蹈生成 用綜合方法預測2019-nCoV傳播的結束 論文名稱:Predictions
  • 今日Paper | MaskGAN;深度人臉識別;人體姿態估計;妝容遷移等
    from=leiphonecolumn_paperreview0414推薦原因這是騰訊優圖入選CVPR 2020的論文,考慮的是人臉識別的問題。在人臉識別中,設計基於邊際的損失函數可以增加不同類別之間的特徵邊界,以增強可分辨性。
  • 今日Paper | 模態平衡模型;組合語義分析;高表達性SQL查詢;多人...
    視覺對話的模態平衡模型Paper | 多人線性模型;身體捕捉;會話問答;自然語言解析;神經語義今日 Paper | 手部和物體重建;三維人體姿態估計;圖像到圖像變換等今日 Paper | 動態手勢識別;領域獨立無監督學習;基於BERT的在線金融文本情感分析等今日 Paper | 新聞推薦系統;多路編碼;知識增強型預訓練模型等今日 Paper
  • 今日Paper | 可視問答模型;神經風格差異轉移;圖像壓縮系統 ;K-SVD...
    這篇論文系統地研究了模型複雜度和性能兩方面的折中策略,並且特別關注了這些模型在多模態融合方面的效果。通過實驗,這篇論文給出了如何優化以降低複雜性和如何優化以實現當前最佳VQA性能的提升這兩個方面的建議。
  • 今日Paper|動態圖像檢索;實時場景文本定位;感知場景表示;雙重網絡等
    Sketch Less for More:基於細粒度草圖的動態圖像檢索ABCNet:基於自適應Bezier-Curve網絡的實時場景文本定位通過逐步增加蒙版區域來修復圖像BlockGAN:從未標記的圖像中學習3D對象感知場景表示用於行人重識別的交叉分辨對抗性雙重網絡
  • CVPR 2021 論文大盤點-行人技術篇
    本文總結CVPR 2021 行人相關技術論文,包括人群計數、行人檢測跟蹤、步態識別等。共計 7 篇。
  • 今日Paper|TRANSFORMER結構;圖像到圖像翻譯;缺失標註目標檢測解決...
    >基於跨模態自我注意網絡學習的視頻問題生成 REFORMER:一個高效的TRANSFORMER結構 論文名稱:REFORMER: THE EFFICIENT TRANSFORMER作者:Nikita Kitaev / Lukasz Kaiser /
  • 【專知薈萃26】行人重識別 Person Re-identification知識資料全集(入門/進階/論文/綜述/代碼,附查看)
    歡迎大家轉發分享~行人重識別 Person Re-identification / Person Retrieval 專知薈萃入門學習行人重識別綜述基於深度學習的Person Re-ID(綜述)鄭哲東 -Deep-ReID:行人重識別的深度學習方法【行人識別】Deep Transfer Learning for
  • 機器推理文本+視覺,跨模態預訓練新進展
    本文將介紹微軟亞洲研究院在跨模態預訓練領域的研究進展。近年來,自然語言處理(NLP)和計算機視覺(CV)兩大領域不斷碰撞和融合,衍生出很多跨模態研究課題(例如圖片檢索和圖片問答等)。針對上述問題,我們提出跨模態預訓練模型 Unicoder-VL。藉助通用領域跨模態預訓練,該模型能夠學習到語言和視覺間的內在關聯,並用於生成語言和視覺的聯合向量表示。實驗證明,這種考慮了跨模態信息的聯合向量表示能夠很好地遷移到下遊任務中,並取得很好的效果。
  • ECCV 2020 | 騰訊優圖8篇論文入選,涵蓋目標跟蹤、行人重識別...
    在競爭越來越激烈的情況下,本次ECCV 騰訊優圖實驗室共入選8篇論文,涵蓋目標跟蹤、行人重識別、人臉識別、人體姿態估計、動作識別、物體檢測等熱門及前沿領域,再次展示了騰訊在計算機視覺領域的科研及創新實力。
  • ECCV 2020 | 再見,遷移學習?可解釋和泛化的行人再辨識
    (註:本文遷移學習是指行人再辨識領域單模態跨場景的遷移學習。)通過直接跨庫測試,本文提出的 QAConv 方法大幅超越一些主流的分類 / 度量學習方法(10%+ mAP),同時它無需遷移學習便可超越近兩年的大部分遷移學習方法。此外,本文還提出一種模型無關的基於時序共現的相似度分數加權方法,稱為時序提舉(Temporal Lifting, TLift)。該方法進一步提升了結果,達到當前最好的跨庫行人再辨識性能。
  • 今日Paper | TRANSFORMER結構;圖像到圖像翻譯;缺失標註目標檢測...
    MLFcGAN:基於多級特徵融合的條件GAN水下圖像顏色校正 基於跨模態自我注意網絡學習的視頻問題生成   REFORMER:一個高效的TRANSFORMER結構論文名稱:REFORMER: THE EFFICIENT
  • 歐氏距離是否仍是跨模態/單模態Re-ID度量學習的最佳選擇?
    /單模態Re-ID的度量學習問題上未必是最優的,並提供了一個適用於跨模態/單模態人體目標重識別任務的即插即用的方案(「expAT Loss」),基於餘弦度量實現了更優的學習效果。方法介紹為了解決這兩個問題,文章指出,在跨模態和單模態的人體目標再識別Re-ID問題中,都可以單純使用餘弦度量來進行度量學習,使得特徵向量在共同特徵空間角度可分,並更好地結合softmax loss共同訓練,從根本上解決這個矛盾。
  • CVPR 2020 Oral|將SOTA行人再識別系統精度降至1.4%
    機器之心專欄作者:Hongjun Wang、Guangrun Wang等行人再識別系統(re-ID)無處不在,可以在不同攝像頭拍攝的視頻中精確地找出同一個人,但這種系統也很容易被對抗樣本所欺騙,因此檢驗 re-ID 系統抵抗對抗攻擊的魯棒性非常重要
  • 可微圖學習&弱監督,中山大學提出新型行人重識別方法和史上最大...
    此外也有不需要人工標註的基於無監督學習的行人重識別方法,這類方法使用局部顯著性匹配或聚類模型,但很難建模跨攝像機視圖的顯著差異,因此很難達到高精度。相比之下,本文提出的弱監督行人重識別方法是一種優秀的訓練方法,不需要高昂的人工標註成本也能達到較高的精度。
  • 將SOTA行人再識別系統精度降至1.4%,中大、暗物智能等向視覺模式...
    行人再識別(re-ID)——一種個人身份鑑別技術和繼人臉識別之後的又一重要算法,隨著深度學習的發展進入了一個新時代。在 Market-1501 上,各大公司玩命刷榜,甚至達到了超人類的識別水平。(re-ID),這是一項旨在跨攝像機匹配行人的關鍵任務。
  • 今日Paper | 聯合抽取;流式語音識別;差異學習;Skip-Thought向量等
    將混合CTC/Attention方法嵌入到Transformer結構中實現在線端到端的流式語音識別架構論文名稱:TRANSFORMER-BASED ONLINE CTC/ATTENTION END-TO-END SPEECH RECOGNITION
  • 今日Paper|小樣本學習;視覺情感分類;神經架構搜索;自然圖像摳像等
    為了幫助各位學術青年更好地學習前沿研究成果和技術,AI 研習社重磅推出【今日 Paper】欄目,每天都為你精選關於人工智慧的前沿學術論文供你學習參考。進一步,為了在邊緣計算上保證更高效的推理,這篇論文還提出一個新的輕量級框架,從原始的IMU數據上學習和重構行人軌跡。實驗表明所提數據集與方法能夠在資源受限的設備上獲得精準的行人慣性導航信息。
  • 每周論文清單:高質量文本生成,多模態情感分析,還有一大波GAN | PaperDaily #26
    論文連結https://www.paperweekly.site/papers/1342,該文提出了一個基於 CNN 的多模態融合框架,融合表情,語音,文本等信息做情感分析,情緒識別。@Synced 推薦#Adversarial Training針對深度學習系統的對抗性樣本攻擊問題,來自麻省理工學院,加州大學戴維斯分校,IBM Research 和騰訊 AI Lab 的學者在 arXiv 上發表論文提出對於神經網絡圖像標註系統(neural image captioning system)的對抗樣本生成方法
  • 今日Paper | 多人姿勢估計;對話框語義分析;無監督語義分析;自然...
    //paper.yanxishe.com/review/9236推薦原因:領域:多人關節姿態估計提出了一種共同解決檢測和姿勢估計任務的方法:推斷場景中的人數,識別被遮擋的身體部位,並消除彼此相鄰的人之間的身體部位的歧義。