上海交通大學CVPR Spotlight論文:利用形態相似性生成人體部位解析...

2020-11-30 雷鋒網

雷鋒網(公眾號：雷鋒網) AI 科技評論按：本文由上海交通大學的方浩樹為 AI 科技評論所撰寫的獨家解讀稿件，未經許可不得轉載。

下面要介紹的論文發表於 CVPR 2018，題為「Weakly and Semi Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer」。

arXiv地址：https://arxiv.org/abs/1805.04310

 

人體部位解析，或稱人類語義部位分割，是許多計算機視覺任務的基礎。在傳統的語義分割方法中，我們需要提供手工標註的標籤，以便使用全卷積網絡（FCN）進行端到端的訓練。雖然過去的方法能達到不錯的效果，但它們的性能高度依賴於訓練數據的數量和質量。

在本文中，我們提出了一種獲得訓練數據的新方法，它可以使用容易獲得的人體關鍵點的數據來生成人體部位解析數據。我們的主要想法是利用人類之間的形態相似性，將一個人的部位解析結果傳遞給具有相似姿勢的另一個人。使用我們生成的結果作為額外的訓練數據，我們的半監督模型在 PASCAL-Person-Part 數據集上優於強監督的方法 6 個 mIOU，並且達到了最好的人類部位解析結果。我們的方法具有很好的通用性。它可以容易地擴展到其他物體或動物的部位解析任務中，只要它們的形態相似性可以由關鍵點表示。我們的模型和原始碼公開在： https://github.com/MVIG-SJTU/WSHP

一、為什麼要通過弱監督來解決這個問題？

人體部分解析給出了人類的詳細語義分割，並將人解析為不同的身體部位。這種像素級的身體部位信息對於人的行為理解非常重要，並且在各種視覺任務中具有巨大的應用潛力，例如人機互動和識別人-物體交互關係。為了更加精細地對人的行為進行分析，關鍵的一點在於能夠將人體的各個部分分割出來。但是這個問題很難，標註訓練樣本十分費時而且成本很高；也正是因為這樣，目前這方面最大的數據集也只有少於 2000 個用於訓練的標註數據。而另一方面，人體關鍵點（人體姿態）由於標註比較輕鬆，所以目前有非常多的標註數據。所以我們就考慮是否可以利用人體姿態的數據，通過知識遷移來幫助人體部分分割標註的任務。

二、弱監督學習的大致思路

由於物理解剖學限制，具有相同姿勢的人將具有相似的形態。如圖所示，給定一個人，我們可以使用他/她的關鍵點在已有的少量標註過的 human body part parsing 數據集中搜索具有相似姿勢的人。然後對這些人對應的部位解析結果進行平均，形成人體部位分布的先驗概率。通過這種方式，我們可以將稀疏的人體關鍵點轉換為細粒度的身體部分分割。之後我們再將該先驗概率圖與原始輸入圖像相結合，輸入神經網絡，最後生成準確的部位分割結果。這些生成的部位分割可以用作額外訓練數據來訓練人類解析網絡。

三、具體方法

具體的方法共分為三步：輸入帶有關鍵點的圖片+已有的部分分割數據集，首先根據關鍵點進行聚類，也即找到與輸入圖片相似的標註分割圖片；然後對找到的部位解析結果進行對齊、變形，再求平均得到人體部位分布的先驗概率；最後一步則是基於先驗概率進行預測真實的人體部位解析結果。

1）Discovering Pose-similar Cluster

為了度量不同姿態間的相似度，首先需要對所有的姿態進行歸一化和對齊，即將人體軀幹長度統一，臀部關鍵點作為坐標原點。由此計算出輸入圖片中幾個關鍵點與標註數據集中所有圖片的對應關鍵點之間的歐氏距離，選出距離最小的 Top n 作為 similar cluster。

這裡之所以選擇 top n，而不是 top 1，是因為真實的人體千奇百怪（例如存在遮擋），某一個人體的分割不一定能夠適用於另一個人體，所以要選擇最相似的幾個，在下一步生成 part-level prior 中做下平均。

2）Generating Part-level Prior

對於每個 similar cluster，存在一些不可避免的集群內姿勢變化，這使得部分解析結果和待標註的人是不對齊的。因此，我們引入了姿勢引導的變形方法。

對於每個身體部位，我們可以通過骨架的差異求得一個仿射變換矩陣 Q，利用該仿射變換矩陣，我們對其對應部位的 mask 做一個同樣的變換，最後得到一個變形過的部位解析結果。

將所有變形過的結果加起來求平均，即可得到人體部位分布的先驗概率。

3）Prior Refinement

前面通過遷移與平均得到的 part-level prior 是一個先驗概率，其代表一張圖片上某個像素屬於某個人體部位的可能性。我們通過 refinement network 進行進一步優化，輸出每個部位確定的 binary mask。Refinement Network 採用的是 U-Net 的一個變體。

四，結果

首先來看，沒有使用先驗圖訓練的網絡和使用了先驗圖訓練的網絡的結果對比：

從左到右分別為：輸入圖像、全卷積網絡預測的結果、輸入圖像相關的 part-level prior、經過 refinement network 預測出的結果。如果有 part-level prior，預測效果會好很多。

以下是一些選自 COCO 數據集的圖片，以及用我們方法生成的訓練標籤：

這些生成的額外數據能作為訓練樣本。

通過混合原始數據與我們生成的數據進行訓練，我們的模型能取得當前最好的結果。

本文的模型和代碼已經開源在 https://github.com/MVIG-SJTU/WSHP。同時這裡也宣傳一下我們最近的工作 AlphaPose. AlphaPose 是一套人體姿態估計系統，目前速度已經達到 10fps（在 COCO test-dev 集上的測試結果），準確率達到 70mAP 以上，支持 PyTorch，代碼開源在 https://github.com/MVIG-SJTU/AlphaPose，歡迎各位使用。

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 騰訊優圖CVPR 2018論文:圖片去模糊及快速肖像處理等多項技術解讀
    2、Weakly Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer通過由姿態引導的知識遷移進行弱監督及半監督的人體部位分割人體部位解析，或稱人類語義部位分割，是許多計算機視覺任務的基礎。
  • 騰訊優圖學術再進階 論文入選計算機視覺領頂級會議CVPR 2018
    2、Weakly Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer通過由姿態引導的知識遷移進行弱監督及半監督的人體部位分割人體部位解析，或稱人類語義部位分割，是許多計算機視覺任務的基礎。
  • 華人問鼎CVPR!最佳論文最佳學生論文一作均為華人,清華最高產機構
    大會開場公布的數據，今年參與CVPR論文的作者數量高達16955位，其中中國作者比例達 39.2%，位居第一。在中國作者的所屬機構排名中，清華以340名位列第一，前10個機構中國高校佔據了7席，包括上海交通大學、北京大學、浙江大學、中科大、北航、西安電子科技大學。
  • 歷年 CVPR 最佳論文盤點(2000 年——2018 年)
    （接收論文列表：http://cvpr2019.thecvf.com/files/cvpr_2019_final_accept_list.txt）正當學界紛紛議論各單位獲接收論文多寡的當兒，雷鋒網 AI 科技評論為大家精心整理了一份從 2000 年——2018 年的 CVPR 最佳論文清單，藉此對這批計算機領域的重要論文進行複習。
  • CVPR2020 人體相關文章 - 2
    ：https://arxiv.org/abs/2004.04572簡介：作者提出了一個新穎的端到端的訓練框架，可以從單張圖片生成直接用於動畫驅動的帶細節的穿衣服的人體模型。給定一張任意姿態的人體圖片，作者重建規範空間 (canonical space) 中處於A-Pose下的人體隱式函數表達，通過 Marching Cube 算法提取其等值面可以得到人體的三維模型，通過計算的規範空間的蒙皮權重，改變人體相應部位(骨骼)的旋轉矩陣可以將人體變換到任意的姿態下。
  • 周持興——上海交通大學——聚合物複雜體系結構流變學、聚合物...
    姓名： 周持興       性別： 男       出生年月： 所在院校： 上海交通大學
  • CVPR 2020 目標檢測論文精選
    Detection on Point Clouds這篇論文提出了一種基於圖卷積(gconv)的三維目標檢測層次圖網絡(hgnet)。然後映射到相同的特徵空間的投票模塊並且用於生成建議。在下一步中,GConv基於建議推理模塊，利用方案來預測邊框。這裡是在sun rgb-d v1數據集上獲得的一些性能結果。
  • 周希朗——上海交通大學——微波、毫米波集成電路與天線設計...
    姓名： 周希朗       性別： 男       出生年月： 所在院校： 上海交通大學
  • 上海交通大學ECCV 2018四篇入選論文解讀
    據雷鋒網了解，上海交通大學 SJTU-UCLA 機器感知與推理聯合研究中心有 4 篇論文入選，研究方向涉及自動駕駛、視頻理解、視覺跟蹤以及新型神經網絡。本文對這幾篇論文做了簡介，更多詳細內容可通過論文網盤連結下載查看。
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    論文：Incorporating Copying Mechanism in Image Captioning for Learning Novel Objects簡介：微軟亞洲研究院姚霆的相關研究成果為 Image Captioning with Attributes，通過利用屬性（attributes）對圖像標註進行改進，這種方法有很大的潛力可以成為生成開放性詞彙句子（
  • 上海交通大學氫科學中心啟動—新聞—科學網
    上海交通大學氫科學中心啟動同時，「氫科學與技術聯盟」籌備成立儀式舉行，聯盟將融合氫能源、氫醫學和氫農業等領域的技術研發以及相關產品的研究、開發、生產、製造及服務的企、事業單位，探索產學研結合的產業技術創新機制，創建技術創新資源的集成與共享通道，解決制氫、儲氫、用氫過程中的關鍵性科學問題和技術瓶頸，成為產-學-研結合的緊密紐帶和有效載體。
  • 上海交通大學研究生招生信息網_上海交通大學考研信息網-研究生...
    學院簡介上海交大-南加州大學文化創意產業學院（上海交大文創學院）由上海交通大學於2015年成立，美國南加州大學、閔行區政府、上海紫竹高新區（集團）有限公司多方參與共建，是上海交通大學的國際化辦學學院（詳見www.sjtu.edu.cn院系設置）。
  • CVPR2017精彩論文解讀:結合序列學習和交叉形態卷積的3D生物醫學...
    現在大多數的3D醫學圖像分割方法都只用了一個形態或把多個形態堆起來變成不同的通道，該工作中提出了一個包含交叉形態卷積層（cross-modality convolution layer）的深度編碼-解碼的網絡結構（deep encoder-decoder structure)來合併核磁共振的不同形態，還利用卷積LSTM來對2D切片序列建模，並且把多形態卷積和LSTM網絡結合在一起，做到端到端的學習。
  • 【CVPR2018最佳論文重磅出爐】斯坦福伯克利折桂,何愷明獲TPAMI年輕研究員獎
    最佳論文最佳論文題目：Taskonomy: Disentangling Task Transfer Learning論文地址：https://arxiv.org/pdf/1804.08328.pdf作者來自史丹福大學和加州大學伯克利分校，包括計算機視覺領域的著名教授Jitendra
  • 2018上海交通大學學術之星出爐:做科研、發論文,都是頂尖學霸!
    本科畢業於山東大學。方向主要涵蓋新能源尤其燃料電池高性能電極催化材料的研發製備、溫室氣體CO2轉換為可利用燃料的研究及相關納米材料的可控制備等領域，並將多解決方案的新能源技術聯用，探索可持續的能源循環利用系統。已在《Nano Letters》、《Nano Energy》、《Advanced Materials》等著名期刊發表SCI論文26篇，被引次數近500次，谷歌學術h指數13。
  • 上海交通大學:硬核學霸來了!研究生「學術之星」名單出爐!
    獲得兩次研究生國家獎學金、唐立新獎學金、上海交通大學十大三好學生標兵等榮譽稱號，目前致力於常溫常壓下實現高效電催化還原CO2、N2等環境分子，以產生高經濟價值產物。　　本科畢業於吉林大學，保送至上海交通大學進行碩博連讀培養，期間獲得研究生國家獎學金、上海交通大學SMC一等獎學金，機械與動力工程學院研究生「學術之星」。　　博士期間在Mater. Horizons, Sens. Actuator B-Chem., Appl. Phys.
  • 西湖大學:新冠病毒表面S蛋白「劫持」人體ACE2蛋白入侵
    北京時間2月21日凌晨，西湖大學周強研究團隊在論文預印本網站BioRxiv再次發文，報導新冠病毒表面S蛋白受體結合結構域與細胞表面受體ACE2全長蛋白的複合物冷凍電鏡結構，揭開了新冠病毒入侵人體細胞的神秘面紗。
  • 新冠病毒入侵人體瞬間發生了什麼?西湖大學破解真相
    通訊員 馮怡 科技日報記者 劉園園北京時間2月21日凌晨，西湖大學周強研究團隊在論文預印本平臺BioRxiv發文，報導新冠病毒表面S蛋白受體結合結構域與細胞表面受體ACE2全長蛋白的複合物冷凍電鏡結構，揭開了新冠病毒入侵人體細胞的神秘面紗。
  • CVPR 2018 中國論文分享會之「分割與檢測」
    在第一個報告中，來自西北工業大學的戴玉超教授介紹了他們在物體檢測方面的工作。其工作的新穎之處在於，他們將較為經濟的但不太精確的傳統手工方法應用於深度學習網絡當中，即將傳統手工方法得到的結果視作預測結果 + 噪聲，從而作為監督信號來同時訓練預測模型和噪聲模型，實現了傳統方法在深度學習時代的又一春。
  • 上海交通大學張宇團隊發現深海冷泉有機碳來源的新機制
    針對這一科學難題，上海交通大學張宇團隊在Nature Communications發表文章Genomic and enzymatic evidence of acetogenesis by anaerobic methanotrophic archaea，發現了冷泉ANME古菌產乙酸的新途徑並解析了這一途徑的分子機制。