雪梨科技大學CVPR 2018論文:無監督學習下的增強人臉關鍵點檢測器

2020-12-14 雷鋒網

雷鋒網(公眾號：雷鋒網) AI 科技評論按：本文作者為雪梨科技大學博士生董宣毅（Xuanyi Dong），他根據 CVPR 2018 錄用論文 Supervision-by-Registration: An Unsupervised Approach to Improve the Precision of Facial Landmark Detectors 為 AI 科技評論撰寫了獨家解讀稿件。

Supervision-by-Registration 的整體框架

Supervision-by-Registration(SBR) 是一個訓練人臉關鍵點檢測器的算法框架，能夠利用無監督的方式增強任何基於圖像的人臉關鍵點檢測器。SBR 利用了物體在視頻中的運動比較平滑的特性來提升一個現有的人臉關鍵點檢測器。相比較其他人臉關鍵點檢測算法，SBR 不需要利用任何額外的人工標註信息就能提升檢測器的性能。下圖是 SBR 的框架示意圖。

SBR 使用的訓練數據是有標註的圖像數據和無標註的視頻數據。在訓練過程中，SBR 可以用無監督的方式從視頻中提取監督信息來優化檢測器（神經網絡）。在測試階段，使用 SBR 訓練的模型，可以在圖像或視頻數據上達到具有更高的精度，並且能讓在視頻中檢測結果更加穩定。

Supervision-by-Registration 的訓練過程

SBR 的訓練過程包含兩個損失函數。一個是檢測器損失函數，另一個是時序配準損失函數。這兩者可以相互補充讓人臉關鍵點檢測器更加魯棒。檢測器損失函數作用於模型檢測結果和人工標註上，優化使得在有標註的數據上，模型的檢測結果和人工標註儘可能的接近。時序配準損失函數是優化在連續幾幀內關鍵點檢測結果的時序一致性。具體來說，輸入連續的兩幀圖像 t-1 和 t，通過同一個人臉關鍵點檢測器後，可以得到對於第 t-1 幀的檢測結果和第 t 幀的檢測結果，我們將第 t-1 幀的檢測結果通過 Lucas-Kanade 算法跟蹤到第 t 幀得到結果，時序配準損失函數就是為了讓在第 t 幀上跟蹤得到的結果和檢測得到的，儘可能一致。值得注意的是，因為 Lucas-Kanade 算法不需要訓練且有封閉解，我們將 Lucas-Kanade 算法寫成了一個可求導的模塊嵌入到 CNN 中。在訓練的時候，檢測器損失函數利用人臉外觀信息通過人工標註學習關鍵點檢測器；時序配準損失函數通過嵌入 Lucas-Kanade 模塊保證了時序一致性。梯度可以通過 Lucas-Kanade 模塊傳給檢測模型使得檢測結果在相鄰幀上一致。

（對於不同的檢測器，檢測器損失函數可能有所不同，比如比較經典的 CPM 和 Hourglass 使用 mean squared error 來優化檢測器，也有一起些方法使用 L2 loss 優化。SBR 是一個通用的算法，可以作用於各種不同的人臉關鍵點檢測器，提升他們的性能。）

Supervision-by-Registration 是受什麼啟發提出來的？

目前訓練 CNN 模型需要大量的標註數據。然而標註大量的數據需要消耗很多的人力資源，並且人工標註往往不準確。如下圖所示是在兩張嘴的圖片上標註 16 個關鍵點的位置，一個顏色表示一個關鍵點，我們給出了九個標註人員的標註結果，可以發現每個標註人員對關鍵點的定位方差很大。這些標註誤差對訓練和測試模型會有很大的影響。因此，我們就想能不能使用一種不需要人工標註的監督信息來訓練 CNN 模型？基於這個目的，我們提出了 supervision be registration，利用視頻裡相鄰幀間時序一致性來作為監督信息。

為什麼文章裡顯示 Supervision-by-Registration 帶來的提高不是很多？

目前的人臉關鍵點檢測的評測指標主要是兩種，NME（Normalized Mean Error）和 AUC（Area Under Curve）。這兩個評價指標可以很好的衡量檢測結果和人工標註之前的差距，但是沒法很好地體現模型在視頻中的表現。一般的人臉關鍵點檢測器預測的關鍵點坐標在視頻中會出現很強的抖動現象，但是使用 SBR 訓練的人臉關鍵點檢測器的結果在視頻中十分穩定，這些提升目前還沒有很好的衡量方式，但是從演示視頻中可以清晰地體現出 SBR 的效果。


此處有動圖（https://raw.githubusercontent.com/facebookresearch/supervision-by-registration/master/cache_data/cache/demo.gif）

使用 Supervision-by-Registration 需要注意哪些細節？

SBR 的核心是時序配準損失函數，依賴於 Lucas-Kanade 跟蹤模塊，所以跟蹤的結果的好壞直接影響著 SBR 的效果。同時，檢測器預測的坐標是 Lucas-Kanade 跟蹤模塊的初始化坐標，只有當這個初始坐標大致準確的時候跟蹤才有意義。所以使用需要注意兩點，（1）當檢測器在標註圖片初始化好之後在開始使用 SBR 訓練。（2）選擇無標註的視頻時需要注意視頻的解析度/人臉大小/遮擋等條件來保證 Lucas-Kanade 跟蹤模塊能夠成功跟蹤。

Supervision-by-Registration 的相關資源

PyTorch Implementation：https://github.com/facebookresearch/supervision-by-registration

Facebook Research Blog：https://research.fb.com/publications/supervision-by-registration-an-unsupervised-approach-to-improve-the-precision-of-facial-landmark-detector

Demo Video : https://drive.google.com/file/d/19tLhPBb2f8S70jFk_WTUYKaJxVEsQGwX/view

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • CVPR 2018 中國論文分享會 之「人類、人臉及3D形狀」
    來自上海交通大學的盧策吾第一個報告，他介紹了他們在人體部分分割方面的工作。主要思想是在人體部分分割數據集難以獲取的情況下，通過知識遷移的方式，使用人體姿態數據集+少量人體部分分割數據集，實現弱監督或半監督的人體部分分割。第二個報告由來自北京郵電大學的趙凱莉介紹他們在人臉動作單元標註方面的工作。
  • 騰訊AI Lab 21 篇 CVPR 2018 錄用論文詳解
    科技評論按：CVPR 2018 日前已公布錄用名單，騰訊 AI Lab 共有 21 篇論文入選。本文轉載於「騰訊 AI 實驗室」，雷鋒網 AI 科技評論經授權轉載。近十年來在國際計算機視覺領域最具影響力、研究內容最全面的頂級學術會議 CVPR，近日揭曉 2018 年收錄論文名單，騰訊 AI Lab 共有 21 篇論文入選，位居國內企業前列，我們將在下文進行詳解，歡迎交流與討論。去年 CVPR 的論文錄取率為 29%，騰訊 AI Lab 共有 6 篇論文入選。
  • 詳解AI Lab 21篇CVPR 2018論文(附論文)
    人臉識別的核心任務包括人臉驗證和人臉辨識。然而，在傳統意義上的深度卷積神經網絡的softmax代價函數的監督下，所學習的模型通常缺乏足夠的判別性。為了解決這一問題，近期一系列損失函數被提出來，如Center Loss，L-Softmax，A-Softmax。所有這些改進算法都基於一個核心思想:增強類間差異並且減小類內差異。
  • CVPR 2020 | 打破傳統的無監督人臉旋轉方案:Rotate-and-Render
    本期CVPR 2020論文解讀，圍繞無監督學習，精選1篇來自商湯和香港中文大學研究團隊合作的錄用論文《Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images》。
  • 計算機視覺「奧斯卡」CVPR 2020公布收錄論文
    在論文接收率下降的同時，中國科技企業被錄取論文數量卻不降反增，百度作為AI代表企業今年中選22篇，比去年的17篇增加了5篇。　　近年來，CVPR蓬勃發展的重要原因,很大一部分是源自於中國科技公司的貢獻。
  • 一騎絕塵 商湯科技44篇論文入選CVPR 2018
    商湯科技、香港中文大學-商湯科技聯合實驗室以及其他商湯科技聯合實驗室共有44篇論文被本屆CVPR大會接收，其中包括口頭報告論文3篇（錄取率僅62/3300 = 1.88%），亮點報告論文13篇，論文錄取數量相較於CVPR 2017的23篇又有大幅度提高，成績斐然。全球領先的科研成果展示了商湯科技智能視覺領域強大的人才儲備、科研底蘊和創新能力。
  • 一騎絕塵 商湯科技 44 篇論文入選 CVPR 2018
    商湯科技、香港中文大學-商湯科技聯合實驗室以及其他商湯科技聯合實驗室共有 44 篇論文被本屆 CVPR 大會接收，其中包括口頭報告論文 3 篇（錄取率僅 62/3300 = 1.88%），亮點報告論文 13 篇，論文錄取數量相較於 CVPR 2017 的 23 篇又有大幅度提高，成績斐然。全球領先的科研成果展示了商湯科技智能視覺領域強大的人才儲備、科研底蘊和創新能力。
  • 商湯科技入選 CVPR 2018 的 44 篇論文,都研究什麼?
    全球計算機視覺頂級會議 IEEE CVPR 2018 (Computer Vision and Pattern Recognition，即 IEEE 國際計算機視覺與模式識別會議) 即將於六月在美國鹽湖城召開，本屆大會總共錄取來自全球論文 979 篇。
  • CVPR2019無人駕駛相關論文
    點擊文末「閱讀原文」立刻申請入群~CVPR2019 accepted list ID已經放出，極市已將目前收集到的公開論文總結到github上（目前已收集210篇），後續會不斷更新，歡迎關注，也歡迎大家提交自己的論文：https://github.com/extreme-assistant/cvpr2019
  • 歷年 CVPR 最佳論文盤點(2000 年——2018 年)
    （接收論文列表：http://cvpr2019.thecvf.com/files/cvpr_2019_final_accept_list.txt）正當學界紛紛議論各單位獲接收論文多寡的當兒，雷鋒網 AI 科技評論為大家精心整理了一份從 2000 年——2018 年的 CVPR 最佳論文清單，藉此對這批計算機領域的重要論文進行複習
  • 中國AI「再戰」視覺頂會CVPR:百度全方位參與 入選論文達22篇
    在論文接收率下降的同時，中國科技企業被錄取論文數量卻不降反增，百度作為AI代表企業今年中選22篇，比去年的17篇增加了5篇。 近年來，CVPR蓬勃發展的重要原因,很大一部分是源自於中國科技公司的貢獻。
  • 百度Apollo全新車輛識別方法等多篇論文收錄CVPR
    近年來，CVPR蓬勃發展的重要原因,很大一部分是源自於中國科技公司的貢獻。本次會議中，百度入選的22篇論文，全面涵蓋視覺領域下的自動駕駛中的車輛檢測、人臉檢測&識別、視頻理解&分析、圖像超分辨及場景實例級分割等眾多熱門子領域，也向國際領域展示了中國視覺技術水平的深厚積累。
  • 歷年 CVPR 最佳論文盤點
    接收論文列表： 　　http://cvpr2019.thecvf.com/files/cvpr_2019_final_accept_list.txt 　　正當學界紛紛議論各家獲接收論文多寡的當兒，雷鋒網 AI 科技評論為大家精心整理了一份從 2000 年——2018 年的 CVPR 最佳論文清單
  • 全球計算機視覺頂會CVPR 2020論文出爐:騰訊優圖17篇論文入選
    本屆大會涵蓋人體識別、基於圖像建模、計算攝影與圖像、視頻分析與事件識別、臉部和手勢分析、文件分析、統計方法與學習等多個主題。騰訊被收錄的論文涉及主題廣泛，涵蓋類比學習、人臉識別、物體檢測、行人重識別等熱門及前沿領域，這些最新科研成果展示了騰訊在計算機視覺領域的技術實力，同時也將對計算機視覺算法落地化應用起到助推作用。
  • 騰訊優圖CVPR 2018論文:圖片去模糊及快速肖像處理等多項技術解讀
    騰訊優圖實驗室繼在 ICCV 有 12 篇論文被收錄（含 3 篇口頭報告）後，在今年的 CVPR 2018 上有多篇論文被錄用，也憑藉這一點在雷鋒網學術頻道 AI 科技評論旗下資料庫項目「AI 影響因子」中有相應展示。騰訊優圖團隊將對其中兩篇論文做詳細介紹，並簡要介紹其它論文。
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    它有效地利用了相關物體間的有用的上下文情境信息（contextual information），並且改進了目前最先進的主動定位模型（active localization models）論文：Neural Aggregation Network For Video Face Recognition簡介：傳統的深度學習方法在進行人臉識別時需要對每一幀都進行特徵提取，這樣的效率是很低的
  • CVPR 2018獎項出爐:兩篇最佳論文,何愷明獲PAMI 青年研究員獎
    Zamir 等人獲得 CVPR2018 的最佳論文（Best Paper Award）；來自卡內基梅隆大學的 Hanbyul Joo 等人獲得了本屆大會最佳學生論文獎（Best Student Paper Award）。此外，Tübingen 大學教授 Andreas Geiger 與 FAIR 研究科學家何愷明獲得本屆大會的 PAMI 年輕學者獎。
  • 萬字長文詳解騰訊優圖 CVPR 2019 入選論文
    相對於有監督行人重識別（RE-ID）方法，無監督 RE-ID 因其更佳的可擴展性受到越來越多的研究關注，然而在非交疊的多相機視圖下，標籤對（pairwise label）的缺失導致學習鑑別性的信息仍然是非常具有挑戰性的工作
  • 新出爐的最佳論文:CVPR 2020線上分享,一作帶你玩轉無監督3D圖像重構
    新出爐的最佳論文：CVPR 2020線上分享，一作帶你玩轉無監督3D圖像重構 2020-06-29 17:08 來源：澎湃新聞·澎湃號·湃客
  • CVPR 2018 | 8篇論文、10+Demo、雙料挑戰賽冠軍,曠視科技掀起CVPR...
    因此，曠視科技團隊以高效卷積層設計減少計算複雜度的方式，提升了內存訪問效率和計算速度。在去年完成這一論文並投遞 CVPR 2018 後，團隊也並沒有止步於此，早在 VALSE 2018 上已對 V2 版本有所披露。