6月14-19 日，大家期待已久的國際計算機視覺與模式識別頂級會議 CVPR 2020 將舉行。
本屆CVPR共收到6656篇投稿，有1470篇論文被接收，錄用率約22%，創下十年以來的最低記錄。
雖然論文錄用難度增大，但在CVPR 2020上，優必選雪梨大學人工智慧研究中心再次展示計算機視覺研究實力，一共有12篇論文入選！
讓我們來了解一下此次入選的12篇論文。
1.基於姿態引導可見部分匹配下的遮擋行人重識別方法
摘要：遮擋環境下的行人重新識別是一項極具挑戰性的任務，因為不同類型的障礙物會使行人外觀發生巨大變化，特別是在密集人群場景中。為了解決這一問題，我們提出一種基於姿勢引導的可見部分匹配(PVPM)方法。該方法結合姿勢引導的注意力來學習更具判別性的特徵，並在端到端框架中自挖掘個身體部位的可見性。具體來說，我們提出的 PVPM 方法包括兩個關鍵部分：1) 基於姿勢引導的注意力（PGA）方法， 用於提取更具判別性的身體局部特徵；2) 基於姿勢引導的可見性預測器(PVP)，用於估計身體部位是否被遮擋。由於沒有被遮擋部分的可見性標註作為訓練真值，因此我們利用正樣本對的身體部位間的相關性，通過圖匹配的方式自挖掘部位間的相關值。然後我們將生成得到的相關值作為可見性預測器(PVP)的偽標籤。實驗結果表明，與現有方法相比，我們建議的方法具有競爭優勢。
特徵圖：提議的 PVPM 方法的流程圖。
參考文獻：
Shang Gao, et al., 「Pose-guided Visible Part Matching for Occluded Person ReID」, CVPR 2020.
2.一種利用語法預測動作的視頻字幕生成方法
摘要：視頻描述旨在使用自然語言描述視頻中的物體及其之間的關係。現有方法大多關注所生成的字幕中物體類別預測的準確性，但很少強調物體之間交互的預測（一般表示為所生成的句子中的動作/謂語）。與句子中的其他成分（比如主語、賓語、冠詞等）不同，謂語既依賴於視頻中的靜態場景（比如主語物體的類別），又與相關物體具體的運動有關。由於忽略了該特性，現有方法預測的謂語可能在很大程度上取決於物體的同現（co-occurrence）。例如，當視頻中同時有人和汽車被檢測到時，模型往往會在生成的字幕中預測出「開車」這一動作。在本文中，我們提出在普通seq2seq模型中嵌入一個利用語法預測動作(SAAT)的模塊，該模塊通過參考主語物體類別和視頻動態特徵來預測動作，進而指導字幕生成。具體而言，我們先通過判斷視頻中多個物體間的全局依賴關係來確定主語物體，然後結合主語類別和視頻動態特徵預測動作。在兩個公共數據集上的對比實驗表明，該模塊提高了所生成的視頻字幕中動作預測的準確性，以及與視頻中動態內容的語義一致性。
特徵圖：提議的模塊的示例。
參考文獻：
Qi Zheng, et al., 「Syntax-Aware Action Targeting for Video Captioning」, CVPR 2020.
3.PuppeteerGAN：實現任意人像視頻合成的語義感知外觀轉換算法
摘要：人像視頻合成旨在使用從目標視頻幀中檢測的人物動作、表情來驅動給定的靜態人像，以生成栩栩如生的視頻。該技術是許多現實娛樂應用的核心和基礎。近年來，儘管相關的算法在合成或控制人像方面取得了非常逼真的效果，但對於任意給定人像的視頻合成仍然面臨以下挑戰：1）生成人像的身份（臉型，髮型）不匹配問題；2）有限的訓練數據的限制；3）實際應用中低效率的重新訓練或微調訓練。為了解決這些挑戰，在本文中，我們提出了一種兩階段的、名為PuppeteerGAN的新算法。具體來說，我們首先訓練模型對人像的語義分割結果進行動作視頻生成，該過程保留了給定人像的臉型、髮型等身份信息。作為一種通用表示方法，語義分割結果可以適用於不同的數據集、環境條件或外觀變化。因此，我們得以在任何種類的人像之間完成動作、表情的遷移。隨後，我們對所得到的語義分割結果進行紋理和色彩的填充。為此，我們設計了一個外觀轉換網絡，通過結合語義表徵的形變技術和給定條件的生成技術，該網絡可以得到理想的高保真人像輸出。在完成訓練後，上述兩個網絡可以直接對新輸入的人像進行端到端推理，無需進行任何再訓練或微調訓練。在對不同身份，不同種類和不同解析度的人像視頻合成實驗中，所提出的PuppetterGAN 在生成質量和執行速度上都取得了優於現有算法的表現。
特徵圖：提議的 PuppeteerGAN 製作動畫人像的示例。
參考文獻：
Zhuo Chen, et al., 「PuppeteerGAN: Arbitrary Portrait Animation with Semantic-aware Appearance Transformation」, CVPR 2020.
4.FeatureFlow：基於結構到紋理生成的魯棒視頻插幀算法
摘要：視頻插幀算法旨在合成目標視頻中兩個連續幀之間未被記錄的幀。現有的基於光流的視頻插幀算法雖然取得了不錯的表現，但在處理複雜的動態場景時，例如遮擋、模糊、亮度突變等，仍面臨著很大的挑戰。其主要原因是這些複雜的視頻動態會破壞光流估計的基本假設，即平滑性和一致性。在本文中，我們提出了一種新型的結構到紋理生成框架，該框架將視頻插幀分為兩個階段：結構引導的插幀和紋理細化。在第一階段，具有結構感知的深度網絡表徵被用於預測兩個連續視頻幀之間的表徵流，並據此生成中間幀的結構指導圖像。在第二階段，根據所得到的結構指導圖像，一個紋理細化補償網絡進一步進行紋理細節的填充。據我們所知，這是第一個通過融合深度網絡表徵直接進行視頻插幀的算法。在基準數據集和具有挑戰性的遮擋情況下進行的實驗表明，我們所提出的框架優於現有最先進的方法。
特徵圖：提議的視頻插值框架生成的示例。
參考文獻：
Shurui Gui, et al., 「FeatureFlow: Robust Video Interpolation via Structure-to-texture Generation」, CVPR 2020.
5.低質量圖像分類的深度退化先驗
摘要：目前最先進的基於卷積神經網絡(CNN)的圖像分類算法通常是在高質量圖像的大型有標註數據集上訓練的。當將其應用於低質量圖像時，由於圖像退化破壞了鄰域內像素的結構和統計特性，其性能會有顯著的下降。針對這一問題，本文提出了一種用於低質量圖像分類的全新的深度退化先驗。該方法基於統計觀察，即在深度表示空間中，結構相似的圖像塊的分布也是均勻的，即使他們來自不同的圖像。並且，在相同退化條件下，低質量和高質量圖像中相應圖像塊的分布具有一致的間隔。因此，我們提出了一個特徵去漂移模塊(FDM)來學習低質量和高質量圖像的深度表示之間的映射關係，並將其作為低質量圖像分類的深度退化先驗(DDP)。由於統計特性與圖像內容無關，因此我們可以在沒有語義標籤的少量圖像訓練集上學習深度退化先驗，並以「插件」模塊的形式提高現有分類網絡在退化圖像上的性能。在基準數據集ImageNet-C上的實驗評估表明，在各種退化條件下，我們提出的DDP可以將預訓練網絡模型的準確性提高20%以上。即使在僅使用CUB-C數據集中的10張圖像訓練DDP的極端情況下，我們的方法也能將VGG16模型在ImageNet-C上的分類準確度從37%提高到55%。
特徵圖：提議的模塊的分布圖。
參考文獻：
Yang Wang, et al., 「Deep Degradation Prior for Low-quality Image Classification」, CVPR 2020.
6.針對基於骨架的動作識別的上下文感知圖卷積
摘要：圖卷積模型在基於骨架的人類動作識別任務中取得了令人矚目的成功。由於圖卷積是一種局部操作，它不能充分的考慮對動作識別至關重要的非局域關節。例如，像打字和拍手這樣的動作需要兩隻手的配合，而在人體骨架圖中，兩隻手彼此相距很遠。因此，多個圖卷積層往往疊加在一起。這樣做雖然增加了感受野，但計算效率低，優化難度大，仍然不能保證相距較遠的關節（如，雙手)能夠很好地結合在一起。在本文中，我們提出了一個上下文感知的圖卷積網絡(CA-GCN)。除了計算局部圖卷積外，CA-GCN 還通過整合所有其他節點的信息來為每個節點生成一個上下文項。因此，關節之間的遠距離依賴關係自然地集成在上下文信息中，從而免去了為擴大感受野而堆疊多層的需求，並大大簡化了網絡。此外，我們進一步提出了一種非對稱的相關性度量，和一種更高抽象層次的表示來計算上下文信息以獲得更大的靈活性和更好的性能，從而得到改進版 CA-GCN。除了關節特徵外，我們的 CA-GCN 還可以擴展到處理具有邊（肢體）特徵的圖像。在兩個真實數據集上進行的大量實驗證明了上下文信息的重要性以及 CA-GCN 在基於骨架的動作識別中的有效性。
特徵圖：提議的方法的說明。
參考文獻：
Xikun Zhang, et al., 「Context Aware Graph Convolution for Skeleton-Based Action Recognition」, CVPR 2020.
7.生成對抗網絡(GAN)中的正例和無標記樣本分類問題
摘要：本文定義了一個標準生成對抗網絡的正例和無標記樣本分類問題 (positive and unlabelled classification)，從而提出了一種穩定生成對抗網絡中判別器訓練的新技術。傳統上，真實數據被視為是正分類，而生成的數據則被視為負分類。在判別器的整個學習過程中，這個正負分類標準一直保持不變，沒有考慮到生成數據質量的逐步提高，即使有時生成的數據可能比真實數據更真實。相比之下，更合理的做法是將生成的數據視為未標記分類，根據其質量，可以是正分類也可以是負分類。因此，判別器是針對這類正未標記分類問題的一個分類器，由此我們得到一個新的正未標記生成對抗網絡(PUGAN)。我們從理論上討論了該模型的全局最優性和等效最優目標。通過實驗我們發現，PUGAN 可以達到的性能與那些複雜的判別器穩定方法相當甚至更好。
特徵圖：通過提議的方法獲得的生成樣本。
參考文獻：
Tianyu Guo, et al., 「On Positive-Unlabeled Classification in GAN」, CVPR 2020.
8.通過層次分解和組合學習看不見的概念
摘要：從已知的子概念中組合和識別新概念是一項具有挑戰性的基礎視覺任務，這主要是由於：1)子概念的多樣性；2)子概念與其對應的視覺特徵之間錯綜複雜的上下文關係。然而，目前的大多數方法只是簡單地將上下文關係視為死板的語義關係，而未能捕獲細粒度的上下文關聯。我們建議以分層分解和組合的方式來學習看不見的概念。考慮到子概念的多樣性，我們的方法將每個可見的圖像按照其標籤分解成視覺元素，並在其各自的子空間中學習相應的子概念。為了對子概念及其視覺特徵之間複雜的上下文關係進行建模，我們從這些子空間以三種層次形式生成組合，並在統一的組合空間中學習組合的概念。為了進一步細化捕獲的上下文關係，我們定義了自適應半正概念，然後利用偽監督技術從生成的組合中學習。我們在兩個具有挑戰性的基準上驗證了所提出的方法，並證明了其優於目前最先進的方法。
特徵圖：提議的方法的流程圖。
參考文獻：
Muli Yang, et al., 「Learning Unseen Concepts via Hierarchical Decomposition and Composition」, CVPR 2020.
9.學習 Oracle 注意力以實現高保真面部補全
摘要：高保真人臉補全是一個具有挑戰性的任務，因為要涉及豐富和微妙的面部紋理。更複雜的是面部不同要素之間的相互關係，例如，兩隻眼睛之間的紋理和結構的對稱性。最近的研究雖然採用了注意力機制來學習面部元素之間的語境關係，但在很大程度上忽略了注意力分數不準確帶來的災難性影響；此外，這些研究人員並未充分關注完成結果在很大程度上決定了人臉圖像的真實性的面部要素。因此，我們在本文中設計了一個基於 U-Net 結構的人臉補全綜合框架。具體來說，我們提出了一個用來從多個尺度有效學習面部紋理之間的相互關係的雙重空間注意力模塊；此外，我們還為注意力模塊提供了一個用來確保獲得的注意力分數是合理的 Oracle 監控信號。此外，我們還將人臉元素的位置作為先驗知識，並對這些區域施加一個多重判別器，從而顯著提高了面部元素的保真度。在包括 CelebA-HQ 和 Flickr-Faces-HQ 在內的兩個高解析度人臉數據集上進行的大量實驗表明，我們所提出的方法在很大程度上優於目前最先進的方法。
特徵圖：提議的模型的整體架構。
參考文獻：
Tong Zhou, et al., 「Learning Oracle Attention for High-fidelity Face Completion」, CVPR 2020.
10.從圖卷積網絡中提取知識
摘要：現有的知識提取方法側重於卷積神經網絡(convolutional neural networks, CNNs)，即圖像等輸入樣本位於一個網格域中，而在很大程度上忽略了處理非網格數據的圖卷積網絡(graph convolutional networks, GCN)。在本文中，以我們所知，是我們首次提出採用一個專門方法從一個預先訓練的 GCN 模型中提取知識。為了實現知識從教師 GCN 到學生 GCN 的轉移，我們提出了一個顯式解釋了教師 GCN 的拓撲語義的局部結構保留模塊。在此模塊中，來自教師 GCN 和學生 GCN 的局部結構信息被提取為分布，因此，這些分布之間的距離降到了最低，使得來自教師 GCN 的拓撲感知的知識得以實現轉移，從而生成一個緊湊的、高性能的學生 GCN 模型。此外，我們提出的方法可以很容易擴展到教師 GCN 和學生 GCN 的輸入圖像可能不同的動態圖模型。我們使用不同架構的 GCN 模型在兩個不同的數據集上對所提出的方法進行了評估。結果證明，我們的方法讓 GCN 模型的知識提取性能達到了目前的最高水準。
特徵圖：提議的 GCN 知識提取方法的框架。
參考文獻：
Yiding Yang, et al., 「Distillating Knowledge from Graph Convolutional Networks」, CVPR 2020.
11.GPS 網絡：用於場景圖生成的圖像屬性感知網絡
摘要：場景圖生成(SGG)的目的是檢測圖像中的對象及其兩兩關係。三個關鍵的場景圖屬性在最近的研究中尚未得到充分的探索，即邊緣方向信息、節點之間優先級的差異以及關係的長尾分布。因此，我們在本文中提出了一種可以充分挖掘 SGG 的這三種屬性的圖像數據屬性感知網絡(GPS-Net)。首先，我們提出了一種新的消息傳遞模塊，其利用特定於節點的上下文信息來增強節點特徵，並通過一個三線性模型對邊緣方向信息進行編碼。其次，我們引入了一個節點優先級敏感損耗來反映節點之間在訓練過程中的優先級差異。這通過設計一個可以在焦損中調整聚焦參數的映射函數來實現。第三，由於關係的頻率受到長尾分布問題的影響，我們通過首先軟化分布，然後根據每個主-客體對的視覺外觀對其進行調整來緩解這個問題。系統性實驗驗證了該方法的有效性。此外，我們的模型在三個數據集（OpenImage、Visual Genome、VRD）上都達到了目前最優結果，在不同的設置和指標下均有顯著提高。
特徵圖：提議的網絡的架構。
參考文獻：
Xin Lin, et al., 「GPS-Net: Graph Property Sensing Network for Scene Graph Generation」, CVPR 2020.
12.利用遞歸特徵推理修復圖像
摘要：現有的圖像修補方法在修復常規或微小圖像缺陷方面取得了良好的效果。然而，由於缺乏對孔洞中心的限制，連續大孔的填充仍然很困難。我們在本文中設計了一個主要由一個即插即用的遞歸特徵推理模塊和一個知識一致注意力(KCA)模塊構成的遞歸特徵推理(RFR)網絡。類似於人類解決難題的方式（即先解決較簡單的部分，然後將結果用作解決困難部分的補充信息），RFR 模塊遞歸地推導出卷積特徵圖的孔洞邊界，然後以此作為線索進行進一步推斷。該模塊逐步加強了對孔洞中心的限制，讓結果變得明確。為了從 RFR 的特徵圖中捕獲遠處的信息，我們進一步開發了 KCA 模塊，並將其納入 RFR 網絡中。實驗上，我們首先將 RFR 網絡與現有的主幹網絡進行比較，證明 RFR 網絡更為有效。例如，對於相同的模型大小，結構相似度(SSIM)提高了 4%。然後，我們將 RFR 網絡置於當前最先進的環境中，在這種環境中，其性能表現更好。
特徵圖：提議的修複方案概述。
參考文獻：
Jingyuan Li, et al., 「Recurrent Feature Reasoning for Image Inpainting」, CVPR 2020.
（王新）
[ 責編：馮浩 ]