全球計算機視覺頂會CVPR 2020論文出爐:騰訊優圖17篇論文入選

2020-12-14 手機鳳凰網

全球計算機視覺頂級會議CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition,即IEEE國際計算機視覺與模式識別會議) 即將於2020年6月14日-19日在美國西雅圖召開。本屆大會總共錄取來自全球論文1470篇,騰訊優圖實驗室入選17篇。

作為計算機視覺領域世界三大頂會之一,CVPR 的論文投稿量近三年持續大漲,CVPR官網顯示,今年大會論文有效投稿數量6656篇,最終錄取1470篇,錄取率僅為22%,相比去年降低3個百分點。

本屆大會涵蓋人體識別、基於圖像建模、計算攝影與圖像、視頻分析與事件識別、臉部和手勢分析、文件分析、統計方法與學習等多個主題。騰訊被收錄的論文涉及主題廣泛,涵蓋類比學習、人臉識別、物體檢測、行人重識別等熱門及前沿領域,這些最新科研成果展示了騰訊在計算機視覺領域的技術實力,同時也將對計算機視覺算法落地化應用起到助推作用。

以下為部分騰訊優圖入選CVPR2020的論文:

1、神經網絡的濾波器嫁接技術

Filter Grafting for Deep Neural Networks

神經網絡存在天然的無效濾波器,濾波器剪枝(filter pruning)技術主要對無效的濾波器進行移除使網絡的推理速度增加。然而在這篇文章中,優圖提出濾波器嫁接(filter grafting)技術。和pruning相反,優圖並不是移除網絡的無效濾波器,而是通過引入外部信息的方法來激活無效濾波器使之重新發揮作用。激活的方式為將其他網絡的有效濾波器的參數嫁接到無效濾波器上。為了更好地發揮grafting的性能,優圖同時提出了信息熵相關的指標評估濾波器的好壞,並用自適應的方式來平衡嫁接網絡和被嫁接網絡的參數。通過大量的實驗,表明grafting後的網絡在有效濾波器的數量上和模型性能上均有大幅度的提高。

2、類比學習:基於變換的無監督光流估計

Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation

利用視圖合成,進行光流的無監督學習,逐漸成為替代光流監督學習的一類方法。但是在一些劇烈變化的場景上,可能會違背無監督學習的目標,反而導致學習效果不好。這篇文章中,優圖提出了一種稱為「增廣正則化」的學習框架。該框架在一些常規學習框架基礎上,利用增廣變換的數據多做一次前向,並利用原始數據的變換預測作為監督。在文章中,優圖進一步拓展網絡,支持共享光流解碼器的多視圖輸入。在多個benchmark上,與其它的無監督方法比,以顯著的效果提升,取得了當前最好的正確率。另外,優圖提出的無監督方法,使用更少的參數量,就可以媲美最近一些監督方法的效果。

3、面向密集多角度物體檢測的動態修正網絡

Dynamic Refinement Network for Oriented and Densely Packed Object Detection

目前主流的物體檢測⽅方法在旋轉(rotated)及密集排列(densely packed)⽬標場景下,檢測性能顯著下降。騰訊優圖認為主要原因是:深度神經⽹網絡中同層神經元感受野、形狀、⻆角度單一,不適合處理多⻆度、多形狀的目標;模型學到的一般性知識不具備針對特定樣本⾃適應調整的能力。針對以上兩點,優圖提出動態修正⽹絡(Dynamic Refinement Network,圖1)。具體說來:(1) 設計了自適應感受野調整模塊,使模型能夠根據目標形狀、旋轉角度⾃適應地調整感受野,緩解單一的感受野與多變的⽬標之間的矛盾。(2)針對分類與回歸任務設計了動態修正分類器 (圖2(左))與動態修正回歸器(圖2(右)),使模型兼顧靜態知識(statistic knowledge)和動態知識(dynamic knowledge)的學習,賦予模型依據樣本自適應調整的能⼒。結合以上兩點, 優圖設計了統一的動態修正網絡。在當前著名的密集旋轉目標檢測數據集 (DOTA、HRSC2016、 SKU110K)上,該⽅法均取得了新的最佳性能。

4、自適應課程學習人臉識別函數

CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition

人臉識別中常用損失函數主要包括兩類,基於間隔或者難樣本挖掘。前一類方法對所有樣本都採用一個固定的間隔值,忽略了樣本自身的難易信息。後一種方法則在整個網絡訓練周期都強調困難樣本,可能導致網絡無法收斂問題。在工作中,優圖基於課程學習的思路,提出了一種新的自適應課程學習損失函數。在訓練初始階段,方法主要關注容易的樣本;隨著訓練進行,逐漸關注較難的樣本。同時,在同一個訓練階段,不同的樣本根據其難易程度被賦予不同的權值。在常用的多個人臉識別benchmark上,該方法相較於SOTA方法都取得了穩定一致的提升。

5、基於注意力卷積二叉神經樹的細粒度視覺分類

AttentionConvolutionalBinaryNeuralTree for Fine-Grained Visual Categorization

本文由騰訊優圖實驗室和中科院軟體所聯合提出。細粒度視覺分類(Fine-Grained Visual Categorization,FGVC)因樣本類間差異更加細微,往往只能藉助微小的局部差異才能區分出不同的類別,使其成為一項重要但具有挑戰性的任務。本文提出了一種基於注意力機制的卷積二叉神經樹結構。具體來說,將傳統的決策樹與神經網絡結合,在樹的內部節點中使用路由來確定樹內從根到葉的計算路徑,並且在樹的邊上添加了卷積操作增強表示學習,最終決策融合了所有葉節點的預測。該模型以一種由粗到細的層次方式學習具有判別力的特徵。此外,採用非對稱的策略來增加多尺度特徵提取,增強樣本的區分性特徵表示。採用SGD優化方法以端到端的方式訓練整個網絡。該方法在CUB-200-2011,Stanford Cars 和 Aircraft數據集上進行了評估,顯著優於當前其他的弱監督細粒度方法。

6、基於注意力機制及多關係檢測器的小樣本物體檢測

Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector

本文由香港科技大學和騰訊優圖實驗室聯合提出。目標檢測網絡已經被廣泛應用到安保,自動駕駛,醫學圖像等各個領域。然而傳統的目標檢測網絡需要使用大量高質量的訓練樣本對模型進行訓練。這些訓練樣本需要大量的人力物力進行標註,往往無法快速獲得,所以無法將目標檢測模型快速部署到新樣本的檢測中,而小樣本目標檢測方法可以很好地解決這一問題。聯合團隊提出了一種基於深度孿生網絡的小樣本目標檢測模型,通過基於注意力機制的候選框網絡,多關係檢測器以及三元組對比訓練方法對網絡進行改進,使得網絡能夠不對新物體重新訓練即可應用於新類別檢測。此外,文章中提供了一個1000類的小樣本物體檢測數據集,希望可以方便該領域的研究。

該聯合團隊的工作主要有以下貢獻:首先,使用注意力機制對物體檢測候選框進行篩選。將待檢測新物體的特徵作為濾波器在輸入圖片上進行卷積,以此找出潛在的候選框區域。然後,使用多關係檢測器對這些候選框進行分類以及位置調整。多關係檢測器對候選框和新物體進行像素級、區域級和全圖級的多級關係匹配,以此找出匹配程度最高的區域作為檢測輸出。最後,構建(目標樣本,正樣本,負樣本)訓練樣本三元組對模型進行訓練,使得網絡能夠同時學習到相同物體間的相似性和不同物體間的差異性,從而大大提升網絡在新樣本上的檢測性能。該方法在多個數據集上均取得了最好的結果,且無需在新物體上進行任何訓練。其基本框架圖如下:

7、基於顯著性引導級聯抑制網絡的行人重識別

Salience-Guided Cascaded Suppression Network for Person Re-identification

本文由北京大學、騰訊優圖和南方科技大學聯合提出。利用注意力機制對全局和局部特徵進行建模,作為最終的行人表徵,已成為行人再識別(Re-ID)算法的主流趨勢。這些方法潛在的局限性是,它們側重於提取最突出的特徵(顯著性特徵),但重新識別一個人可能依賴於不同情況下顯著性特徵所掩蓋的各種其他的線索,比如身體、衣服甚至鞋子等。為了解決這一局限性,聯合團隊提出了一種新的顯著性引導級聯抑制網絡(SCSN),該網絡使模型能夠挖掘多樣化的顯著性特徵,並通過級聯的方式將這些特徵集成融合到最終的特徵表示中。

聯合團隊的工作主要有以下貢獻:第一、我們觀察到,以前網絡學習到的顯著性特徵可能會阻礙網絡學習其他重要信息。為了解決這一局限性,引入了級聯抑制策略,該策略使網絡能夠逐級挖掘被其他顯著特徵掩蓋的各種潛在的、有用的特徵,並融合各級提取的特徵作為最後的特徵表示; 第二、提出一個顯著特徵提取(SFE)單元,該單元可以抑制在上一級聯階段學習到的顯著特徵,然後自適應地提取其他潛在的顯著特徵,以獲得行人的不同線索;第三、開發了一種有效的特徵聚合策略,充分增強了網絡提取潛在顯著特徵的能力。實驗結果表明,該方法在四個大規模數據集上的性能優於現有最好的方法。特別是,該方法在CUHK03數據集上比目前最好的方法提升7.4%。其基本框架圖如下:

8、概念歸因的卷積神經網絡的全局解釋

Towards Global Explanations of Convolutional Neural Networks with Concept Attribution

本文由騰訊優圖實驗室和香港中文大學合作完成。卷積神經網絡(CNN)的廣泛應用,使得解釋其行為變得越來越重要。其中,全局解釋因其有助於理解整個樣本類別的模型預測,最近引起了極大關注。但是,現有方法絕大多數都依賴於模型的局部逼近和對單個樣本預測的獨立研究,這使得它們無法反映出卷積神經網絡的真實推理過程。聯合團隊提出了一種創新的兩階段框架,即對可解釋性的攻擊(AfI),以更忠實地解釋卷積神經網絡。 AfI根據用戶定義的概念的重要性來解釋模型決策。它首先進行特徵遮擋分析,該過程類似於攻擊模型以得出不同特徵的重要性的過程,於是有能力學習全局解釋。然後,通過語義任務將特徵重要性映射到概念重要性,下圖展示了AfI的框架結構。實驗結果證實了AfI的有效性及其相比於現有方案的優越性。本文中還演示了其在提供卷積神經網絡理解方面的用例,例如基礎模型預測和模型認知中的偏差。

9、基於注意力機制提高對抗可遷移性

Boosting the Transferability of Adversarial Samples via Attention

本文由騰訊優圖實驗室和香港中文大學合作完成。 深度學習模型的廣泛部署使得在實踐中評估模型的魯棒性成為必需,尤其是對於安防領域和安全敏感領域例如自動駕駛和醫療診斷。攻擊是一種重要的衡量模型魯棒性的方式,其中針對深度網絡圖像分類器生成對抗圖像是最基本和公認的任務之一。 最近,針對圖像分類器的基於遷移的黑盒攻擊引起了越來越多的興趣。這種攻擊方式,攻擊者需要基於本地代理模型來製作對抗性圖像,而沒有來自遠端實際目標的反饋信息。 在這種具有挑戰性的設置下,由於對所使用的本地模型的過度擬合,合成的對抗性樣本通常無法獲得良好的成績。因此,文章中提出了一種新穎的機制來減輕過度擬合的問題,從而增強黑盒攻擊的可遷移性。不同的網絡架構例如VGG16,ResNet,Inception在識別圖片時會有相似的圖像注意力,比如都傾向於注意貓臉來識別貓。基於此,通過模型提取特徵的注意力梯度來規範對抗性示例的搜索。 這種基於注意力規約的對抗樣本搜索使得聯合團隊可以優先考慮攻擊可能被各種體系結構共同關注的關鍵特徵,從而促進結果對抗實例的可遷移性。在ImageNet分類器上進行的大量實驗證實了文章中策略的有效性,進一步在白盒和黑盒兩種條件下對比了最新方法,該攻擊策略都表現出了一致的優越性。下圖呈現了我們的基於注意力機制的模型攻擊框架。

免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

相關焦點

  • ECCV 2020 | 騰訊優圖8篇論文入選,涵蓋目標跟蹤、行人重識別...
    近日,計算機視覺方向的三大國際頂級會議之一的ECCV 2020公布論文獲獎結果。本次ECCV 2020有效投稿5025篇,最終被接受發表論文1361篇,錄取率為27%,較上屆有所下降。ECCV (European Conference on Computer Vision,即歐洲計算機視覺國際會議)是國際頂尖的計算機視覺會議之一,每兩年舉行一次。隨著人工智慧的發展,計算機視覺的研究深入和應用迅速發展,每次舉行都會吸引大量的論文投稿,而今年ECCV的投稿量更是ECCV 2018的兩倍還多,創下歷史新高。
  • 萬字長文詳解騰訊優圖 CVPR 2019 入選論文
    今年有超過 5165 篇的大會論文投稿,最終錄取 1299 篇。此次,騰訊公司有超過 58 篇論文被本屆 CVPR 接收,其中騰訊優圖實驗室 25 篇、騰訊 AI Lab 33 篇,以下便是對騰訊優圖實驗室 25 篇被錄用論文的詳細介紹。1.
  • 騰訊優圖11篇論文入選,涵蓋動作識別、人群密度估計、人臉安全等...
    近日,國際人工智慧頂級會議AAAI 2021公布了論文錄取結果。AAAI是人工智慧領域最悠久、涵蓋內容最為廣泛的國際頂級學術會議之一。AAAI 2021一共收到9034篇論文提交,其中有效審稿的數量為7911篇,最終錄取數量為1692篇,錄取率為21.4%。
  • 騰訊優圖11篇論文入選,涵蓋動作識別、人群密度估計、人臉安全等領域
    近日,國際人工智慧頂級會議AAAI 2021公布了論文錄取結果。AAAI是人工智慧領域最悠久、涵蓋內容最為廣泛的國際頂級學術會議之一。AAAI 2021一共收到9034篇論文提交,其中有效審稿的數量為7911篇,最終錄取數量為1692篇,錄取率為21.4%。
  • 百度的CVPR2020高光時刻——22篇論文 8項冠軍 2場Workshop
    近日,全球計算機視覺頂會CVPR 2020首次召開線上大會,百度不僅入選22篇接收論文,一舉拿下8項挑戰賽冠軍,涵蓋視頻動作分析、動作識別、圖像增強、智慧城市等多個領域,還主辦了2場重量級學術Workshop,在國際舞臺盡顯中國AI硬實力。這不僅從側面反映了百度傾斜AI「新基建」的策略已有成效,也再次讓中國自有的深度學習平臺飛槳閃耀全球。
  • 業界| 23篇論文入選CVPR2017, 商湯科技精選論文解讀
    2017 年 7 月 11 日,專注於計算機視覺和深度學習的國內人工智慧企業商湯科技完成 4.1 億美元融資的消息引爆業內。本次融資創下了全球人工智慧公司單輪融資的最高紀錄。作為一家專注於計算機視覺和深度學習的新銳公司,在即將到來的世界頂級計算機視覺會議 CVPR(7 月 21 日-26 日,美國夏威夷)上,商湯科技也將帶來一系列的技術 Demo、Presentation、PartyTime 等活動。在本屆 CVPR 2017 大會上,商湯科技及香港中大-商湯科技聯合實驗室共有 23 篇論文被接收。錄取論文中不乏新奇有趣的題目,詳細內容歡迎會場和作者深度交流。
  • 商湯科技44篇論文入選CVPR 2018
    速途網5月10日消息,全球計算機視覺頂級會議 IEEE CVPR 2018 (Computer Vision and PatternRecognition,即IEEE國際計算機視覺與模式識別會議) 即將於六月在美國鹽湖城召開,本屆大會總共錄取來自全球論文979篇。
  • 騰訊優圖刷新人體姿態估計國際權威榜單,相關論文被 ECCV2020 收錄
    近日,騰訊優圖實驗室在人體2D姿態估計任務中獲得創新性技術突破,其提出的基於語義對抗的數據增強算法Adversarial Semantic Data Augmentation (ASDA),刷新了人體姿態估計國際權威榜單。
  • 華人一作獲最佳論文獎,第四大視覺頂會BMVC大獎出爐!
    作者 | 陳大鑫近日,BMVC 2020最佳論文獎、最佳論文獎亞軍、最佳學生論文獎、最佳學生論文獎亞軍、最佳工業論文獎等五項大獎出爐。其中最佳論文獎四位作者當中包含一作在內有三位是加利福尼亞大學戴維斯分校以及英偉達公司的國人/華人學生。
  • 雲知聲- CMU 合作論文入選全球 AI 頂會 NeurIPS 2020
    在官方公布的論文入選名單中,雲知聲與 CMU (卡內基梅隆大學)張坤教授團隊等合作的針對機器學習典型的無監督領域自適應問題論文《Domain Adaptation As a Problem of Inference on Graphical Models》,憑藉基於數據驅動的圖模型框架解決方案的創新研究成功入選,彰顯了雲知聲在人工智慧與機器學習原創技術領域的持續創新能力。
  • CVPR2020即將舉行 優必選科技12篇入選論文搶先看
    6月14-19 日,大家期待已久的國際計算機視覺與模式識別頂級會議 CVPR 2020 將舉行。  本屆CVPR共收到6656篇投稿,有1470篇論文被接收,錄用率約22%,創下十年以來的最低記錄。
  • 刷新濾波器剪枝的SOTA效果,騰訊優圖論文入選NeurIPS2020
    近日,騰訊優圖實驗室在模型壓縮任務中獲得創新性突破,提出的基於濾波器骨架的逐條剪枝算法(Stripe-Wise Pruning,SWP),刷新了濾波器剪枝的SOTA效果。相關論文(Pruning Filter in Filter)已被機器學習領域的國際頂級會議Conference on Neural Information Processing Systems(NeurIPS 2020)收錄。
  • EMNLP 2018 | 騰訊AI Lab解讀16篇入選論文
    今年是騰訊 AI Lab 第 2 次參加 EMNLP,共有 16 篇文章入選,涵蓋語言理解、語言生成、機器翻譯等多個研究主題。以下為摘要解讀。此外,在今年的多個頂級學術會議中,騰訊 AI Lab 也入選多篇論文,位居國內企業前列,包括機器學習領域頂會 NIPS(20 篇)和 ICML(16 篇)、計算機視覺領域頂會 CVPR(21 篇)和 ECCV(19 篇),以及語音領域頂會 Interspeech(8 篇)等。
  • 對話頂會、解讀最佳:CVPR 2020最佳論文對CV領域的啟發
    CVPR 2020已落下帷幕,共計投稿6656篇,錄用1470篇,涵蓋的方向包括目標檢測、目標跟蹤、圖像分割、人臉識別、姿態估計、三維點雲、視頻分析、模型加速、GAN、OCR等。
  • 騰訊優圖: 多模態融合是計算機視覺技術發展的重要趨勢
    12月19日-20日,由騰訊發起的2020 Techo Park開發者大會於北京順利召開。作為面向全球開發者和技術愛好者的年度盛會,本次開發者大會針對行業開發者、ISV、科研機構、高校師生、創業公司、開源社區工程師等設置了很多的亮點內容和創新活動,來自國內外200多位技術大咖為大家帶來一場年度的技術嘉年華。
  • CVPR 2020論文開源項目一頁看盡,附代碼論文
    十三 發自 凹非寺量子位 報導 | 公眾號 QbitAICVPR 2020中選論文放榜後,最新開源項目合集也來了。本屆CPVR共接收6656篇論文,中選1470篇,「中標率」只有22%,堪稱十年來最難的一屆。刨去接受率低這件事,從論文本身出發,在中選論文中還是有很多值得我們去借鑑和學習的精品。今日GitHub上便出現了一個項目,將本屆CVPR論文開源項目做了個集合。
  • 2020最佳AI論文,都在這裡了
    由於全球新冠疫情仍未結束,今年不少學術會議延期或取消,召開的也大多在線上舉行。儘管2020年發生了很多事情,研究者們仍然為人工智慧技術的進步做出了大量重要的貢獻。為了讀者的方便,Bouchard 還非常貼心地為入選的每篇論文,都提供了視頻、短文介紹、論文連結和代碼地址,幫助大家更快速理解論文的核心內容,還能最快速度上手用起來。
  • 讓伺服器突破性能極限 阿里雲神龍論文入選計算機頂會ASPLOS
    疫情肆虐,全球多個科技領域盛會宣布改為線上舉辦,計算機領域頂會 ASPLOS也不例外。日前,ASPLOS 2020公布了計算機界最新科技成果,其中包括阿里雲提交的名為《High-density Multi-tenant Bare-metal Cloud》的論文,該論文闡述了阿里雲自研的神龍伺服器架構如何解決困擾雲計算行業多年的虛擬化性能損耗問題,打破物理機的性能神話,讓雲伺服器突破性能極限。
  • 百度大腦成為CVPR 2020大贏家 連奪八冠大秀中國AI水平
    近日,全球計算機視覺頂會CVPR 2020首次召開線上大會,百度不僅入選22篇接收論文,一舉拿下8項挑戰賽冠軍,涵蓋視頻動作分析、動作識別、圖像增強、智慧城市等多個領域,還主辦了2場重量級學術Workshop,在國際舞臺盡顯中國AI硬實力。
  • 鄭冶楓博士加入騰訊優圖,推動AI+醫療跨界融合
    雷鋒網(公眾號:雷鋒網) AI 科技評論消息,2018 年 1 月,醫療 AI 科學家鄭冶楓博士加盟騰訊優圖實驗室他至今共出版學術專著 3 本,在行業頂尖雜誌和會議上發表論文 100 多篇,被引用 4000 多次。共有將近 70 個美國專利申請和授權;很多專利也同時在多個國家(包括中國,德國,日本)獲授權。