直播 | Circle Loss:從對相似性優化的統一視角進行深度特徵學習

2021-03-02 PaperWeekly

「PW Live」是 PaperWeekly 的學術直播間，旨在幫助更多的青年學者宣傳其最新科研成果。我們一直認為，單向地輸出知識並不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產生更大的價值。

本期 PW Live，我們邀請到曠視科技上海研究院算法研究員程昌茂，為大家帶來Circle Loss：從對相似性優化的統一視角進行深度特徵學習的主題分享。

對本期主題感興趣的小夥伴，6 月 16 日（周二）晚 7 點，我們準時相約 PaperWeekly B 站直播間。

深度特徵學習一直受到學術界的廣泛關注，眾多的損失函數被提出用於學習好的特徵表示。例如，用於分類學習的 softmax cross entropy loss 及其變種 AM-Softmax（CosFace）、ArcFace 等，用於樣本對距離優化的 contrastive loss 和 triplet loss 等。

本次分享的是我們在這一問題上的研究工作 Circle Loss: A Unified Perspective of Pair Similarity Optimization (CVPR2020 Oral)。該工作從對相似性優化的統一視角解讀深度特徵學習：當前的多數損失函數（包括 softmax cross entropy loss 和 triplet loss）將類內相似性

深度特徵學習經典範式

基於統一視角泛化損失函數表達

Circle Loss的技術貢獻和性能分析

程昌茂，曠視科技上海研究院算法研究員，碩士畢業於復旦大學。研究方向為深度特徵表示學習。發表過數篇計算機視覺頂級會議論文。

本次直播將在 PaperWeekly B 站直播間進行，掃描下方海報二維碼或點擊閱讀原文即可免費觀看。線上分享結束後，嘉賓還將在直播交流群內實時 QA，在 PaperWeekly 微信公眾號後臺回復「PW Live」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群裡。

相關焦點

  • CVPR 2020 Oral|曠視研究院提出Circle Loss,統一優化視角
    近日，大會官方論文結果公布，曠視研究院 16 篇論文被收錄，研究領域涵蓋人臉識別、實時視頻感知與推理、小樣本學習、遷移學習，3D 感知、細粒度圖像等眾多領域。本文是其中一篇 Oral 論文的解讀。在這篇論文中，研究者提出用於深度特徵學習的 Circle Loss，從相似性對優化角度正式統一了兩種基本學習範式（分類學習和樣本對學習）下的損失函數。
  • Siamese網絡,Triplet Loss以及Circle Loss的解釋的
    在對比損失中，你只是更新權重來最小化不同類的相似性或最大化相同類的相似性。另一方面，使用Triplet Loss，模型既會將正樣本輸入拉向錨，也會將負樣本輸入推離錨。此外，Circle loss引入了pair-wise標籤和class-level標籤的統一學習視角。給出了一個統一的公式，只要稍加修改就可退化為triplet loss或分類損失。
  • 【深度度量學習系列】MSloss及GPW框架是什麼?
    一、背景度量學習（Metric Learning）也叫距離度量學習（Distance Metric Learning），是一種傳統的機器學習方法，隨著深度學習的興起，將深度學習結合在度量學習這種傳統方法上也逐漸成為一種趨勢，即Deep Metric Learning。本文將解讀一篇深度度量學習論文，從中可以看到一種通用的樣本對加權框架,及一種度量學習損失函數。
  • 優化 | 從Mirror Descent的視角統一強化學習中的策略優化
    介紹一種求解強化學習問題的散度增廣策略優化算(Divergence-augmented Policy Optimization (DAPO))。DAPO主要是為了解決強化學習中policy optimization採樣效率低的問題，具體是解決在使用異策略數據和非線性函數(DNN)近似時優化過程十分不穩定的問題。
  • 深度學習中的損失函數總結以及Center Loss函數筆記
    北京 上海巡迴站 | NVIDIA DLI深度學習培訓NVIDIA 深度學習學院 帶你快速進入火熱的DL領域正文共5481個字，19張圖，預計閱讀時間14分鐘。損失函數度量的是預測值與真實值之間的差異.損失函數通常寫做L(y_,y).y_代表了預測值,y代表了真實值.
  • 多任務學習中各loss權重應該如何設計?
    作者列表中的Yarin Gal 是貝葉斯深度學習的重要人物。基本思想是估計每個任務的不確定度，每個loss除以不確定度，如果不確定度大，大體上相當於自動把loss的權重變小。Anticoder假設多個任務loss在同一個metric下，那幾乎不用統一，除了一些先驗幹預。各個任務可以得到平等對待。如果同一個metric下不同任務loss差別巨大，那就是任務訓練難度本身的問題。
  • 一種用於SLAM/SFM的深度學習特徵點 SuperPoint
    雖然過去了挺久，但是仍然是經典，值得學習這篇文章設計了一種自監督網絡框架，能夠同時提取特徵點的位置以及描述子。相比於patch-based方法，本文提出的算法能夠在原始圖像提取到像素級精度的特徵點的位置及其描述子。
  • 優化|要理解深度學習,必須突破常規視角去理解優化
    普林斯頓計算機科學教授 Sanjeev Arora 認為，常規的優化觀點只關注目標的價值和收斂的速度，而這對於日益重要的深度學習來說是遠遠不夠的。深度學習算法有一些重要的特性並不總是反映在目標值中。所以，要加深對深度學習的理解，還得超越常規視角。
  • 基於深度學習的商品檢索技術
    目前就職於百度深度學習研究院。主要從事商品檢索技術的研發。所在的識圖策略組包括商品搜索、相似搜索、相同搜索與圖像猜詞等方向。摘要商品檢索是一門綜合了物體檢測、圖像分類以及特徵學習的技術。近期，很多研究者成功地將深度學習方法應用到這個領域。
  • 【深度學習】一文讀懂機器學習常用損失函數(Loss Function)
    從損失函數的視角來看，它就成了log損失函數了。log損失函數的標準形式：將它帶入到上式，通過推導可以得到logistic的損失函數表達式，如下：二、平方損失函數（最小二乘法, Ordinary Least Squares ）最小二乘法是線性回歸的一種，最小二乘法（OLS）將問題轉化成了一個凸優化問題。在線性回歸中，它假設樣本和噪聲都服從高斯分布（為什麼假設成高斯分布呢？
  • LabVIEW實現深度學習,你還在用Python?
    為了幫助更多學員深入了解、學會掌握LabVIEW視覺深度學習的實際運用能力，從沒有任何Python，TensorFlow基礎學員，通過系統學習也能夠從零入門，一步步實現自己手動搭建深度學習平臺，學會調用視覺訓練模型、利用loss曲線觀察訓練，並對已開發調用AI模型的評估、優化。
  • 要理解深度學習,必須突破常規視角去理解優化
    深度學習算法有一些重要的特性並不總是反映在目標值中。所以，要加深對深度學習的理解，還得超越常規視角。深度學習時代，機器學習通常歸結為首先為手頭的學習任務定義合適的目標/成本函數，然後使用梯度下降的某種變體（通過反向傳播實現）來優化這個函數。難怪每年有數以百計的機器學習論文貢獻給優化的不同領域。
  • 度量學習中的pair-based loss
    知乎專欄：計算機視覺隨便記未經作者允許，請勿二次轉載度量學習度量學習（Metric Learning）是一種空間映射的方法，其能夠學習到一種特徵（Embedding）空間，在此空間中，所有的數據都被轉換成一個特徵向量，並且相似樣本的特徵向量之間距離小
  • 基於深度學習的商品檢索技術在服裝搭配中的應用
    這些特點決定了商品檢索是一項綜合性的圖像處理技術——它涉及圖像識別、檢測、特徵學習等各方面的內容。其中， 服裝垂類檢索是商品檢索中一個重要的問題。因為服裝包含非常多的細品類， 而且存在非常多的視覺變化， 如光照、形變、視角、尺度、背景影響等等。解決服裝檢索的技術能夠很好的被推廣到其他垂類上。當前，很多學者和研究機構都嘗試基於深度學習進行服裝檢索技術的探究與創新。
  • Softmax-based Loss Functions
    近年來，在人臉識別等領域對softmax loss進行了改進，使得既能夠充分利用softmax loss收斂快等良好性質，又能夠訓練獲得一個具有優良泛化性能的度量空間。這些改進方法大概能夠被劃分為歸一化（normalization）和增加margin.歸一化優化softmax loss需要增大
  • 【深度度量學習系列】​Triplet-loss原理與應用
    深度度量學習(Deep Metric Learning, DML)的一個經典的應用就是人臉識別，Google 的FaceNet模型使用Triplet-Loss刷新了當時人臉識別的記錄。Ranking loss的目的是去預測輸入樣本之間的相對距離，這個任務經常也被稱之為度量學習(metric learning)。深度度量學習(Deep Metric Learning, DML)的一個經典的應用就是人臉識別，Google的FaceNet模型使用Triplet-Loss刷新了當時人臉識別的記錄。
  • 深度學習模型訓練的一般方法(以DSSM為例)
    先統領性地提出深度學習模型訓練過程的一般思路和要點，再結合具體實例進行說明。全文問題和解決方案儘可能具備通用性，同樣適用於一般深度學習模型的訓練。深度學習模型訓練要素概圖為了使模型儘可能多地學到負樣本特徵，採用隨機負採樣為正樣本配平負樣，初期正負樣本1:4。由此引發了學習過程中最大的問題——模型無法收斂。使用隨機負採樣將負樣本變得豐富，本是正常操作，卻由此導致模型不能收斂(loss大多只在前三個epoch有明顯下降，最終loss與最初相比下降幅度不足1/4)，實在是不應該，這只能說明模型設計本身存在問題。
  • FAT:一種快速的Triplet Loss近似方法,學習更魯棒的特徵表示,並進行有噪聲標籤的提純
    而且，大量的三元組實際上是不重要的，也就是簡單樣本，對模型的優化其實是沒什麼用的。如果是隨機採樣的話，確實可以加速訓練，但是容易不收斂，所以現在都會使用各種困難樣本挖掘的方法。不過，這些困難樣本挖掘的方法會產生採樣的偏差，對於離群點會很脆弱。本文的貢獻：提出了FAT loss，提升了標準的triplet loss的效率。
  • 基於深度學習的人臉自動美妝與深度哈希算法
    此次大會包括7場特邀演講、4場獲獎演講、551篇同行評議論文的presentation，41場workshop、37堂tutorial、22個demo等。深度學習成為了IJCAI 2016的關鍵詞之一，以深度學習為主題的論文報告session共計有3個。本期我們從中選擇了兩篇深度學習領域的相關論文進行選讀，組織了相關領域的博士研究生，介紹論文的主要思想，並對論文的貢獻進行點評。
  • 語義分割之dice loss深度分析(梯度可視化)
    dice loss 定義dice loss 來自 dice coefficient，是一種用於評估兩個樣本的相似性的度量函數，取值範圍在0到1之間，取值越大表示越相似。可見dice loss是直接優化F1 score。