圖片質量評估論文|無監督SER-FIQ|CVPR2020

2021-01-21 紙鶴視界

文章轉自:同作者微信公主號【機器學習煉丹術】。歡迎交流,共同進步。

論文名稱:SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness論文連結:https://arxiv.org/abs/2003.093730 綜述

這可能是我看CVPR論文中,唯一一個5分鐘就看完原理的論文了,簡單有趣。這一篇文章是CVPR2020的與圖像質量評估相關的文章,整體思想比較新穎,而且是無監督的方式,感覺構思不錯,我要好好讀讀這一篇。

1 細節

人臉質量評估的目的是評估一個人臉圖片與面部識別算法的適用性,什麼是高質量的人臉圖片?不是看的清晰的,而是可以正確被面部識別算法識別的。

基於這種思想,計算人臉識別算法的隨機子網絡的輸出的方差,得到圖片的魯棒性,從而反應圖片的質量,如下圖:

上圖中的隨機子網絡,其實就是dropout實現的全連接層,所以要求人臉識別模型中必須包含dropout層。

作者對於每個圖片,隨機構建了m個隨機子網絡,然後對m個輸出計算方差。我們用數學來表示這m個隨機子網絡的輸出:

\(X(I)=\{x_s\}, s \in {1,2,...,m}\)

其中I表示原始圖像,m為隨機子網絡的數量,\(s_m\)表示第m個隨機子網絡,輸入I的時候的輸出。

那麼我們用下面的公式來計算圖像I的quality score:

這樣質量分數是在0和1之間的一個數字。

這個流程圖也很簡單,跟我們剛才說的一樣。

2 總結

上圖是一個實驗結果圖,不同模型的之間的對比。論文後面用大量篇幅在各種人面識別模型和數據集上做實驗和對比,這裡就不多描述了。回頭有機會,這個方法可以試一試,簡單又有意思。

文章轉載自:https://www.cnblogs.com/PythonLearner/p/14279972.html

相關焦點

  • 歷年 CVPR 最佳論文盤點(2000 年——2018 年)
    (接收論文列表:http://cvpr2019.thecvf.com/files/cvpr_2019_final_accept_list.txt)正當學界紛紛議論各單位獲接收論文多寡的當兒,雷鋒網 AI 科技評論為大家精心整理了一份從 2000 年——2018 年的 CVPR 最佳論文清單,藉此對這批計算機領域的重要論文進行複習。
  • 華人問鼎CVPR!最佳論文最佳學生論文一作均為華人,清華最高產機構
    在接收主題方面,根據大會統計,視覺領域依然是當前最熱門的主題,遷移/low-shot/半監督/無監督學習緊隨其後,圖像與視頻合成、3D等也持續火熱。論文結果還顯示,BSP-Net的重構質量與最新技術相比具有競爭力,同時使用的原語更少。這篇論文的一作是華人研究員Zhiqin Chen,本科畢業於上海交通大學,現為西蒙弗雷澤大學博士一年級在讀學生。
  • CVPR2020 人體相關文章 - 2
    Body RelatedCVPR 2020 PapersCVPR 2020 人體相關的文章第二彈,第一彈見這裡,主要包含人體重建,2D/3D姿態估計,還有幾篇其他方面的人體文章,最後還包含幾篇人手重建相關的文章。  每一篇都超越了 state-of-the-art,每一篇都有可能是現在的 state-of-the-art!
  • 年度最精彩研究,CVPR 2017六篇最佳論文介紹(附打包下載)| CVPR...
    為了縮小這種差距,論文中提出了一種模擬+無監督的學習方式,其中的任務就是學習到一個模型,它能夠用無標註的真實數據提高模擬器生成的圖片的真實性,同時還能夠保留模擬器生成的圖片的標註信息。論文中構建了一個類似於 GANs 的對抗性網絡來進行這種模擬+無監督學習,只不過論文中網絡的輸入是圖像而不是隨機向量。
  • CVPR 2020 Oral |神奇的自監督場景去遮擋
    https://zhuanlan.zhihu.com/p/129300832該論文 Self-Supervised Scene De-occlusion 出自香港中文大學—商湯聯合實驗室與南洋理工大學。
  • 騰訊優圖CVPR 2018論文:圖片去模糊及快速肖像處理等多項技術解讀
    儘管使用神經網絡進行圖片去模糊並不是一個新想法,但騰訊優圖實驗室別出心裁的將物理直覺結合進來以促進模型訓練。在騰訊優圖實驗室新算法的論文中,其網絡模仿了一種被稱為「由粗到精」的成熟的圖像恢復策略。該策略首先將模糊圖像縮小成多種尺寸,然後從比較容易恢復的較小而偏清晰的圖像出發,逐步處理更大尺寸的圖片。每一步中產生的清晰圖像則可以進一步引導更大的圖像的恢復,降低了網絡訓練的難度。
  • 全球計算機視覺頂會CVPR 2020論文出爐:騰訊優圖17篇論文入選
    全球計算機視覺頂級會議CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition,即IEEE國際計算機視覺與模式識別會議) 即將於2020年6月14日-19日在美國西雅圖召開。本屆大會總共錄取來自全球論文1470篇,騰訊優圖實驗室入選17篇。
  • 把人騎馬變成人牽著馬,這篇 CVPR2020 論文實現語義級別圖像修改
    一篇 CVPR2020 的論文 Semantic Image Manipulation Using Scene Graphs 就聚焦圖片語義級別修改問題,實現針對場景圖的修改圖片生成問題。作者利用該模擬器生成如圖三所示的圖片,並對這些圖片進行修改,得到修改後的圖片,最終得到 21,310 對圖片。在該數據集上,作者將提出的無監督模型(訓練時僅使用原圖片)與有監督方法 sg2im(訓練時使用原圖片和修改後的圖片)進行對比,結果如圖 4 所示。可以看到,無監督方法在包含全部像素點的 4 個測評指標中,有一明顯超過有監督方法,一個與之不相上下。
  • CVPR 2020最佳學生論文分享回顧:通過二叉空間分割(BSP)生成緊湊3D...
    機器之心發布機器之心編輯部在近日舉行的 CVPR 2020 大會上,最佳論文、最佳學生論文等獎項悉數公布。在最新一期的機器之心 CVPR 2020 線上論文分享中,西蒙弗雷澤大學 (SFU) 博士一年級學生陳之欽以第一作者的身份向我們分享了這篇最佳學生論文。在這項研究中,西蒙弗雷澤大學和谷歌研究院的三位研究者提出了一種無監督方法,能夠通過 convex decomposition 生成緊湊的結構化多邊形網格。
  • 圖鴨科技 CVPR 2018 圖像壓縮挑戰賽奪冠,獲獎論文全解讀
    雷鋒網 AI 研習社按,在 CVPR 2018 機器學習圖像壓縮挑戰賽(CLIC)上,圖鴨科技壓縮團隊獲得壓縮算法 MOS 和 MS-SSIM 值第一名的成績,這是中國企業在該賽事上取得的最高名次
  • CVPR2020最佳學生論文分享回顧:通過二叉空間分割生成緊湊3D網格
    機器之心發布機器之心編輯部在近日舉行的 CVPR 2020 大會上,最佳論文、最佳學生論文等獎項悉數公布。加拿大西蒙弗雷澤大學陳之欽(Zhiqin Chen )等人的「BSP-Net」相關研究獲得了最佳學生論文獎,他們的論文題目是《BSP-Net: Generating Compact Meshes via Binary Space Partitioning》。
  • 21歲華人本科生,憑什麼拿下CVPR 2020最佳論文提名?
    然而,事情卻沒有中的那麼簡單——當翻轉了數據集裡所有的圖片時,神經網絡所擬合的函數,還能代表原先的圖像分布麼?針對這一問題,來自康奈爾大學的研究員,首次挑戰了常規神經網絡訓練中,圖片「翻轉不變性」(flip-invariant) 的這一假設。研究的題目叫做視覺手性(Visual Chirality),並在CVPR 2020中獲得了最佳論文提名。
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    論文二:WSISA: Making Survival Prediction from Whole Slide Histopathological Images簡介:論文首次提出一種全尺寸、無標註、基於病理圖片的病人生存有效預測方法 WSISA,在肺癌和腦癌兩類癌症的三個不同資料庫上性能均超出基於小塊圖像方法,有力支持大數據時代的精準個性化醫療。
  • GAN用於無監督表徵學習,效果依然驚人……
    該論文提出的方法建立在 SOTA 模型 BigGAN 之上,通過對其表徵學習和生成能力進行廣泛評估,證明這些基於生成的模型在 ImageNet 數據集的無監督表徵學習和無條件圖像生成方面均實現了 SOTA 效果。
  • 西電學子獲國際頂會CVPR2020 -VQA比賽亞軍
    西電學子獲國際頂會CVPR2020 -VQA比賽亞軍 2020-06-15 10:36 來源:澎湃新聞·澎湃號·政務
  • 谷歌對無監督解耦方法進行了大規模評估,還開源了用來實驗的開發庫!
    在「挑戰無監督解耦表示中的常見假設」(Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations,ICML 2019 ) 這篇文章中,谷歌的研究人員對最近的無監督解耦方法進行了大規模評估,對一些常見假設進行了實驗驗證
  • 98後常春藤學霸林之秋,一作拿下CVPR最佳論文提名,首次挑戰圖片...
    在一眾獲獎論文作者中,年齡最小的一位一作獲獎者甚至還在本科階段。他就是來自康奈爾大學的「98後」後浪——林之秋。這位常春藤的大四學生以第一作者身份提交的論文《Visual Chirality》(《視覺手性》)榮獲CVPR 2020 最佳論文提名 (Best Paper Nomination)。
  • 【CVPR2018最佳論文重磅出爐】斯坦福伯克利折桂,何愷明獲TPAMI年輕研究員獎
    例如,在相關任務之間無縫地重用監督,或者在一個系統上解決多個任務,而不增加複雜性。在這篇論文中,作者提出一種完全計算的方法來建模視覺任務的空間結構。這是通過在一個潛在空間的26個2D,2.5D,3D和語義任務中找到(第一階和更高階)的遷移學習依賴關係來實現的。
  • 百度的CVPR2020高光時刻——22篇論文 8項冠軍 2場Workshop
    CVPR2020上,大會論文錄取率僅有22%,百度入選22篇論文,較上年增加5篇;在視頻動作分析、動作識別、圖像增強、智慧城市等挑戰賽中,百度與全球科技巨頭同臺競技,斬獲8項世界冠軍,站上計算機視覺「頂流」之席;同時,百度還舉辦2場高水準Workshop,並有多篇Workshop論文被接收。
  • CVPR論文解讀:非常高效的物體檢測Mimic方法
    ,加入大小模型之間feature map的監督,使得mimic的效果會更好。現場問答在2017 CVPR現場與論文的作者李全全進行的討論與交流:Q:本文為何使用 spatial pyramid pooling進行feature map的sample,是否考慮使用其他方式例如ROI-pooling?