人臉識別,現在連動漫角色都不放過

2021-01-15 站長之家

聲明:本文來自於微信公眾號「量子位」(ID:QbitAI),作者:蕭簫,授權站長之家轉載發布。

看過的動漫太多,以至於認角色時有點臉盲?

又或者,只想給自己的二次元老婆剪個出場合輯,卻不得不在各大搜尋引擎搜索關於她的照片?

試試愛奇藝推出的這個卡通人臉識別基準數據集iCartoonFace,用它訓練AI幫你找動漫素材,效率分分鐘翻倍。

對於臉型相近、但角色不同的二次元人物,能準確識別出來(臉盲福音):

如果人物視角出現變化,也能準確識別:

不僅如此,在人臉被大面積遮擋時,也能準確地識別出來:

至於陰影和光照也不在話下,哪怕站在樹蔭裡,也能被AI「偵測」:

效果完全不輸現有的真實人臉識別。

那麼,這樣的技術是怎麼做出來的呢?

結合真人數據,訓練卡通人臉識別

團隊提出了一種卡通和真人的多人物訓練框架,主要包括分類損失函數、未知身份拒絕損失函數和域遷移損失函數三部分,如下圖所示。

其中,分類損失函數主要用來對卡通臉和真人臉進行分類。

而未知身份拒絕損失函數,則是為了在不同域之間進行無監督正則化投影。

至於域遷移損失函數,目的是降低卡通和真人域之間的差異性,對他們的相關性進行約束。

針對這個框架,研究者們探討了三個問題:哪種算法最好?人臉識別是否有助於卡通識別?上下文信息對卡通識別是否有用?

從實驗結果來看,ArcFace+FL的效果最佳,所以此次團隊選用了這個算法。

至於後兩個問題的答案,也是肯定的。

從下圖的藍線來看,加上真人人臉識別的信息後,對於卡通檢測的識別同樣有幫助。

至於上下文信息,團隊也做了實驗,下圖是算法在卡通人臉基礎上擴充不同比例下的性能識別。實驗證明,上下文信息越豐富,人臉識別的效果也會更好。

事實上,動物角色訓練出來的特徵樣本,相比於人臉來說,還是有點詭異。

下圖中分別是原圖和對應的特徵樣本,相比於動漫男生和女生,虹貓的特徵顯得有點……不可捉摸。

不過這也說明,一個標準、大型的動漫人臉數據集是有必要的。

標註數據,只需要一步

為了減少人工標註的工作量,研究者們設計了一種半自動數據集構建框架,用於構建iCartoonFace數據集。

如下圖,這個框架可以分為三個階段:

首先,對數據進行分層收集。先獲取卡通圖片信息,包括專輯和人物名稱,再獲取卡通人物圖片,使得數據集結構非常清晰。

其次,對數據進行過濾。利用卡通人臉檢測、特徵提取器和特徵聚類等,對圖片數據進行噪聲過濾。

其中,特徵提取器的性能會發生變化:隨著標註數據的增多,性能不斷增強。

最後,標註人員只需要做一個步驟:根據特徵聚類的結果,回答兩張圖片是否是同一個人物。

目前最大的卡通人物標註數據集

事實上,目前已有大量針對真人的人臉識別的技術和算法。

然而,針對二次元人臉識別的數據集依舊少之又少,大多數數據集存在著噪音比例大、數據量小的問題。

但這樣的需求的確存在,不局限於對視頻的結構化分析,還能應用於圖片搜索、廣告識別等場景。

例如,給創作者提供智能剪輯、或者是對惡搞的諷刺漫畫、卡通風格人物進行審核辨識。

針對這個現象,愛奇藝開放了目前全球最大的手工標註卡通人物檢測數據集與識別數據集iCartoonFace,包含超過 5000 個卡通人物、 40 萬張以上的高質量實景圖片。

下圖是iCartoonFace與其他已有動漫數據集的對比,基於這個數據集設計框架,可以有效地提高卡通人物識別性能。

說不定,真能讓廣大觀眾對動漫角色「不再臉盲」。

傳送門

論文連結:https://arxiv.org/pdf/1907.13394.pdf

數據集(在競賽數據集一欄):https://iqiyi.cn/icartoonface

相關焦點

  • 追番必備,動漫角色也可以用人臉識別了
    目前,人臉識別技術廣泛應用於安防、商業、金融、智慧自助終端、娛樂等各個領域。而在行業應用強烈需求的推動下,動漫媒體越來越受到關注,動漫人物的人臉識別也成為一個新的研究領域。動漫形象雖然相對具有標誌性,但也不乏相似的動漫形象和場景,畢竟 B 站知名 up 主涼風「一眼識動漫」的技能不常有。人工不可,那麼將人臉識別用於動漫角色識別呢?
  • 卡通人臉識別上線,高識別度,半張臉都不放過,B站某UP要失業了
    近期,在網上公布了一則消息,一公司發明了一個卡通人臉識別的軟體,軟體十分的給力,能夠將卡通人臉進行識別,幫助二次元的小夥伴們識別想要了解到的人物,而且其超高的識別度,連半張臉都不會放過,能很快地給你識別出來。在看到如此強大的功能後,網友們紛紛吐槽,B站的涼風要失業了。
  • 愛奇藝打造的人工智慧——卡通人臉識別算法iCartoonFace
    人臉識別,連動漫卡通領域都要涉足了,如果說三維的卡通因為有「塊面和光影漸變」造成的較明顯的臉部結構,可以識別出來,那我信,可如果二維的純平面的卡通也能被識別出來——不禁感慨——不是我不明白,這世界變化快。
  • 大熊貓都用上「人臉識別」了,你還不來了解一下人臉識別
    但是「人臉識別技術」是比較先進的,它可以運用人工智慧通過不同的模型來矯正,且準確率是比較高的。未來,大熊貓種群身份庫的建立,可以解決大熊貓長期野外跟蹤和監測數據,沒有合適方法來識別、監測的難題,為野生大熊貓保護研究做更深入的工作。對於這項「大熊貓人臉識別」技術,網友們反應如何呢?
  • 人臉識別的全名:「人臉•過一陣子就被破解•識別」
    人臉識別技術大家都比較熟了,尤其是去年iPhone X面世,將面部識別推上了風口浪尖,各種惡搞本君還記憶猶新。
  • 困於人臉識別
    勞東燕:由於人臉識別的底層技術在2018年有很大突破,去年下半年開始,我注意到人臉識別商業化的推廣在中國「遍地開花」,連我們學院的咖啡機都通過少付1元錢而引誘人們使用人臉識別支付。我一直在研究「風險社會」,在風險社會中,預防風險的措施本身可能會帶來新的風險。
  • 人臉信息0.5元一份 人臉識別也不靠譜了?
    現在在網際網路上都很流行人臉識別這個概念,這是繼指紋識別之後大家討論最多的一個熱點,大家都知道信息是很容易洩露的,那麼人臉識別有沒危險呢?最近就有記者曝光了這一情況,一些網絡黑產倒賣人臉數據泛濫,人臉數據甚至低至0.5元一份。
  • 人臉識別剛要普及,怎麼就被禁用了?
    人臉識別大家都不陌生了,從 iPhone 上面的 Face ID 再到支付寶刷臉支付,這個曾經只有在科幻電影上面才能見到的技術逐漸變得越來越司空見慣。中介在騙客戶以房屋查檔為由,在 App 上進行人臉認證後,轉手就把房子給賣了。也就是說,現在人們的人臉信息,在某些時候,已經是認證身份的一種方式了。顯然,我們對我們自己人臉信息的保護並不充分。各種渠道洩露出來的人臉,一張 5 分錢、3 分錢…… 比白菜還不如。
  • 人臉識別中的人臉表情識別技術
    隨著人臉識別技術的發展,如今在識別中應用到對人臉的表情進行識別,可以應用在人機互動、安全、機器人製造、醫療、通信和汽車領域等。那麼,暢視智能來告訴人臉識別技術的人臉表情識別要如何進行?圖像獲取:通過人臉識別攝像頭等圖像捕捉工具獲取靜態人臉圖像或動態圖像序列。
  • 支付寶人臉識別BUG被曝光,為什麼人臉識別在歐美難推廣?
    但是這個事件仍然給我們敲響了警鐘,人臉識別是否還有其他各種BUG存在?在此之前也有一家來源於美國聖地牙哥的人工智慧公司Kneron號稱破解人臉識別了,他們稱用一個特質的3D面具,成功欺騙了包括支付寶和微信在內的諸多人臉識別支付系統,完成了購物支付程序。該團隊還宣稱,他們用同樣的方式甚至進入了中國的火車站。
  • 科普,你不知道的人臉識別原理
    說到人臉識別,大部分的人第一反應是「刷臉」,我們來看下人臉識別的定義:人臉識別,是基於人的臉部特徵信息進行身份識別的一種生物識別技術。
  • Unity人臉識別插件分享 | 技術貼
    若想讓遊戲或電影中的虛擬角色表現得更加真實,面部表情是至關重要的。人臉識別技術則藉助真人表演來為虛擬角色賦予豐富的表情與面部動作,小至皺眉帶動眼部肌肉的抽動,大致對話時嘴唇的張合,均可通過人臉識別技術來實現。本文為大家介紹三款在Unity中實現人臉識別的插件,再結合Unity引擎的實時渲染功能,輕鬆定製出次世代的虛擬角色。
  • 公交車「上崗」人臉識別測溫儀,戴口罩也不影響!
    最近,測溫成了每個人都必須檢測的項目,進出小區、工業區、車站坐車、機場等都需要進行體溫檢測,隨著復工返崗的到來,人流量會越來越大,採用人工測溫難度大,效率低,容易造成擁堵。目前,公交車對乘客進行測溫,大部分都採用的是手持紅外測溫的方式,對於司機來說檢測一名乘客需要5到8秒,司機需要多次起身測溫也影響司機的駕駛運營,也將乘務人員暴露在比較危險的環境,而且手持式紅外測溫儀通過人工篩查效率低,所以人臉識別測溫儀非常適合應用在公交車上。
  • 應用層下的人臉識別(三):人臉比對
    排名前五的算法都被中國包攬:依圖科技(yitu)繼續保持全球人臉識別競賽冠軍,在千萬分之一誤報下的識別準確率超過99%。排名第二的算法也來自依圖科技。商湯科技(sensetime)摘得第三名和第四名。圖像質量問題:人臉圖像的來源可能多種多樣,由於採集設備的不同,得到的人臉圖像質量也不一樣。特別是對於那些低解析度、噪聲大、質量差的人臉圖像(如:手機攝像頭拍攝的人臉圖片、遠程監控拍攝的圖片等),「如何進行有效地人臉識別?」就是個需要關注的問題。而對於高分辨圖像對人臉識別算法的影響,也需要進一步的研究。
  • 部分小區業主抵制人臉識別:我不在家,你都清楚
    中新網客戶端北京12月29日電 (記者 吳濤)近日,有用戶向中新網反映,他們所在小區正在安裝人臉識別,且和住址、身份信息綁定在一起。給出的理由是出入更便捷,管理更高效。但有居民也開始擔心人臉信息被洩露:我什麼時候不在家,別人都知道。
  • 人臉值多少錢?人臉識別灰色產業鏈
    實際上,捷威機場和乘客都不是真實存在的;這僅僅是NIST展示如何實操收集人臉的一套裝置。這些人臉將在NIST舉辦的競賽上使用,該競賽邀請全球各地的公司來測試他們的面部識別軟體。在製作最佳軟體的這場角逐中,獲勝者將是那些算法能夠高精度地識別面部,不會產生誤報的公司。與人工智慧的其他領域一樣,創建最佳面部識別算法意味著要收集大量面部數據來完成訓練。雖然公司可以使用政府和大學編制的數據集合,如耶魯大學的人臉資料庫,但這些數據集相對較小,包含的人臉不超過幾千張。
  • PCA人臉識別
    1 人臉識別簡介人臉識別,是基於人的臉部特徵信息進行身份識別的一種生物識別技術。它首先通過攝像機採集含有人臉的圖像或視頻流,並自動在圖像中檢測和跟蹤人臉,進而對檢測到的人臉進行臉部識別與判斷。目前,人臉識別已廣泛應用到實際生活中。
  • 人臉識別:原理與應用
    近年來,人臉識別被廣泛用於金融、社保、電商、安防等領域。
  • 如何簡單低成本地打造人臉識別產品?百度新硬體帶來答案
    現在還存在著種種門檻,把想要將人工智慧落到實際應用的企業或政府攔在門外:不僅購買硬體的成本高居不下,軟體二次開發、完成部署的難度也非一般。這並不符合人們對普及型技術的要求,它應該易於學習使用,且投入和維護成本都不高。
  • 3D列印對戰3D人臉識別,人臉支付還安全嗎?
    人臉支付是隨著科技發展,人們追求更加便捷、高效的支付方式體驗的必然產物。人們從大鈔小鈔的現金到這個卡那個卡的銀行卡支付,再到這個碼那個碼的掃碼支付,然後到其延伸產品聚合支付,最後到現在「風波」不斷的人臉支付,支付方式不斷更新,用戶體驗度不斷提升。