追番必備,動漫角色也可以用人臉識別了

2020-12-14 澎湃新聞

機器之心報導

作者：小舟

用人臉識別找到你「老婆」。

自七十年代以來，人臉識別已經成為了計算機視覺和生物識別領域研究最多的主題之一。近年來，傳統的人臉識別方法已經被基於卷積神經網絡（CNN）的深度學習方法代替。目前，人臉識別技術廣泛應用於安防、商業、金融、智慧自助終端、娛樂等各個領域。而在行業應用強烈需求的推動下，動漫媒體越來越受到關注，動漫人物的人臉識別也成為一個新的研究領域。

動漫形象雖然相對具有標誌性，但也不乏相似的動漫形象和場景，畢竟 B 站知名 up 主涼風「一眼識動漫」的技能不常有。

人工不可，那麼將人臉識別用於動漫角色識別呢？

近日，來自愛奇藝的一項新研究提出了一個新的基準數據集，名為 iCartoonFace。該數據集由 5013 個動漫角色的 389678 張圖像組成，並帶有 ID、邊界框、姿勢和其他輔助屬性。iCartoonFace 是目前圖像識別領域規模最大的卡通媒體數據集，而且質量高、注釋豐富、內容全面，其中包含相似圖像、有遮擋的圖像以及外觀有變化的圖像。

論文地址：https://arxiv.org/pdf/1907.13394.pdf

藉助半自動標記算法，研究者為動漫媒體提供了兩種類型的注釋，即面部識別和面部檢測。為了進一步研究這個具有挑戰性的數據集，研究者提出了一種多任務域適應方法，該方法將人類和動漫域知識與三種判別性正則化結合起來。此外，研究者還對提出的數據集進行了基準分析，並驗證了提出的方法在動漫人物人臉識別任務中的優越性。

圖 1：iCartoonFace 嵌入示意圖。

類似於人臉識別，動漫角色人臉識別中也有一些經典的問題需要處理。

如下圖所示，利用 iCartoonFace 數據集可以將相似的動漫臉區分開，識別出是不同的動漫角色：

同一動漫人物，不同視角，能夠識別出是同一動漫角色：

即使圖片中存在重度遮擋，也能夠識別出動漫角色：

此外，兩張圖片亮度不同，也能夠識別出是同一動漫角色：

接下來我們就來看一下這項研究的方法細節。

數據集的構建與分析

半自動整合過程

為了減輕標籤負擔，研究者開發了一個半自動算法來收集 iCartoonFace 數據集並添加注釋。該研究的框架能夠分成三個階段：

分層數據收集

數據過濾過程

Q/A 手動注釋

1. 分層數據收集

iCartoonFace 數據集是通過分層的方式收集的（從動漫劇集名稱到動漫人物名稱，最後到動漫人物圖像）。該研究首先形成一個面向排行榜的動漫劇集名單。然後根據該名單從網際網路上獲取主要角色，進而獲得動漫人物和相應動漫劇集的列表。下一步從多媒體下載可公開獲得的圖像，包括圖像、漫畫書和視頻源。研究者以這種方式獲得了帶有噪聲標籤的數百萬個圖像，用於後續的數據過濾過程。

2. 數據過濾

實際上，下載的圖像中有大量不相關或重複的數據，這給選擇有效數據帶來巨大的挑戰，尤其是在沒有任何先驗知識的情況下。因此，該研究藉助手動標記的人臉，對無用的樣本進行粗略的過濾。換句話說，借用兩個已有的人類知識來幫助數據過濾過程，即面部檢測過濾和面部識別過濾。

3.Q/A 手動注釋

該研究開發了一個 Q/A 系統來手動注釋動漫臉的身份信息。如圖 2 所示，在注釋頁面中，一個部分顯示參考圖像，另一部分顯示要標記的圖像。注釋者需要確定每個新圖像是否與參考圖像共享相同的標識。參考圖像是專家基於動漫人物所屬的動漫劇集名稱和動漫人物名稱提供的身份圖片。在該數據集中，包含了 5013 張圖片，這意味著每種身份都有一個 probe。

數據集概況

1. 大規模

iCartoonFace 數據集包含了來自 1302 個動漫專輯的 5013 個動漫人物的 389678 張圖像。這是目前規模最大的用於動漫人臉識別的手動注釋圖像數據集。如圖 4(a) 所示，該數據集中的動漫人物包括來自日本、中國、歐洲和美國四個國家的動漫人物。

2. 圖片數量不均

數據集是自然創建的。50% 的動漫人物只有不到 30 張圖片，而有些動漫人物卻有大約 500 張圖片。

3. 高質量

數據集經過手動標記之後，執行交叉檢查方法，二次檢查的錯誤率確保低於 5%。圖 4(c) 顯示圖像的解析度大於 100 × 100，其中 65% 的圖像解析度超過了 200 × 200。圖像的清晰度是通過拉普拉斯度量標準計算的。大多數樣本的值如圖 4(e) 所示，為了確保圖像邊界的清晰度和銳度，需要大於 100。

4. 豐富的屬性

每個圖像都提供了人臉邊界框、身份、區域、姿勢和性別之類的信息。關於姿勢和性別的統計信息如圖 4(b) 和圖 4(d) 所示。選擇隨機的 10000 個樣本，並用 3D 姿態信息注釋。

基於動漫和真人的多人物訓練框架

圖 5 展示了該研究團隊提出的基於動漫和真人的多人物訓練框架。該框架主要包括：分類損失、未知身份拒絕損失和域遷移損失。

其中，為了獲得分類特徵提取器，研究者採用分類損失正則化動漫臉和真人臉分類器，對動漫臉和真人臉進行分類。未知身份拒絕損失旨在找到在不同域之間具有無監督正則化的特徵重投影。域適應損失則是為了減小動漫人臉和真人臉之間的域間隙。

實驗

在實驗部分，研究者提出了 3 個問題並對其進行了解答。

1. 對於動漫臉來說，那種算法是最佳的？

研究者對幾種常用算法進行了評估，包括 softmax、SphereFace、CosFace、ArcFace 和 Focal loss，並在下圖中可視化了相應的 CMC 曲線。可以看到，ArcFace+FL 在 5 種算法中表現最優。

5 種算法的 CMC 曲線圖。

2. 上下文對於動漫臉識別有用嗎？

動漫臉是識別動漫角色的主要部分。那如果「臉盲」怎麼辦？在有些情況下，僅僅依靠動漫角色的人臉不足以區分不同的動漫人物。研究者在動漫臉的基礎上進行了不同比例的擴充，下圖表明，含有更多的上下文信息能夠實現更好的性能。

3. 將人臉識別的知識遷移至動漫臉識別是否有所增益？

第一個經過訓練的動漫臉模型的準確率是 91.0%，如下圖所示，加入人臉識別的數據後，性能提升至 92.4%，並且對注釋過程有所幫助。

如何根據任務需求搭配恰當類型的資料庫？

在AWS推出的白皮書《進入專用資料庫時代》中，介紹了8種資料庫類型：關係、鍵值、文檔、內存中、關係圖、時間序列、分類帳、領域寬列，並逐一分析了每種類型的優勢、挑戰與主要使用案例。

原標題：《追番必備，動漫角色也可以用人臉識別了》

閱讀原文

相關焦點

  • 人臉識別,現在連動漫角色都不放過
    看過的動漫太多，以至於認角色時有點臉盲?又或者，只想給自己的二次元老婆剪個出場合輯，卻不得不在各大搜尋引擎搜索關於她的照片?試試愛奇藝推出的這個卡通人臉識別基準數據集iCartoonFace，用它訓練AI幫你找動漫素材，效率分分鐘翻倍。
  • 動漫人物傻傻分不清 愛奇藝奇觀一鍵識別助力做「追番達人」
    此次，《有藥》有趣的故事和精良的製作獲得用戶喜愛，更基於愛奇藝奇觀給觀眾帶來全新的追番體驗——點擊播放界面左側的奇觀按鈕，即可識別出畫面中的動漫角色和簡介，比如「樓主」、「左雲起」等，以及「大涼國」、「中原」等臺詞內的知識。目前，奇觀已應用至愛奇藝站內所有動漫及兒童內容。愛奇藝持續通過精品自製與優質版權合作，為用戶搭建優質內容生態。
  • 可以用在作文中動漫臺詞,追番其實也是提升成績和文採的好辦法
    平時只喜歡看動漫不喜歡看書，到了考試臨時抱佛腳，自己喜歡的新番又更新了，在書和番劇之間猶豫不決互相徘徊，說的就是你吧？平常追番的時間，用一般用到看書上，作文的分數就能高出很多來了。其實，在看番劇的時候，也會有一些意境很好的句子，比較的有哲理，這時候我們可以打開手機的備忘錄記錄下來，不僅可以激勵人心，只要記憶力好，到考場上都能背過了，可以用在作文上啊！筆者就在追番的時候，記錄下來了很多美好的句子，仔細一想，其實還是可以運用到作文當中的！「人類之所以會失敗，是因為還有羞恥之心。」出自《JOJO的奇妙冒險》，恩裡克布奇說的。
  • 宅家追番時的必備零食有哪些?肥宅快樂水妥妥上榜
    追番的時光永遠是寶貴而又快樂的，但如果想要快樂加倍，那麼零食的登場一定會為錦上添花。宅家追番時，有哪些零食是必備的呢？肥宅快樂水肥宅快樂水在《乾物妹小埋》中十分常見，它是小埋打遊戲，追劇時的必備汽水。不知大家有沒有這樣的感覺，在追番時不管身邊有多少包薯片，總是不夠吃的。PockyPocky是一種由巧克力塗層覆蓋的餅乾。一口咬下，既有餅乾，又有巧克力，味蕾上有著些許層次感。pocky的口味多種多樣，水果味、堅果味、酒味等等，可供大家選擇。
  • 愛奇藝打造的人工智慧——卡通人臉識別算法iCartoonFace
    人臉識別，連動漫卡通領域都要涉足了，如果說三維的卡通因為有「塊面和光影漸變」造成的較明顯的臉部結構，可以識別出來，那我信，可如果二維的純平面的卡通也能被識別出來——不禁感慨——不是我不明白，這世界變化快。
  • 動漫劇荒?中日追番榜,喊你來看番!
    01.中日追番大不同：愛好不一樣，怎麼能同次元！02.動漫劇荒？中日追番榜，喊你來看番！5月末6月初，正處在4月春季番和7月夏季番的交替路口。很多新番劇情已經展開，是騾子是馬大家心裡已經有了結論，不同平臺的追番數據也陸續出爐。
  • 人臉識別中的人臉表情識別技術
    隨著人臉識別技術的發展，如今在識別中應用到對人臉的表情進行識別，可以應用在人機互動、安全、機器人製造、醫療、通信和汽車領域等。那麼，暢視智能來告訴人臉識別技術的人臉表情識別要如何進行？圖像獲取：通過人臉識別攝像頭等圖像捕捉工具獲取靜態人臉圖像或動態圖像序列。
  • 用dlib實現人臉識別的技巧
    很多人都認為人臉識別是一項非常難以實現的工作，看到名字就害怕，然後心懷忐忑到網上一搜，看到網上N頁的教程立馬就放棄了。這些人裡包括曾經的我自己。其實如果如果你不是非要深究其中的原理，只是要實現這一工作的話，人臉識別也沒那麼難。今天我們就來看看如何在40行代碼以內簡單地實現人臉識別。
  • 大熊貓都用上「人臉識別」了,你還不來了解一下人臉識別
    西華師範大學副教授韋偉稱，目前主要用第三代紅外線相機，把它放到大熊貓旁邊就不用管了，只要熊貓從旁邊過，它就能拍到個體的圖像。但是「人臉識別技術」是比較先進的，它可以運用人工智慧通過不同的模型來矯正，且準確率是比較高的。
  • Unity人臉識別插件分享 | 技術貼
    若想讓遊戲或電影中的虛擬角色表現得更加真實，面部表情是至關重要的。人臉識別技術則藉助真人表演來為虛擬角色賦予豐富的表情與面部動作，小至皺眉帶動眼部肌肉的抽動，大致對話時嘴唇的張合，均可通過人臉識別技術來實現。本文為大家介紹三款在Unity中實現人臉識別的插件，再結合Unity引擎的實時渲染功能，輕鬆定製出次世代的虛擬角色。
  • 上萬人臉識別廁紙機進駐上海?政協委員多年提案拒用人臉識別
    多地開始禁用人臉，政協委員多年提案，拒用人臉識別等唯一的生物特徵信息作身份認證。不戴頭盔看房我可能損失30萬，為了60公分的廁紙我出賣了自己的臉……是的，我知道我的臉正在被濫用，但是我有什麼辦法？很多人臉識別是強制使用的，如果拒絕刷臉，我可能上不了班、回不了家，因為門禁系統都升級為人臉識別，且沒有門禁卡等替代方案。
  • 動漫追番知識,知道生肉與熟肉、有修與無修,這才是二次元老司機
    看動漫是一件幸福的事，喜歡的劇情、喜歡的人物能夠給人的感官上帶來愉悅。追番對於長時間在動漫圈裡混的老司機來說是一件非常簡單的事，他們對於各種知識都是非常了解，但是對於剛入坑的萌新來說稍不注意就會踩雷，從而導致沒有追番體驗。那麼追番過程裡有哪些知識需要去了解的呢？
  • 困於人臉識別
    一位麻省理工學院計算機科學專業的博士告訴我，通過人像收集與機器學習，黑客不僅能將你的臉替換至色情視頻，也可以用「對抗攻擊」（Adversarial attack）技術迷惑機器學習模型，代替你進入高鐵站，你工作的單位，甚至是你的家。生物數據，包括指紋，一直存在洩露和被偽造的風險，但隨著機器學習技術的發展以及人臉識別大規模應用，人臉信息變得更為敏感。
  • 人臉識別的全名:「人臉•過一陣子就被破解•識別」
    人臉識別技術大家都比較熟了，尤其是去年iPhone X面世，將面部識別推上了風口浪尖，各種惡搞本君還記憶猶新。
  • 精敏數字AI人臉識別測溫儀 非接觸發熱篩查 復工必備神器
    精敏數字AI人臉識別測溫儀 非接觸發熱篩查 復工必備神器 2020年03月20日 09:50作者：黃頁編輯：黃頁 科技助力，精準防疫，精敏數字推出新一代動態人臉體溫檢測智能終端產品——AI人臉識別測溫系統。
  • B站追番人數最多的4部動漫,狐妖小紅娘排行第2,第1厲害了!
    B站追番人數最多的4部動漫，狐妖小紅娘排行第2，播放量卻已過4億B站作為運營了9年之久的動漫網站，上面收錄了太多好看的番劇，但很多小夥伴補番的時候肯定都遇見過這樣一個問題，不知道看哪一個、不清楚哪個好看。
  • 卡通人臉識別上線,高識別度,半張臉都不放過,B站某UP要失業了
    近期，在網上公布了一則消息，一公司發明了一個卡通人臉識別的軟體，軟體十分的給力，能夠將卡通人臉進行識別，幫助二次元的小夥伴們識別想要了解到的人物，而且其超高的識別度，連半張臉都不會放過，能很快地給你識別出來。在看到如此強大的功能後，網友們紛紛吐槽，B站的涼風要失業了。
  • 支付寶人臉識別BUG被曝光,為什麼人臉識別在歐美難推廣?
    但是這個事件仍然給我們敲響了警鐘，人臉識別是否還有其他各種BUG存在？在此之前也有一家來源於美國聖地牙哥的人工智慧公司Kneron號稱破解人臉識別了，他們稱用一個特質的3D面具，成功欺騙了包括支付寶和微信在內的諸多人臉識別支付系統，完成了購物支付程序。該團隊還宣稱，他們用同樣的方式甚至進入了中國的火車站。
  • 人臉識別:原理與應用
    近年來，人臉識別被廣泛用於金融、社保、電商、安防等領域。
  • 好用≠濫用,人臉識別的公共應用邊界在哪裡?
    編輯導語：如今人臉識別在很多場合都可以見到，比如超市買單、進園刷臉、學校、乘坐交通工具等等；隨著科技的發展，人臉識別隨之用途變多，但安全性以及隱私性就不得而知了；本文作者分享了關於人臉識別的公共應用邊界，我們一起來看一下。