人像摳圖滿足不了研究者了,這個研究給動物摳圖,毛髮根根分明

2020-12-06 手機鳳凰網

編輯：魔王

相比於人像摳圖，長相各異、渾身毛茸茸的動物似乎難度更大。IEEE 會士 Jizhizi Li、陶大程等人開發了一個專門處理動物摳圖的端到端摳圖技術 GFM。

在這個圖像和視頻逐漸成為主流媒介的時代，大家早已對「摳圖」習以為常，說不定還看過幾部通過「摳圖」拍攝的電視劇呢。然而，相比於人像摳圖，長相各異、渾身毛茸茸的動物似乎難度更大。

那麼，是否有專用於動物的摳圖技術呢？IEEE 會士 Jizhizi Li、陶大程等人就開發了一個專門處理動物摳圖的端到端摳圖技術。

動物的外觀和毛皮特徵給現有的方法帶來了挑戰，這些方法通常要求額外的用戶輸入（如 trimap）。

為了解決這些問題，陶大程等人研究了語義和摳圖細節，將任務分解為兩個並行的子任務：高級語義分割和低級細節摳圖。具體而言，該研究提出了新型方法——Glance and Focus Matting network (GFM)，使用共享編碼器和兩個單獨的解碼器以協作的方式學習兩項子任務，完成端到端動物圖像摳圖。

研究人員還創建了一個新型動物摳圖數據集 AM-2k，它包含 20 個類別的 2000 張高解析度自然動物圖像，並且具備手動標註的前景蒙版。

此外，該研究通過對前景和背景圖像之間的不同差異進行綜合分析，來研究合成圖像和自然圖像之間的領域差距（domain gap）問題。研究人員發現，其精心設計的合成流程 RSSN 能夠降低差異，帶來更好的、泛化能力更強的模型。在 AM-2k 數據集上的實驗表明，GFM 超過當前最優方法，並且有效降低了泛化誤差。

動物圖像摳圖方法 GFM

在給動物圖像摳圖時，人類首先會瀏覽一下圖像，快速識別出大致的前景或背景區域，然後聚焦於過渡區域，將動物細節與背景區分開來。這可以大致形式化為分割階段和摳圖階段。注意，這兩個階段可能會出現交叉，因為第二階段的反饋信息可以糾正第一階段錯誤的決策。

為了模仿人類經驗，使摳圖模型具備處理這兩個階段的能力，有必要將其合併進一個模型，並顯式地建模二者之間的協作。因此，研究者提出了新型 GFM 網絡，進行端到端的自然動物圖像摳圖，模型架構參見下圖：

圖 2：GFM 網絡架構圖示。它包含一個共享編碼器和兩個單獨的解碼器，解碼器分別負責圖像分割和細節摳圖。

新型圖像合成流程 RSSN

為自然圖像標註前景蒙版費時費力且成本高昂，常見的操作是基於一些前景圖像和成對前景蒙版生成大規模合成圖像。

目前常見的蒙版合成流程是通過蒙版混合（alpha blending）將一個前景粘貼至不同的背景。但由於前景圖像和背景圖像通常採樣自不同的分布，合成圖像會出現大量合成偽影，從而導致合成圖像和自然圖像之間出現較大的領域差距。合成偽影可能會被模型誤以為是 cheap feature，從而導致在合成圖像上過擬合，在自然圖上出現較大的泛化誤差。

該研究系統地分析了引起合成偽影的因素：解析度差異、語義模糊、銳度差異和噪聲差異，並提出了解決方案——一套新的合成流程 RSSN 和大規模高解析度背景數據集 BG-20k。

RSSN 的整體流程如下所示：

下圖對比了不同合成圖像方法，其中 c 和 d 使用的背景圖像來自 BG-20k 數據集：

BG-20k 數據集具備以下特徵：

動物圖像摳圖數據集 AM-2K

AM-2k 數據集包含 20 個類別的 2000 張高解析度自然動物圖像，並且具備手動標註的前景蒙版。研究者將該數據集分割為訓練集和驗證集，並設置了兩個評估 track：ORI-Track (Original Images Based Track) 和 COMP-Track (Composite Images Based Track)。

下表展示了 AM-2k 數據集與現有摳圖數據集的對比情況：

該數據集中的示例參見下圖：

實驗‍

定量和主觀評估

下表 2 展示了多種 SOTA 方法在 AM-2k ORI-Track 上的結果：

與 SOTA 方法相比，GFM 在所有評估指標上均超過它們，通過同時分割前景和背景圖像以及在過渡區域摳圖，取得了最優性能。

下圖 6 展示了不同方法在 AM-2k ORI-Track 上的定性對比結果：

從圖中可以看出，SHM、LF 和 SSS 無法分割一些前景部分，因為其分段式結構導致模型無法顯式地分辨前景 / 背景和過渡區域。語義分割和摳圖細節是很難平衡的，分別需要全局語義特徵和局部結構特徵。HAtt 和 SHMC 無法獲得過渡區域的清晰細節，因為全局指引有助於識別語義區域，但對細節摳圖的用戶就沒那麼大了。

相比而言，GFM 獲得了最優結果，這得益於其統一模型，使用單獨的解碼器處理前景 / 背景和過渡區域，並以協作的方式進行優化。

模型集成和混合解析度測試

如下表 3 所示，模型集成的結果優於單個模型：

控制變量研究

控制變量研究結果如下表 4 所示：

模型複雜度分析

如下表 5 所示，使用 DenseNet-121 或 ResNet34 作為主幹網絡的 GFM 在運行速度上超過 SHM、LF、Hatt 和 SHMC，它們處理一張圖像分別只需大約 0.2085s 和 0.1734s。

論文地址：https://arxiv.org/pdf/2010.16188v1.pdf

GitHub 地址：https://github.com/JizhiziLi/animal-matting

相關焦點

  • 5 秒就能一鍵摳圖,這個神器一定要收藏
    相信大多數人學 PS 的學第一個技能都是摳圖吧。雖然說，現在摳圖已經不是什麼技術活，難度也不高，但是完完整整扣個人下來還是需要耗費不少時間的。是不是覺得，如果有一鍵摳圖就好了？實際上，還真有。Remove是一個提供免費在線摳圖服務的網站，用戶登錄網站後，只需要將圖片上傳，網站便會自動幫你把人像扣下來。效果怎麼樣？正面人像，沒問題。多人人像，也沒問題。背影？也沒難度。穿著厚厚的裝甲？絲毫不影響長得不太正常？問題也不大。就連卡通人物都可以完美扣下來。
  • ps怎麼摳圖到另一張圖上 ps怎麼摳圖換背景
    第一種：魔棒工具摳圖魔棒工具摳圖對於圖片的要求是很高的，需要純色背景並且主題圖片輪廓清晰案例展示：我們對於下面這種類型的圖我們就可以選擇簡單快速的魔棒工具摳圖，滿足背景是純白色(純色)+產品圖輪廓清晰摳圖步驟
  • 操作超級簡單的AI摳圖軟體,手機也能輕鬆實現
    PS摳圖操作繁雜、耗時長，讓很多小白望而卻步，可是工作生活中又免不了有各種各樣的摳圖需求。別怕別怕，在對比了市面上多數AI摳圖軟體後，終於找到了一款處理效果和速度炸街的AI摳圖軟體，省時省力效果好，小白也能秒變摳圖大神！AI摳圖軟體怎麼使用？
  • 終結電腦PS 天天P圖打造最好用的手機摳圖
    據悉，這款由騰訊優圖團隊開發的天天P圖1.1 版搭載了全新魔法摳圖功能和豐富素材庫。作為新版本最大亮點的魔法摳圖功能，在體驗上堪稱「零門檻」，讓玩圖新手們都過上一把神P手的癮，預計又將掀起新一輪美圖熱潮。
  • ...摳圖的方法   「鋼筆工具」是創建選區進行摳圖比較...
    使用「鋼筆工具」摳圖的方法   「鋼筆工具」是創建選區進行摳圖比較理想的方法之一。使用「鋼筆工具」摳圖的操作步驟如下：  （1）打開圖像，放大至適當尺寸；  （2）使用「鋼筆工具」，並點擊選項欄中的「路徑」按鈕；（3）移動滑鼠指針（即鋼筆筆尖）到圖像窗口內圖像的邊緣上點擊，創建路徑的起始點，然後移動「鋼筆筆尖」沿著圖像四周邊緣點擊（直線可直接連接二點；圓弧可沿著圓弧切線方向多點連接，點越多，圓弧就越「真」），最後回到起始點位置，等到「鋼筆筆尖」符號邊出現小圓圈時，即已建立好封閉的路徑
  • 抖音弄摳圖人頭是用什麼軟體 無頭小人摳圖素材怎麼p圖
    抖音無頭小人摳圖素材最近很火爆，抖音裡面很多人都在曬，朋友圈也有很多人在玩。不少人都想要p成自己的圖片。而抖音無頭小人摳圖素材怎麼p圖呢？一起來了解下。　　抖音摳圖人頭軟體是什麼　　美圖秀秀。
  • PS軟體零基礎摳圖教程,教你PS濾鏡摳圖技巧和方法
    2020-11-29 18:00:24　來源: 科技小圈 舉報 　　PS新手摳圖教程
  • PS中快速摳圖的方法技巧有哪些
    5.通道摳圖 利用通道做出選區，是處理毛髮，樹木，透明半透明等這一類難以處理的素材的好方法，而且簡單方便易上手。 第一步，是來到通道面板，觀察紅、綠、藍三個通道，選擇一個黑白對比度最強烈的通道，並複製該通道。如果是要保留透明信息，則要選擇灰度信息最好的一個通道來複製了。
  • 手機AI摳圖輕鬆讓你家拍照片背景秒變迪士尼城堡
    答案很簡單，摳人像P圖。如果有一定的圖形處理功底，把圖片導入電腦用Photoshop之類的專業軟體能夠處理。但我相信，有相當一部分朋友不會用使用Photoshop之類的專業軟體，就算是會用，也會覺得每張圖片導電腦處理很麻煩。而vivo X60 Pro的「AI摳圖」，能夠摳人像換背景。前兩個步驟一樣，依然是「編輯」→「AI摳圖」。
  • 如何使用美圖秀秀摳圖把背景變成透明的?
    在出現的界面上找到需要摳圖的圖片，點擊選中之後，再點一下」打開「。之後在美圖秀秀軟體左下方，可以見到有一欄」各種畫筆「的內容，在第二排點擊」摳圖筆「。然後點擊下去。第三，打開」摳圖樣式「的小界面，可以根據圖片的實際情況來選擇其中一種樣式。一般情況下，大家可能會更傾向於」自動摳圖「，在此也以」自動摳圖「為例吧，點一下它就可以了。
  • PS鋼筆工具怎麼摳圖
    PS的運用最基礎的當然是摳圖了，摳圖的方法有很多種，但最常用的還是鋼筆工具。對於很多新手來說不知道怎麼運用PS的鋼筆工具，下面就由我來給大家簡單的說一下怎麼運用鋼筆工具摳圖.鋼筆工具位於工具欄的下邊，形狀是個鋼筆狀，點擊它，沿著你需要扣的人或物的邊緣拖動，根據自己的把握會產生合適的弧線，如果你不拉動另一個點，它就會成為直線。
  • 純黑和純白背景的摳圖技巧
    純黑背景摳圖步驟如下：將黑色背景圖像素材在Photoshop中打開。摳圖完成。接下來再講解下如何扣除白色背景：將白色背景素材在ps中打開。摳圖大功告成。
  • 抖音一人牽著一個狗摳圖素材分享
    一人牽著一個狗的摳圖是什麼？
  • PS:怎麼利用套索工具摳圖
    PS軟體的操作不同於美圖秀秀，它是專業的作圖軟體，需要明白工具的作用，才能熟練運用和發揮它的效應，那麼怎麼摳圖呢，今天我來教大家如何用PS套索工具裡的磁性套索摳圖打開PS 軟體在PS頁面空白處雙擊滑鼠左鍵，選擇照片，然後點擊【套索工具】下角的三角，選擇【磁性套索工具
  • 摳圖+(藍紅底照)+快速排版!(上節)
    主要知識點為：一寸證件照的摳圖，更改尺寸、背景以及快速排版。嘿嘿！正式開始前先看幾組尺寸規格吧！更多數據可參考百度。第一種【選擇並遮住】摳圖，先讓我們看下效果對比圖：頭髮比較多時（選擇並遮住）第一步：用快速選擇工具，選中人物，然後選擇【選擇並遮住】。
  • 俄羅斯大媽的五毛特效摳圖,比網劇良心多了
    這位摳圖屆的後起之秀是來自俄羅斯聖彼得堡的Татьяна Субботина ，今年64歲！有趣的摳圖視頻：забавные видео, снятым с использованием технологии хромакейТатьяна Субботина曾經是一名工程師，剛退休的時候也只發一些自己出去旅遊的視頻，直到有一天，她發現了一種新科技：綠！幕！摳！圖！
  • PS教程選區工具詳解,三種不同類型的套索工具,摳圖小技巧
    歡迎來到「奇點微學堂」，我是尹仲會前面講解了選框工具，今天講一下套索工具，不管是選框工具還是套索工具，都是為了建立選區，建立選區是為了摳圖。今天來講怎麼用套索工具摳圖，套索工具分為三類：套索工具，多邊形套索工具，磁性套索工具，
  • 修圖摳圖太難學 讓AI網頁幫你吧
    請出門左轉不送，咱們說的是摳圖、修復曝光、風格濾鏡一類「正經」修圖好吧。有些小夥伴會說，修圖不是都應該用PS嗎？咱們先不說軟體價格，這些複雜的軟體學起來用起來可都不簡單。也有些小夥伴會說Remove.bg一類在線AI功能，倒是接近小編的答案了，不過它們要麼智商有點低，還得自己選摳圖對象，要麼功能太過簡陋或功能太過複雜、還有界面沒漢化等等問題。難道就沒有好用簡單的方式嗎？
  • 摳圖很難?白邊影響畫面?五步教你解決白邊的問題
    作為一個電商美工，免不了摳圖。但是想要快速並完美的摳出一張圖片也不是件容易的事。特別是對於我們剛剛上手的美工新手來說，摳圖還是一件比較難的事情，往往摳圖的時候一不注意，就會留下白邊，然而當我們製作海報的時候換個背景上去，白邊太明顯就讓整個畫面大打折扣。
  • PS教程:巧用蒙版摳陰影,讓摳圖效果更完美
    瀏覽器版本過低，暫不支持視頻播放對於強大的Photoshop軟體來說，萬物皆可摳。那麼，摳陰影也行嗎？大家知道，陰影的部分 ，若隱若現，深淺不一，沒有一個明顯的輪廓線，如果沒有一個好的辦法的話，摳圖會很困難，那麼該用什麼辦法呢？本篇文章，小編就和大家來分享，利用圖層蒙版來摳取陰影的方法，下面來具體演示操作過程。