關注前沿科技 量子位
乾明 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
阿里用AI打假，又有新研究成果問世。
這次，他們把目光集中在了服裝盜版上，而且把難度值拉到最大：盜版者抄襲過程中，修改了領子、袖子等細節，比如淘寶上的各類「明星同款」，一樣能夠快速鎖定。
背後的思路是：基於服裝區域性表達的檢索模型，對圖像中的服裝進行區域化的相似性學習和度量。
該研究成果已被CVPR 2020 收錄，並被選為Oral論文。
阿里安全圖靈實驗室表示，該工作將用到阿里原創保護平臺，在淘寶、天貓等阿里系電商平臺上線，提供侵權檢測能力。
精細化抄襲魔高一尺，打假道怎麼高一丈？
就服裝領域而言，雖然打假一直不斷，但盜版抄襲問題依舊普遍存在。而且從線上到線下，抄襲手段越來越刁鑽，打假難度逐年提高。目前來看，服裝領域的抄襲只有有三類。
第一類集中在圖片盜用上。盜版者通常未經授權，拿正版品牌的商品圖使用或修改使用，比如在圖上添加自己店鋪的水印，或進行一些圖像處理（反轉、縮放、拼接等）。
這一類侵權抄襲成本很低，但很容易被平臺的圖片檢索系統鎖定，然後快速「治理」。
第二類是創意盜用，不良商家直接抄襲原創商家的整體商品設計和創意，製作同款或者仿款。
這類侵權的成本稍高一些，但基於商品整體相似度度量的同款檢索算法，可以對它們進行召回和治理。
第三類是盜用是對服裝的某些局部區域進行修改，像是洗稿，比如改變領口的設計款式、或者胸前印花的布局，甚至改變服裝的款型等。
但如下圖所示，仍然是抄襲正版品牌服裝的風格和設計元素（左側為正版，右側為盜版），甚至還當做「明星同款」來賣。
這類盜版的成本最高，並不易被傳統的基於商品同款檢索的算法鎖定。通常情況下，電商平臺只能通過人工審核來發現，打假成本很高。
那有沒有一種方法，能夠讓系統自動鎖定此類抄襲現象？這就是阿里安全圖靈實驗室最新研究的方向。
此前，他們基於屬性感知細粒度相似度學習方法，提出服飾版權算法來鎖定局部抄襲，被AAAI2020收錄。
現在他們又提出了一個新思路，基於服裝區域性表達的檢索模型，對圖像中的服裝進行區域化的相似性學習和度量，從而實現更有效打假。
精確到袖子、領子的 「盜版服裝圖像」檢索算法
「盜版服裝」的定義，是整體上抄襲原版服裝設計和風格，並在一兩個區域進行修改，以逃避現有同款服裝檢索模型篩查的服裝樣本。
阿里的研究人員將圖像中的服裝分為五個區域，包括領子、胸部、腰部和兩個袖子區域，並在四類服裝（短袖T恤、長袖上衣、外套、連衣裙）上實驗，各服裝區域劃分如下圖所示：
在算法設計上，他們提出了一種服裝關鍵點引導的區域注意力機制。
首先利用服裝關鍵點估計分支來預測服裝的關鍵點，即分布在服裝圖像各個關鍵位置的點位，如領口、袖口、肩部、腋下等。
每類服裝的關鍵點數量和分布有一定差異，點數在每件25-40個左右。根據這些關鍵點，算法可對服裝圖片進行多個區域的劃分，如領子、袖子、胸部、腰部區域等。
區域劃分信息通過基於ROI Pooling思想的方式引入，一體化的服裝圖像特徵被解耦為多個區域化的特徵表達，以獨立地進行特徵相似度的學習和度量。
同時，服裝關鍵點結合區域化的表達可作為一種注意力機制，引入到圖像檢索網絡上，關鍵部位的特徵權重被提升，非關鍵部位的權重被削減，以提升模型對關鍵部位的判別力。
服裝關鍵點估計分支和圖像檢索分支使用相同的HR-Net主幹網絡，其多級並聯結構在獲取多尺度特徵的同時保持了高解析度。
在損失函數的選擇上，關鍵點估計分支採用了均方差損失函數，檢索分支採用了區域化設計的Triplet損失函數。而損失函數的數值不再是整個圖片範圍的特徵triplet差值，而是各個區域特徵差值的累加結果。
文中方法的框架如下圖所示，網絡可分為服裝關鍵點估計分支和服裝檢索分支，其中檢索網絡包含同款服裝檢索和盜版服裝檢索兩種輸出形式：
通過對平臺侵權服裝樣本的分析，阿里研究人員發現，不同類別服裝易被盜版的區域是不一樣的，因此只將服裝圖像特徵的相似度度量過程解耦是不夠的，還需要為每類服裝的多個區域設定差異化的權值，進行加權的區域相似性計算，以召回更多的盜版服裝樣本。
為此，他們基於平臺盜版服裝數據，建立了一個名為「Fashion Plagiarism Dataset」的數據集，該數據集中，每組「原版服裝」的query圖像對應gallery中多個「盜版服裝」圖像，數據覆蓋短袖T恤、長袖上衣、外套、連衣裙四類樣本。
他們在該數據集上，對在Deepfashion2數據集上預訓練過的檢索網絡進行Fine Tune訓練，用Coordinate Ascent算法對不同服裝類別的各區域權值進行迭代優化，以降低損失函數數值。
「盜版服裝」檢索訓練過程的損失函數，同樣基於Triplet損失函數設計。最終，訓練後的盜版檢索網絡可以基於上圖中的Input服裝圖像召回Output中綠框內的盜版服裝樣本。
打假效果怎麼樣？不輸、甚至超越此前SOTA
在論文的實驗部分，阿里研究人員首先在「Fashion Plagiarism Dataset」上對算法的「盜版服裝圖像」檢索能力進行了評估。
除了論文所提出的方法外，他們還設定了兩種方法進行對比：一種是傳統檢索方法，使用相同的backbone網絡和Triplet的損失函數，但是不包含區域化特徵學習和表達機制；另一種是包含區域化特徵表達機制，但是使用非Fine Tune訓練得到的區域權重，評價指標為mAP。
從表中結果可以看出，論文所用方法在各個服裝類別都取得了最佳效果。
除上述「盜版服裝檢索」的評價實驗外，他們還在Deepfashion系列數據集上進行了服裝關鍵點估計，和同款服裝圖像檢索任務的實驗。
在服裝關鍵點估計部分，阿里研究人員在目前複雜度最高的Deepfashion2數據集上進行了評測，與現有Match-RCNN, CPN, Simple-Baseline等方法相比，服裝關鍵點估計模型在各個子集上都取得了最高的mAP結果：
在同款服裝檢索實驗中，他們選用了FashionNet, Match-RCNN, PCB等方法作為對比，在Deepfashion和Deepfashion2上分別進行了實驗。
其中，Deepfashion主要針對In-shop檢索場景，Deepfashion2則針對於Consumer-to-shop場景。評價指標分別為Top-N recall和Top-N accuracy。
結果如下圖所示，阿里的方法在Deepfashion數據集上取得了與SOTA方法相近的效果，在Deepfashion2數據集上的結果要明顯優於現有baseline方法。
來自阿里安全圖靈實驗室
一共有5名研究人員參與了這項研究，分別來自阿里巴巴、浙江工商大學和 阿里巴巴-浙江大學前沿技術聯合研究中心。
文章第一作者Yining Lang、第二作者Yuan He、第三作者Fan Yang來自阿里安全圖靈實驗室。阿里安全圖靈實驗室負責人薛暉，是文章的通訊作者。浙江工商大學Jianfeng Dong也是論文作者之一。
阿里安全圖靈實驗室正式成立於2016年，前身是阿里安全基礎算法團隊，主要從事安全與風險方面的AI系統研發，核心技術包括計算機視覺、自然語言處理、生物特徵識別、圖計算以及異常檢測和分析等，截止到2018年，已申請50多項專利。
目前，他們還在大舉招兵買馬，包括研究型實習生和正式研究者，如果你有興趣，可以關注下~
作者系網易新聞·網易號「各有態度」籤約作者
— 完 —
北京時間3月21日早10:30，線上首次雲試乘無人車！急尋眾多監工們，跟隨輕舟智航L4級無人車應對矽谷晚高峰。此外更有兩位輕舟智航頂級技術專家、前Waymo核心工程師拆解其創新技術路徑以及大規模智能仿真系統的具體應用。
戳二維碼，備註「無人車」即可報名、加交流群與同好討論交流無人車進展~
高能直播 | 雲體驗無人車試乘+頂級技術專家拆解仿真系統
直播報名 | 圖像與視頻處理系列課程
開始報名啦，3.26晚8點，英偉達專家將分享如何利用遷移式學習工具包加速Jetbot智能小車推理引擎部署。
戳二維碼，備註「英偉達」即可報名、加交流群、獲取前兩期直播回放，主講老師也會進群與大家交流互動哦~
量子位 QbitAI · 頭條號籤約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
喜歡就點「在看」吧 !
原標題：《淘寶「明星同款」可能要被AI抓出來打了，阿里新研究專攻服裝局部抄襲丨CVPR》
閱讀原文