京東AI Fashion-Challenge 挑戰賽冠軍方案詳解(風格識別+時尚單品...

雷鋒網(公眾號：雷鋒網) AI 科技評論按：隨著消費升級時代的來臨，中國時尚消費市場正漸漸變得更加個性化、精緻化和多樣化，服飾的時尚風格對消費動機的影響愈漸加深，而隨著 AI 技術的發展，AI 也越來越多地被應用於時尚領域。

基於以上原因，京東集團 AI 平臺與研究院推出與時尚相關的 AI Fashion-Challenge 挑戰賽，該項賽事包括時尚風格識別和時尚單品搜索兩個子任務。

對於風格識別賽道，主要面臨兩大難題，一是基於京東真實數據集的樣本差異非常明顯，二是時尚還面臨主觀性和專業性問題，是非常具有難度的多標籤分類任務之一。本次競賽邀請了專業時尚設計界人士，在設計師指導下標註了大量京東的女裝商品照片的整體時尚風格，共分為 13 類風格。

另一個賽道是時尚單品搜索，這是時尚領域比較常見的視覺搜索任務，除了前面提到的主觀性挑戰，圖片中的物體具有不規則的特性，角度和形狀也具有多樣性，這也都為解決本問題帶來巨大挑戰。

據京東 AI 平臺與研究部叶韻博士介紹，本次比賽共有 212 支隊伍報名，52 支隊伍提交結果，共收到 12 份技術報告，參賽人員來自 6 個不同國家和地區，涵蓋 196 所大學和研究所，包含 31 家公司。最終，「西天取京」隊以 0.6834 F2 Score 獲得時尚風格識別子賽道冠軍，「Fashion_First」隊以 0.5886 mAP 獲得時尚單品搜索子賽道冠軍。

「西天取京」隊成員如下：

• 丁煌浩

  [e-mail]

• 萬輝

  wanhui0729@gmail. com

「Fashion_First」隊成員如下：

• 陳亮雨，中國科學院自動化研究所實習生

• 吳旭貌，中國科學院自動化研究所實習生

• 方治煒，中國科學院自動化研究所博士在讀

• 劉靜（帶隊老師），中國科學院自動化研究所研究員

以下為這兩個賽道冠軍方案：

風格識別賽道

本次競賽開發數據包含 5.5 萬張經過專業標註的真實京東時尚單品展示圖，該數據用作模型訓練及調優。 測試數據包括 1 萬張經過專業標註的真實的京東時尚單品展示圖。任務描述如下：給定一張時尚照片 I，參賽算法需要預測

 。

其中S={運動，休閒，OL/通勤，日系，韓版，歐美，英倫，少女，名媛/淑女，簡約，自然，街頭/朋克， 民族}

工程方面：

以 Keras 作為基礎框架，對其進行了一定的優化和封裝，大大的加快了開發進度，具體如下：

• 採用 Config-Driven-Development 的開發方式，對所有的技術和參數進行封裝，只用修改配置文件即可自動進行訓練、評估、統計、集成。

• 擴展了 Keras 的數據加載器 ，使其支持 TTA、K-Fold Cross Validation。

• 將 Keras 的 Evaluate 方法改為異步，減少了訓練的中斷。

• 將 XGBoost 的參數分發到多臺 PC 訓練然後合併，縮短了訓練時長。

模型：

採用多種不同的 Backbone，包括 ResNet、Inception、Xception 等，後接兩個 FC 層，分別為 256、13 個神經元（多隱層提升並不大），兩層之間使用 BN，使用 Cross-Entropy Loss、Focal Loss 進行模型的訓練。這種結構相當於構建了 Multi-task 學習，比起每個標籤單獨訓練模型而言，速度更快，且精度更高。

數據增強：

使用了一些比較通用的方法，包括隨機裁剪(橫15%，縱10%)、拉伸(10%)、壓縮(10%)、水平翻轉。裁剪時考慮到人的比例，橫向和豎向的裁剪比例不同，這樣會有一定的提升。

除此之外，提出一種專門針對服裝的變色方案：

1. 使用 MASK-RCNN 分割出人像；

2. 根據人像區域中的顏色比例，推測出服裝的顏色；

3. 對服裝顏色在全局進行 HSV 變換。

這種方法的好處是變化的平滑以及自然，缺點是一定程度上影響了背景。最終，一共生產出大約 130K 圖片，考慮到計算量，並沒有全部使用。

測試時，嘗試了兩種增強，一種是水平翻轉，一種是裁剪（左上、左下、右上、右下、中央）。五種裁剪操作加上翻轉一共有十種變換，雖然效果更好，但會有很大的性能損耗。最終僅採用了水平翻轉，可以將結果提高一個百分點左右。

處理標籤不均衡：

此次比賽的數據集存在嚴重的標籤不均衡，數量差異可達 480 倍。主要採用了如下的四種方案來解決：

• 上採樣：對所有稀疏標籤相關樣本進行上採樣。因為這是一個多標籤分類問題，雖然密集標籤相關樣本數量也會被連帶進行部分上採樣，但是比例會變得更均衡。

• 下採樣：因為小標籤本來就很少，如果再對它進行下採樣，後果會更加嚴重，因此下採樣時只對那些所有標籤都是密集標籤的樣本進行下採樣，不會影響到稀疏標籤相關樣本。

• 數據生成：使用前面提到的服裝變色技術對稀疏標籤相關樣本進行變色。

• 優化損失函數：使用 Focal Loss（使用網格搜索法進行了簡單的調參），提升了 1% 左右。如果與加權法相結合，應該會帶來更好的效果（參考第二名）。

下圖左邊是上採樣之後各個標籤的 F2 score，右邊是提升值。比賽中對 0，3，6，12 這四個標籤進行了上採樣，可以看到這四個標籤平均提升值大約在 3.5% 左右。

下採樣過程中隨機對樣本進行刪除，分別測試了 20%，40% 和 60% 的下採樣，可以看到 20% 的時候效果最好。

調參：主要使用 Adam，batch-size 為 32，圖像短邊為 224（經測試，尺寸越大結果越好，但由於算力限制，仍以 224 為主），使用 Cyclic Learning Rate 和階段性 Fine Tuning（以較大的學習率訓練後幾層，然後逐步增加訓練的層數並減小學習率，最初始的幾層不進行訓練），這可以加快速度，並提高準確率。

閾值搜索：

由於每個標籤的概率分布不同，因此需要不同的閾值（如某些數量較小的標籤，輸出值往往低於 0.5，而數量較多的標籤輸出值大於 0.5）。

我們嘗試了三種方案：第一是固定閾值，人為根據概率分布去篩選閾值。第二，用 L-BFGS 去搜索，第三，只用了貪心搜索。最後得出來的結果是，固定閾值效果較差，L-BFGS 和貪心搜索差異不大，但貪心搜索更快，也更穩定。

為了驗證 CV 集上貪心搜索的泛化能力，我們在後來官方公布的測試集上也進行了搜索，並進行了對比，發現 CV 上的閾值和 TEST 上的閾值之間的差異小於 0.1，而且是類似正態分布。不管是密集標籤還是稀疏標籤，都是這樣的分布，可見貪心搜索算法在本任務中有較好的泛化能力。

模型集成：

模型集成的關鍵主要是在於模型的「好而不同」，即模型效果首先要效果好，還要具有多樣化。我們使用如下方法來實現：

第一，使用了多種優秀的 backbone網絡，包括ResNet、Inception、Xception、DenseNet 等；

第二，針對每個模型，在訓練過程中對參數、數據集進行微擾；

第三，我們計算了所有模型的模型相關度，篩選掉相關性大於 90% 的模型。

第四，基於每個標籤獨立挑選最優秀的模型。由於訓練過程中，不同標籤到達最優的 epoch 不同，因此我們以標籤為單位根據 F2-Score 對所有模型的所有 epoch 進行統一排序，並挑選 Top-N 模型。

集成方法是使用 Stacking + Bagging 進行集成。訓練階段，首先使用 5-fold validation 訓練大量 CNN 模型，並將所有 fold 的預測拼接在一起構成新的數據集輸入到XGBoost 中，同樣使用 5-fold validation 訓練 XGBoost。預測階段，將圖片輸入 5-fold 的 CNN 網絡，然後再分別輸入到 5-fold 的 XGBoost，最後通過投票的方式得到最終輸出。

詳細信息參見：

https://fashion-challenge.github.io/西天取京.pdf

時尚單品搜索

任務：給定一個大規模時尚單品的電商展示圖集合 S，其中每個時尚商品都屬於{上衣，鞋子，箱包}中的某一類。對於任意一張時尚單品的用戶實拍圖 q，都存在一個與之相匹配的電商展示圖集合

本賽中，設定任意的用戶實拍圖 q 都至少存在一張商品同款圖在S中。參賽算法需把 S 中的電商展示圖依照與 q 的相似度降序排列，提交前10的最相似圖片。

本次比賽的難點主要有兩方面：第一，商品匹配的細節化，這意味著兩個商品圖片是否匹配，其關鍵點往往取決於某幾個局部細節的異同。第二，商品成像角度的多樣性。任意一件商品都可能從任意一個角度被呈現出來，這會導致匹配的商品圖像視覺特徵差異很大。

近幾年，隨著深度學習的發展，圖像檢索的研究也隨之被大大推進。卷積神經網絡在解決光照、尺度、紋理等問題上面展現出很強的優越性。但是對於本賽事中的商品檢索任務所面臨的上述兩個問題，卻仍然是一個極大的挑戰。在本次比賽中，Fashion_First 團隊提出一種多粒度局部對齊神經網絡，有效解決上述兩個問題，使得商品檢索的精度有了很大的提高。

此次冠軍方案主要有以下兩個亮點：

網絡框架

Fashion_First 採用的網絡是 ResNet101，在訓練模型之前，對檢索庫的圖片進行了預分類，最後的效果將近 99%，符合使用需求。不同於現在大多數人使用基於度量 Loss 的網絡，我們依舊把這一個任務看成一個分類問題，既簡單又高效。

網絡有四個分支：全局分支，橫向分支，縱向分支以及環形分支。

全局分支負責學習全局特徵，以保持模型對整體信息的抓取能力。橫向分支主要學習具有水平方向的平移不變性的特徵，為了能夠在不同尺度上學習這一特徵，模型對特徵圖在水平方向上進行不同粒度的切分：一個均分為兩等分，一個均分為三等分。最終水平方向會產生 5 個局部特徵，每個局部特徵都會經過平均池化和最大值池化以及一個 1x1 卷積後用於商品分類器的訓練。類似地，縱向分支的目的是學習具有垂直方向平移不變性的特徵。

與上面不同的是環形分支，其任務是學習具有旋轉不變性的特徵。與 STN 和可變卷積不同，Fashion_First 團隊提出環形池化方法，不需要額外參數，即可保持旋轉不變性。其具體做法是對原始特徵圖從中心開始，按照不同半徑，提取環形特徵子圖（實際操作採用方環形而非圓環形的方式提取）進行均值池化和最大值池化，然後相加起來。這種方式在理論上可以輕鬆保持 360 度的旋轉不變性，並且在試驗中也取得了很好的效果。

上述四個分支構成多粒度的局部對齊神經網絡，訓練過程簡單高效，檢索結果性能優異，取得了本次賽事單品搜索任務的第一名。

實現細節

此次比賽在參數的設定上，整體的 Loss 值使用各個分支的交叉熵 Loss 的和，輸入圖片的尺寸為 384×384。在訓練過程中，batch size 最初設置為 64，Adam 優化器的初始學習率設置為 0.06，在 20 個 epoch 的時候衰減到 0.012，大概在 55-60 epoch，可以得到收斂。

以下是實驗結果，可以看到水平、垂直和環形三種方式的對比，環形相較另外兩種方式能得到很大的提升，另外不同的主幹網絡得到的結果也有著較大的差異。

比賽的最後階段主要進行的是模型融合，相似網絡結構的模型融合的提升效果一般。主要融合的模型有四個 Resnet101, Resnet152, Resnext101 和 Densenet169，最後得到的 mAP 為 0.55886，與單模型相比有著 2 個點的提升。

詳細信息可以參見：

https://fashion-challenge.github.io/fashion_first.pdf

比賽更多信息：

https://fashion-challenge.github.io/#index

雷鋒網雷鋒網

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。