點擊上方「CVer」，選擇加"星標"置頂
重磅乾貨，第一時間送達
在深度學習領域，有一個名詞正在被越來越頻繁地得到關注：遷移學習。它相比效果表現好的監督學習來說，可以減去大量的枯燥標註過程，簡單來說就是在大數據集訓練的預訓練模型上進行小數據集的遷移，以獲得對新數據較好的識別效果，因其能夠大量節約新模型開發的成本，在實際應用中被更廣泛地關注。基於此，百度EasyDL零門檻AI開發平臺引入了超大規模視覺預訓練模型，結合遷移學習工具，幫助開發者使用少量數據，快速定製高精度AI模型。
高質量數據獲取難度高，遷移學習提升模型效果
在訓練一個深度學習模型時，通常需要大量的數據，但數據的採集、標註等數據準備過程會耗費大量的人力、金錢和時間成本。為解決此問題，我們可以使用預訓練模型。以預訓練模型A作為起點，在此基礎上進行重新調優，利用預訓練模型及它學習的知識來提高其執行另一項任務B的能力，簡單來說就是在大數據集訓練的預訓練模型上進行小數據集的遷移，以獲得對新數據較好的識別效果，這就是遷移學習（Transfer Learning）。遷移學習作為一種機器學習方法，廣泛應用於各類深度學習任務中。在具體實現遷移學習時，有多種深度網絡遷移方法，其中的Fine-tune（微調）是最簡單的一種深度網絡遷移方法，它主要是將已訓練好的模型參數遷移到新的模型來幫助新模型訓練。
針對一個具體的模型開發任務，我們通常會選擇在公開的大數據集上訓練收斂、且效果較好的模型，作為預訓練權重，在此基礎上使用業務數據對模型進行Fine-tune。在Fine-tune時，默認源域（預訓練模型）、目標域數據集（用戶業務數據集）需要具有較強相關性，即數據同分布，這樣我們才能利用預訓練模型的大量知識儲備，快速高效地訓練出針對特定業務場景並具有優秀效果的模型。
但在實際應用場景中，很多用戶會面臨數據集與源數據集分布不同的問題。比如，預訓練模型的數據都是自然風景，但用戶的數據集都是動漫人物。類似這種源數據集和目標數據差別較大的問題，在具體應用中較易導致負向遷移，具體表現為訓練收斂慢，模型效果差等。
因此，一個包含各類場景、覆蓋用戶各類需求的超大規模數據集就十分重要，通過這個包羅萬象的超大規模數據集訓練所得的模型，才能夠更好地適應來自各行各業用戶的需求，更好地Fine-tune用戶的業務數據集，幫助用戶在自己的數據集上得到效果更好的模型。
百度超大規模預訓練模型便在此背景下產生，在視覺方向，百度自研超大規模視覺預訓練模型覆蓋圖像分類與物體檢測兩個方向。圖像分類的預訓練模型，用海量網際網路數據，包括10萬+的物體類別，6500萬的超大規模圖像數量，進行大規模訓練所得，適應於各類圖像分類場景；物體檢測的預訓練模型，用800+的類別，170萬張圖片以及1000萬+物體框的數據集，進行大規模訓練所得，適應於各類物體檢測應用場景。相對於普通使用公開數據集訓練的預訓練模型，在各類數據集上都有不同程度效果提升，模型效果和泛化性都有顯著提升。
真實測試數據展示百度超大規模視覺預訓練模型的強大能力
（以下實驗數據集均來自不同行業）
圖像分類
在圖像分類模型中，使用百度超大規模預訓練模型的Resnet50_vd相比普通模型在各類數據集上模型效果平均提升12.76%，使用百度超大規模預訓練模型的Resnet101_vd，相比於普通預訓練模型，平均提升13.03%,使用百度超大規模預訓練模型的MobilenetV3_large_1x，相比於普通預訓練模型，平均提升8.04%。
基於百度超大規模預訓練模型訓練出來的ResNet50_vd，ResNet101_vd和MobileNetV3_large_x1_0，其中比較特殊的幾個模型，EffcientNetB0_small是去掉SE模塊的EffcientNetB0，在保證精度變化不大的同時，大幅提升訓練和推理速度，ResNeXt101_32x16d_wsl 是基於超大量圖片的弱監督預訓練模型，準確率高，但預測時間相對增加，Res2Net101_vd_26w_4s則是在單個殘差塊內進一步構造了分層的殘差類連接，比ResNet101準確度更高。
並且，為了進一步提升圖像分類模型的模型效果，在訓練層面，圖像分類新增了mix_up和label_smoothing功能，可以在單標籤分類任務中，根據模型的訓練情況選擇開啟或者關閉。mix_up是一種數據增強方式，它從訓練樣本中隨機抽取了兩個樣本進行簡單的隨機加權求和，並保存這個權重，同時樣本的標籤也對應地用相同的權重加權求和，然後預測結果與加權求和之後的標籤求損失，通過混合不同樣本的特徵，能夠減少模型對錯誤標籤的記憶力，增強模型的泛化能力。Label_smoothing是一種正則化的方法，增加了類間的距離，減少了類內的距離，避免模型對預測結果過於confident而導致對真實情況的預測偏移，一定程度上緩解由於label不夠soft導致過擬合的問題。
物體檢測
在物體檢測模型中，使用百度超大規模預訓練模型的YOLOv3_DarkNet相比普通模型在各類數據集上模型效果平均提升4.53 %，使用百度超大規模預訓練模型的Faster_RCNN，相比於普通預訓練模型，平均提升1.39%。
並且，在物體檢測方向，EasyDL內置基於百度超大規模預訓練模型訓練出來的YOLOv3_Darknet、Faster_R-CNN_ResNet50_FPN，其中，Cascade_Rcnn_ResNet50_FPN通過級聯多個檢測器以及設置不同IOU的重採樣機制，使得檢測器的精度、和定位的準確度進一步提升。此外，針對用戶的需求，新增兩種YOLOv3的變種模型，其中，YOLOv3_MobileNetV1，是將原來的YOLOv3骨架網絡替換為MobileNetv1，相比YOLOv3_DarkNet, 新模型在GPU上的推理速度提升約73%。而YOLOv3_ResNet50vd_DCN是將骨架網絡更換為ResNet50-VD，相比原生的DarkNet53網絡在速度和精度上都有一定的優勢，在保證GPU推理速度基本不變的情況下，提升了1%的模型效果，同時，因增加了可形變卷積，對不規則物體的檢測效果也有一定的正向提升。
綜合多項數據可以發現，百度超大規模視覺預訓練模型對比公開數據集訓練的預訓練模型，效果提升明顯。
EasyDL零門檻高效定製高精度AI模型
百度EasyDL是基於飛槳深度學習平臺，面向企業開發者推出的零門檻AI開發平臺，一站式支持智能標註、模型訓練、服務部署等全流程功能，內置豐富的預訓練模型，支持圖像分類、物體檢測、文本分類、音視頻分類等多類模型，支持公有雲/私有化/設備端等靈活部署方式。EasyDL目前已在工業、零售、製造、醫療等領域廣泛落地。
在模型的開發與應用過程中，從數據準備、模型訓練到服務部署，開發者在每個環節都可能面對不同的門檻與難點。
在數據準備階段，如何針對業務需求選擇適當的訓練數據並正確標註？
進入到模型訓練環節，如何選擇恰當的模型，精度該如何提升？
到達部署的「最後一公裡」，硬體如何選型，又如何快速完成業務集成？
解答疑問的機會來了！
本周六，AI快車道降臨「世界歷史名城」西安，開源框架高階營也將由百度資深研發工程師們，從開發全流程、目標檢測、「全能」OCR、最前沿的NLP技術、部署工具、崑崙晶片六大方向展開深度講解，歡迎有AI應用的、熱愛深度學習技術等尋求技術突破的開發者們來【高新希爾頓酒店7層3號廳】進行交流，期待在這樣一個歷史、科研、教育、工業都重點發展的城市與大家共建AI之路！
同日，AI快車道【EasyDL零門檻模型開發營】也在【西安高新希爾頓酒店7層1號廳】，百度資深研發高工將會用半天時間，深入淺出講解技術原理、結合業務與技術解析行業標杆案例，手把手帶領學員完成模型開發！更有設備端模型技術原理介紹與展示、研發現身說法分享多年累計模型效果提升經驗，助你短時間超高效取得EasyDL模型開發真經！
同時，也會在線上同步直播，掃描海報二維碼或點擊閱讀原文，報名進群獲取完整課表與直播連結！