雷鋒網 AI 科技評論按：今年 7 月，2019 騰訊廣告算法大賽「終極之戰」在深圳騰訊濱海大廈順利舉行。本次總決賽現場，騰訊廣告高級應用研究員石瑞超為大家帶來了題為《廣告場景下的 AI 視覺算法應用》的演講。視覺算法應用於廣告創意的三個階段包括廣告創建、廣告審核及廣告播放。研究員石瑞超為我們展示了 AI 視覺算法在解決廣告落地中痛難點的優勢與應用方法。以下是他的分享內容，雷鋒網 AI 科技評論做了不改變原意的整理與編輯。
騰訊廣告高級應用研究員石瑞超
廣告創建分為圖片創建和視頻廣告創建。石瑞超提到圖片創意生成過程面臨的兩個效果問題：商品摳圖的邊緣化處理和模板的更新擴充；此外他還介紹了視覺算法的解決方案。
廣告創意視覺算法應用
針對商品摳圖，這裡選擇了邊緣處理效果較好的GCN算法進行優化，並對邊緣做加權loss，提升邊緣平滑性，修改產品圖，進而提升視覺體驗。
然後在獲得良好摳圖效果的基礎上，再運用AI生成豐富的模板素材。而這一過程以產品主色調的提取為核心，基礎思路為：檢索並修改背景，做深度美感過濾模型提升產品視覺效果，繼而通過修改配色獲得多重類型模板，達到拓寬模板素材庫的效果。
其中，配色修改通過預估每個像素的主色調獲得配色後的最終效果，是模板生成的關鍵。在這一實踐中，算法首先採用了業界常用的 Conv-Deconv+L2 Loss，並根據實際情況改進網絡結構和損失函數；在經過重渲染控制像素值顏色的一致性，最終實際可用率可達到91%，獲得良好效果。
之後，石瑞超以電商廣告為切入點，向大家介紹視覺算法全自動智能生成視頻創意的過程。
隨著近年來各平臺視頻量快速增長，視頻創意生成面臨視頻廣告庫存不足的現狀。如何快速生成視頻廣告成為視頻創意的主要命題。要解決這一問題，首先我們需要抓取商品基礎信息，並基於行業模板庫生成對應故事板（囊括圖片、文案、配樂等要素），故事板經過渲染生成視頻，同時應用算法獲得封面圖，最終上線一條完整的視頻廣告。
廣告創意生成後，便進入廣告審核階段。隨著廣告體量的不斷增長、審核規則越發繁多和複雜，依靠傳統的人工審核已經無法滿足當前需求。
首先，審核人員需要快速且準確地對所有違規點進行識別；其次，針對同樣的違規問題，審核人員需要給予廣告主一致的反饋意見。為解決這一問題，這裡引入了智能審核項目，通過算法能力，在人工審核環節之前對廣告創意進行各種檢測，從而輔助人工高質量地完成審核。
演講中，石瑞超以明星人臉抄襲和遊戲抄襲為例介紹了他們在智能審核上面的一些實踐。基於龐大資料庫，他們採用 Asoftmax Loss 算法抓取特徵，進行明星人臉抄襲的識別工作。運用識別圖像關鍵區域的算法，通過關鍵區域與待識別素材的匹配程度判斷抄襲審核結果。
明星人臉抄襲識別方法
然而，智能審核項目的能力提升也面臨著成本高昂和效率提升瓶頸的難題。因此，這裡引用 AutoML 引擎為研究方向，藉助 AutoML 引擎的調優規則和搜索策略，提升智能審核效率。
AutoML 引擎
廣告播放的關鍵問題主要聚焦於兩個方面，一個是如何提升點擊率和轉化率；另一個是如何提升視覺體驗。石瑞超主要介紹了雙塔模型：抓取人群歷史的素材點擊特徵向量，以廣告的基礎特徵和用戶群體特徵為維度搭建雙塔模型，高效預估點擊率，提升廣告投放的預估效果。「我們做了這種嘗試，會發現AUC有比較明顯的提升，大概是2%，線上效果的消耗能達到3%—4%左右。」
在向目標人群推薦廣告的過程中，如果僅以點擊率和轉化率為推薦邏輯，用戶很容易看到相似素材。針對這一問題，這裡使用預訓練好的 CNN 模型，提取卷積層特徵，進行降維，得到無監督的 152 位向量。同時加入相似廣告素材的訓練數據進行 finetune，提升廣告數據的擬合度，使召回率獲得明顯提升，從而一定程度避免重複廣告素材的出現，優化用戶的視覺體驗。
相似素材過濾步驟
雷鋒網(公眾號：雷鋒網) AI 科技評論
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。