打開愛奇藝APP,各種清爽的劇集、電影、綜藝等撲面而來。當我們隨意點開一部,跳過廣告,你就會發現愛奇藝AI雷達的蹤跡。你可能只知道它可以用來人臉識別、身份識別,但卻不知道它還能用來「監測民意」,甚至還會彈幕造梗。不僅如此, AI雷達還可以全鏈路助力用戶傳播行為,達成企業營銷的目的。
AI雷達的三大攻略
「聰明」的AI雷達時時刻刻保持對你的關注。當觀眾選擇劇集,並為此花費時間時,AI雷達就已經在工作狀態中了,它會時刻捕捉用戶關注點、智能監測預估爆點、彈幕造梗引爆話題,讓你情不自禁被引導,並產生分享、購買行為。
AI 雷達能夠實時定位、識別和搜索視頻中的角色人物以及各種物品,用戶通過連結功能,去了解信息,去購物,還可以快速進入「泡泡圈」,對角色進行交流討論和與明星互動。其實,筆者覺得AI雷達像商店裡的導購,為的是讓你更多了解你所看到的一切,基於此,與你展開更多有價值的互動。不過,這個導購,更加隱蔽,並對你觀察更為細緻了。
AI雷達可以通過AI技術識別人臉及物體,同時打通愛奇藝百科、愛奇藝泡泡,從而幫助內容營銷調取數據及策略,分析指導營銷團隊加大對熱門演員、熱門商品的推廣,提升相關內容關注度。在觀劇過程中,觀眾通過點擊屏幕左側的掃一掃按鈕,既方便觀眾自動識別出感興趣演員的人物百科、彈幕百科和專題百科,又方便愛奇藝平臺監測觀眾的興趣點和關注點,從而抓取新的營銷「素材」,一舉兩得。
愛奇藝AI雷達,可在《奇葩說》中掃一掃李誕直接看百科
智能AI輿情監測系統具備有效預判、迅速抓取和捕捉用戶愛看的片段和話題的「能力」,為內容營銷預估話題爆點,從而為營銷方向提供有效建議。與此同時,藉助智能AI輿情監測系統還可以進行彈幕有效關鍵詞的抓取,基於大數據提取的用戶興趣點,通過篩選出全劇點讚量靠前的彈幕,在界面顯示為「梗」,從而實現彈幕造梗效果。這類花樣互動玩法成為劇集熱度的重要貢獻者。由彈幕造梗延伸而來的「造梗運動」「熱搜話題」等社交互動方式,也是內容熱度值的一大重要體現。
營銷造梗在近期熱播的《哈哈哈哈哈》《流金歲月》《奇葩說7》等作品中均有體現,儼然成為愛奇藝眾多營銷項目中的常青款。例如,在《哈哈哈哈哈》中曾誕生了「鹿晗的笑容治癒我」等話題,將彈幕熱點話題輸出打造為「爆梗」形成互動熱潮。這些直接來自用戶的「梗」經加工後再次反輸給大眾,自然能準確擊中網友high點。隨著劇集的熱播而頻繁出圈,這些話題也屢次登上熱搜,帶動一輪又一輪的社交傳播。
AI雷達的目的在於充分調動用戶參與互動的主觀能動性,最大化提升內容觀看的用戶黏性,以保證內容熱度的穩定發酵及持續增長。用戶互動的素材來源,往往來自於用戶觀看的實時反饋。這些素材往往又產生於彈幕、評論區等交互地帶。
AI雷達是愛奇藝實施科技賦能策略時通盤考慮下的傑作。網際網路時代,每一個爆款背後都有著自身獨特的營銷理念。AI雷達作為愛奇藝AI戰略的一部分,發揮了顯而易見的拼圖作用,它與AI人臉識別「只看TA」個性化推薦,愛奇藝一鍵製作、一鍵分享的智能剪輯,一脈相承,前兩者拉動用戶觀看、激發用戶分享,並在中間提升用戶互動,相互嵌套,線性組合。
AI雷達的90後「父母」
AI雷達是愛奇藝奇異果TV獨有的一款創新應用,具有強大的AI視頻能力。它的誕生離不開兩位年輕愛奇藝90後Elliote和Youm的奇思妙想。為了表達他們對這款產品的突出貢獻,愛奇藝將他倆分別稱之為「AI雷達之父」「AI雷達之母」。
2018年,在愛奇藝智能電視團隊的創新分享會上,負責UE設計的Elliote基於生活中的智能電視應用洞察,提出了手機與智能電視之間互動的創意,後經內部討論,創意最終定義出AI雷達產品,即通過電視遙控器實現視頻信息的識別和搜索。
隨後,AI雷達項目立項。熱衷AI功能應用的產品經理Youm承擔起了這份挑戰性的工作。AI雷達在上線前要經過三重關口,第一是準確定義Al雷達功能,細化產品的需求。這是從0到1的想像,內部成員勢必面臨輪番「燒腦」碰撞和反覆討論修訂的艱難過程,以期產品通關。第二是要過用戶體驗關,功能應用既要簡單易用,又要解決識別框如何出現、如何展現、停留多久、如何消失等UI/UE問題,以儘量減少對用戶觀看視頻的影響。第三是內外資源的整合。因此,他們要整合AI技術、產品開發測試等內部力量,在3個月內實現產品上線。
另外,團隊還要高效整合AI雷達連結的外部信息、商品資源、廣告資源等,以更好創造用戶價值和公司商業價值。
經過一番攻堅克難的挑戰,AI雷達終於上線。對於電視用戶的覆蓋率預估大約為千分之一,但用戶的熱情明顯超過了愛奇藝團隊預期,每天百萬級的用戶會使用這一功能去查閱信息。後在團隊的努力策劃與實踐下,又大大提高了AI雷達功能應用的活躍度,用戶使用率大幅提升。
多模態算法的強力支撐
AI雷達,繞不過去的是多模態算法。其背後的大數據人臉庫存與隨機識別能力,體現了愛奇藝機器學習能力的深度與廣度。最終,AI雷達成為助力愛奇藝品牌營銷的重要抓手。
多模態技術是對視頻中,人物服飾、髮型、聲紋和虹膜等生物特徵的識別。它既可以識別虛擬人物,也可以對真人進行識別。
愛奇藝科學家路香菊博士介紹,虛擬人物識別技術遇到的第一個挑戰是數據源問題,無論是圖片數量還是人物身份信息數量,對應用到實際業務中來說都是遠遠不夠的,同時這些數據的標註信息質量也參差不齊。這讓他們前期花費大量的時間進行數據清洗與標註。目前他們已經積累了大約四萬多個角色,近50萬張訓練圖片,標註精度達98%,標註信息包括位置檢測框、姿態、性別、顏色等。
路香菊
路香菊的團隊,還在虛擬人物識別中借鑑了真人識別中的一些損失函數,如 Softmax、SphereFace、CasFace、ARCFace等,不斷使類內分布更緊密,類間分布差異更大,提高實踐應用中判別的準確性。此外,也利用真人數據與卡通數據進行融合來彌補虛擬人物數據不足的現狀。
就真人識別來講,愛奇藝人臉識別相關算法使用的人臉資料庫 ID已達到了550萬,可直接識別名字的名人數量達到30萬左右。面對這麼多人臉數據,如何處理噪聲是一項非常艱巨的任務。他們以算法為主,人工為輔將人臉數據集的噪聲比例降到了非常低的水平,使模型精度有了大幅度的提升。通過模型量化、剪枝、蒸餾等處理優化模型速度,同時對CPU版本進行定製優化,節省了大量資源。
為了支持這麼大規模的人物數據訓練,愛奇藝還自研了定製化分布式框架。雖然有一些開源的框架,但是更多情況下適合一些簡單任務。針對有定製化需求任務難以滿足的情況,他們的自研框架,無論是整體訓練的精度,還是訓練速度,都有非常大的提升空間。
在識別精度方面,愛奇藝在他們的數據集上進行評測:第一個數據集是中學生庫,數據分布主要集中在證件照或證件照相匹配的實際應用場景;二是愛奇藝員工資料庫,裡面包含了大量的人臉、姿態、表情等變化;三是愛奇藝在多模態人物識別競賽中發布的數據集,裡面主要是針對明星的視頻數據進行身份識別。
愛奇藝不僅做簡單的人臉識別,而且在人臉信息不足或不清晰的情況下,選擇其他信息來輔助進行人物定位。在所有的信息中,首先是聲音信息;其次,在無聲情境中,要結合場景(如打鬥、行走中、監控),利用人物的一些動作、背影等姿態以及服飾等信息來進行人物身份判斷。
經過兩年的積累,愛奇藝基於真實場景中視頻任務的多模態資料庫已經成為業內首個多模態數據,並且標籤清晰,規模最大。
文:華笙 / 數據猿