愛奇藝背後的AI雷達密碼

2021-01-11 數據猿DataYuan

打開愛奇藝APP,各種清爽的劇集、電影、綜藝等撲面而來。當我們隨意點開一部,跳過廣告,你就會發現愛奇藝AI雷達的蹤跡。你可能只知道它可以用來人臉識別、身份識別,但卻不知道它還能用來「監測民意」,甚至還會彈幕造梗。不僅如此, AI雷達還可以全鏈路助力用戶傳播行為,達成企業營銷的目的。

AI雷達的三大攻略

「聰明」的AI雷達時時刻刻保持對你的關注。當觀眾選擇劇集,並為此花費時間時,AI雷達就已經在工作狀態中了,它會時刻捕捉用戶關注點、智能監測預估爆點、彈幕造梗引爆話題,讓你情不自禁被引導,並產生分享、購買行為。

AI 雷達能夠實時定位、識別和搜索視頻中的角色人物以及各種物品,用戶通過連結功能,去了解信息,去購物,還可以快速進入「泡泡圈」,對角色進行交流討論和與明星互動。其實,筆者覺得AI雷達像商店裡的導購,為的是讓你更多了解你所看到的一切,基於此,與你展開更多有價值的互動。不過,這個導購,更加隱蔽,並對你觀察更為細緻了。

AI雷達可以通過AI技術識別人臉及物體,同時打通愛奇藝百科、愛奇藝泡泡,從而幫助內容營銷調取數據及策略,分析指導營銷團隊加大對熱門演員、熱門商品的推廣,提升相關內容關注度。在觀劇過程中,觀眾通過點擊屏幕左側的掃一掃按鈕,既方便觀眾自動識別出感興趣演員的人物百科、彈幕百科和專題百科,又方便愛奇藝平臺監測觀眾的興趣點和關注點,從而抓取新的營銷「素材」,一舉兩得。

愛奇藝AI雷達,可在《奇葩說》中掃一掃李誕直接看百科

智能AI輿情監測系統具備有效預判、迅速抓取和捕捉用戶愛看的片段和話題的「能力」,為內容營銷預估話題爆點,從而為營銷方向提供有效建議。與此同時,藉助智能AI輿情監測系統還可以進行彈幕有效關鍵詞的抓取,基於大數據提取的用戶興趣點,通過篩選出全劇點讚量靠前的彈幕,在界面顯示為「梗」,從而實現彈幕造梗效果。這類花樣互動玩法成為劇集熱度的重要貢獻者。由彈幕造梗延伸而來的「造梗運動」「熱搜話題」等社交互動方式,也是內容熱度值的一大重要體現。

營銷造梗在近期熱播的《哈哈哈哈哈》《流金歲月》《奇葩說7》等作品中均有體現,儼然成為愛奇藝眾多營銷項目中的常青款。例如,在《哈哈哈哈哈》中曾誕生了「鹿晗的笑容治癒我」等話題,將彈幕熱點話題輸出打造為「爆梗」形成互動熱潮。這些直接來自用戶的「梗」經加工後再次反輸給大眾,自然能準確擊中網友high點。隨著劇集的熱播而頻繁出圈,這些話題也屢次登上熱搜,帶動一輪又一輪的社交傳播。

AI雷達的目的在於充分調動用戶參與互動的主觀能動性,最大化提升內容觀看的用戶黏性,以保證內容熱度的穩定發酵及持續增長。用戶互動的素材來源,往往來自於用戶觀看的實時反饋。這些素材往往又產生於彈幕、評論區等交互地帶。

AI雷達是愛奇藝實施科技賦能策略時通盤考慮下的傑作。網際網路時代,每一個爆款背後都有著自身獨特的營銷理念。AI雷達作為愛奇藝AI戰略的一部分,發揮了顯而易見的拼圖作用,它與AI人臉識別「只看TA」個性化推薦,愛奇藝一鍵製作、一鍵分享的智能剪輯,一脈相承,前兩者拉動用戶觀看、激發用戶分享,並在中間提升用戶互動,相互嵌套,線性組合。

AI雷達的90後「父母」

AI雷達是愛奇藝奇異果TV獨有的一款創新應用,具有強大的AI視頻能力。它的誕生離不開兩位年輕愛奇藝90後Elliote和Youm的奇思妙想。為了表達他們對這款產品的突出貢獻,愛奇藝將他倆分別稱之為「AI雷達之父」「AI雷達之母」。

2018年,在愛奇藝智能電視團隊的創新分享會上,負責UE設計的Elliote基於生活中的智能電視應用洞察,提出了手機與智能電視之間互動的創意,後經內部討論,創意最終定義出AI雷達產品,即通過電視遙控器實現視頻信息的識別和搜索。

隨後,AI雷達項目立項。熱衷AI功能應用的產品經理Youm承擔起了這份挑戰性的工作。AI雷達在上線前要經過三重關口,第一是準確定義Al雷達功能,細化產品的需求。這是從0到1的想像,內部成員勢必面臨輪番「燒腦」碰撞和反覆討論修訂的艱難過程,以期產品通關。第二是要過用戶體驗關,功能應用既要簡單易用,又要解決識別框如何出現、如何展現、停留多久、如何消失等UI/UE問題,以儘量減少對用戶觀看視頻的影響。第三是內外資源的整合。因此,他們要整合AI技術、產品開發測試等內部力量,在3個月內實現產品上線。

另外,團隊還要高效整合AI雷達連結的外部信息、商品資源、廣告資源等,以更好創造用戶價值和公司商業價值。

經過一番攻堅克難的挑戰,AI雷達終於上線。對於電視用戶的覆蓋率預估大約為千分之一,但用戶的熱情明顯超過了愛奇藝團隊預期,每天百萬級的用戶會使用這一功能去查閱信息。後在團隊的努力策劃與實踐下,又大大提高了AI雷達功能應用的活躍度,用戶使用率大幅提升。

多模態算法的強力支撐

AI雷達,繞不過去的是多模態算法。其背後的大數據人臉庫存與隨機識別能力,體現了愛奇藝機器學習能力的深度與廣度。最終,AI雷達成為助力愛奇藝品牌營銷的重要抓手。

多模態技術是對視頻中,人物服飾、髮型、聲紋和虹膜等生物特徵的識別。它既可以識別虛擬人物,也可以對真人進行識別。

愛奇藝科學家路香菊博士介紹,虛擬人物識別技術遇到的第一個挑戰是數據源問題,無論是圖片數量還是人物身份信息數量,對應用到實際業務中來說都是遠遠不夠的,同時這些數據的標註信息質量也參差不齊。這讓他們前期花費大量的時間進行數據清洗與標註。目前他們已經積累了大約四萬多個角色,近50萬張訓練圖片,標註精度達98%,標註信息包括位置檢測框、姿態、性別、顏色等。

路香菊

路香菊的團隊,還在虛擬人物識別中借鑑了真人識別中的一些損失函數,如 Softmax、SphereFace、CasFace、ARCFace等,不斷使類內分布更緊密,類間分布差異更大,提高實踐應用中判別的準確性。此外,也利用真人數據與卡通數據進行融合來彌補虛擬人物數據不足的現狀。

就真人識別來講,愛奇藝人臉識別相關算法使用的人臉資料庫 ID已達到了550萬,可直接識別名字的名人數量達到30萬左右。面對這麼多人臉數據,如何處理噪聲是一項非常艱巨的任務。他們以算法為主,人工為輔將人臉數據集的噪聲比例降到了非常低的水平,使模型精度有了大幅度的提升。通過模型量化、剪枝、蒸餾等處理優化模型速度,同時對CPU版本進行定製優化,節省了大量資源。

為了支持這麼大規模的人物數據訓練,愛奇藝還自研了定製化分布式框架。雖然有一些開源的框架,但是更多情況下適合一些簡單任務。針對有定製化需求任務難以滿足的情況,他們的自研框架,無論是整體訓練的精度,還是訓練速度,都有非常大的提升空間。

在識別精度方面,愛奇藝在他們的數據集上進行評測:第一個數據集是中學生庫,數據分布主要集中在證件照或證件照相匹配的實際應用場景;二是愛奇藝員工資料庫,裡面包含了大量的人臉、姿態、表情等變化;三是愛奇藝在多模態人物識別競賽中發布的數據集,裡面主要是針對明星的視頻數據進行身份識別。

愛奇藝不僅做簡單的人臉識別,而且在人臉信息不足或不清晰的情況下,選擇其他信息來輔助進行人物定位。在所有的信息中,首先是聲音信息;其次,在無聲情境中,要結合場景(如打鬥、行走中、監控),利用人物的一些動作、背影等姿態以及服飾等信息來進行人物身份判斷。

經過兩年的積累,愛奇藝基於真實場景中視頻任務的多模態資料庫已經成為業內首個多模態數據,並且標籤清晰,規模最大。

文:華笙 / 數據猿

相關焦點

  • 愛奇藝設置在哪?網頁愛奇藝設置在哪?怎麼設置?
    我們在網上觀看視頻,愛奇藝是一個好的選擇,那麼愛奇藝設置在哪?網頁愛奇藝設置在哪?怎麼設置?以下和大家分享下。在手機或者平板上,在打開頁面的底部靠右位置,在我的選項裡面,打開有設置,點頭像可以看到有退出登錄(手機截圖不太清楚,請諒解)。網頁愛奇藝設置在哪?
  • 奇異果TV和愛奇藝會員一樣嗎 愛奇藝會員能在奇異果上用嗎
    2、銀河奇異果(愛奇藝TV版)會員:可以在 PC端(電腦)、移動端(手機、平板電腦)、TV端(智能電視、電視盒子)上使用。相當於全網通用。  不過:  在開通時要7天之內去領取愛奇藝VIP會員,否則預期作廢!  在開通時要7天之內去領取愛奇藝VIP會員,否則預期作廢!
  • 11月09號愛奇藝會員帳號分享
    以下是2016年11月6日最新的愛奇藝vip帳號關注微信公眾號全天24小時不間斷更新各種vip帳號,數量更多,質量更好哦。以下是2016年11月5日最新的愛奇藝會員帳號關注微信公眾號全天24小時不間斷更新各種vip帳號,數量更多,質量更好哦。
  • 愛奇藝上訴,被駁回
    去年大熱劇《慶餘年》推出「超前點播」服務後,有會員用戶將愛奇藝告上法院。12月9日,備受關注的會員訴愛奇藝「超前點播」一案迎來二審判決。據南都記者了解,二審判決駁回愛奇藝上訴,維持原判。此前一審法院判決「超前點播」條款對原告不發生效力,愛奇藝需賠償原告1500元,不過並未否定「超前點播」模式。
  • 《皓鑭傳》霸屏收官,復盤愛奇藝「爆款」背後的內容「門道」
    一直以來,作為頭部平臺的愛奇藝看重於劇集內容的精品化程度,這不僅包括劇集所達到的製作水準,更重要的一方面在蘊含於劇集背後的價值意涵。由於不同的網絡視聽平臺具有各異的用戶畫像,只有契合用戶的興趣點才能夠真正實現劇集與平臺之間的互相成就,因此,基於平臺用戶「需求側」的深度分析和精準匹配構成了愛奇藝選劇的另一重要砝碼。主流網絡視聽平臺由技術驅動、賦能,愛奇藝更把技術基因的發揮落到實處。
  • 愛奇藝隨刻「史萊姆圈子」走紅背後:加速落地興趣社區
    架子手作就是活躍在愛奇藝隨刻上的「大泥po」,大部分的視頻創作內容都是關於史萊姆,僅單條內容在隨刻的播放量就達上百萬,成為隨刻史萊姆品類的一位代表性創作者。 11月7日-8日,隨刻精彩大會在上海舉辦。在創作者晚宴中,愛奇藝高級副總裁葛宏提出:「未來,隨刻將全力打造興趣圈子,投入更多資源讓創作者成為不同興趣圈子的焦點。」
  • 愛奇藝的多空戰爭:報告背後六大bug全解析-虎嗅網
    愛奇藝誇大了用戶人數和DAU,愛奇藝的實際用戶數要比此前愛奇藝公布的數據低60%以上,而DAU誇大了至少42%。2. 愛奇藝誇大了收入,虛增遞延收入,採取雙重會員統計;新愛體育誇大營收1.1億美金;誇大廣告收入。3. 誇大資本開支,尤其是收購了自研和發行能力都不足的天象互動;還抬高了內容版權價格。
  • 從愛奇藝下注奇巴布,看暑假兒童視頻熱背後的兒童生態潛力
    這是愛奇藝創始人兼CEO龔宇在今年愛奇藝世界大會上再次強調的戰略前瞻,同時他也將兒童視頻業務的戰略規劃提升到下一階段的重點。今年5月剛剛宣布原愛奇藝動畫屋APP正式更名為「愛奇藝奇巴布APP」,接著籤下一連串獨家頭部合作版權,一個暑假上線900多部早教內容,將平臺最先進的AI、AR技術率先應用。如此迅速而大刀闊斧的動作,誓要高築兒童視頻領域的準入門檻。
  • 愛奇藝下架漫威電影背後:視頻網站版權之爭未完待續
    最近幾天,「愛奇藝下架漫威」空降熱搜榜,成為網友熱議話題。目前,該話題在微博的閱讀量已達3.8億,討論4.2萬,大量漫威粉絲和愛奇藝會員來到這一話題下,試圖找到影片下架的原因。不過,剛剛進入到5月,愛奇藝就下架了漫威系列電影,不少網友表示,片子還沒看完就被迫下線最是「扎心」。愛奇藝究竟為何下架漫威電影?愛奇藝下架、優酷支持手機電視端,騰訊全線播放?
  • 焦點分析 | 愛奇藝下南洋
    聽了太多國外流媒體視頻的全球化故事後,如今國內長視頻網站愛奇藝也要出海了。近日,愛奇藝正式宣布與馬來西亞第一媒體品牌Astro達成戰略合作,合作達成後,愛奇藝將在其國際娛樂服務(iQIYI App)全球化運營的基礎上,通過Astro的媒體和營銷網絡觸達當地用戶,而Astro可以通過愛奇藝的技術產品和內容中臺系統分享愛奇藝的運營能力。
  • 愛奇藝上市傳聞再起,「狼」可能真的來了
    就在優酷慶祝自己10周年,宣布品牌煥新的一天後,它最大的競爭對手之一愛奇藝就傳出了一個重磅消息。  《華爾街日報》率先爆料,愛奇藝正在與潛在投資人談判,計劃2017年在美國或者香港IPO,以40至50億美元的估值融資約10億美元。  騰訊科技致電愛奇藝,官方稱對此消息不予置評。
  • 愛奇藝PPS影音
    愛奇藝PPS最新版是愛奇藝公司全新打造的一款視頻播放軟體。愛奇藝pps影音完全免費、無需註冊,更方便用戶們在線收看視頻節目。愛奇藝PPS最新版雖然是老牌在線視頻播放器,但新版增加的全網搜索功能讓你同時擁有愛奇藝、百度視頻、土豆、優酷等多種視頻節目。愛奇藝PPS下載至手機後你還可以使用投屏助手功能,讓你快捷投屏去將精彩無限放大。
  • 愛奇藝,賣不出去
    上市前的招股書顯示,自2015年起,愛奇藝每年的淨利潤分別是-25.75億、-30.74億、-37.36億。 上市後年報顯示,2018年,愛奇藝淨虧損91億,2019年,擴大到103億。 最新數據來看,2020年Q3財季,愛奇藝虧損12億元,同比大幅收窄。
  • 愛奇藝謝丹銘:用AI讓創作者提升效率,讓消費者簡單快樂
    在MEET 2021智能未來大會現場,愛奇藝副總裁謝丹銘表示:用AI結合科技與藝術,能促進整個產業的升級發展。以綜藝節目為例,愛奇藝最早投入、使用了一個大型AI綜藝創作系統,名為「愛創媒資系統」。在綜藝錄製現場,通常會有五六十個、甚至上百個(固定或移動的)攝像頭同時進行拍攝,產生大量錄製素材。
  • 愛奇藝攜手ACM MM舉辦2019"多模態人物識別競賽"
    作為全球多媒體領域頂級競賽的一部分,此次愛奇藝將於3月18日向全球參賽者開放最接近實際媒體應用場景的視頻人物數據集(iQIYI-VID-2019),更具挑戰性。愛奇藝攜手全球頂尖研究團隊探索視頻應用場景的多模態人物識別技術進一步突破。
  • 愛奇藝視頻HD
    愛奇藝視頻HD 音樂視頻 大小: 16.80M
  • 愛奇藝pps是什麼 和愛奇藝視頻app有什麼區別介紹
    全新的愛奇藝PPS是愛奇藝公司出品的一款個性化視頻推薦App在這裡,你可以第一時間獲取到影視劇周邊視頻、偶像採訪花絮。在這裡,你還能最快的了解到最新的本地事件,有趣的網友視頻。在這裡,你還可以給自己的偶像打榜、與志同道合的劇迷深度討論。
  • 愛奇藝攜手ACM MM舉辦2019「多模態人物識別競賽」
    作為全球多媒體領域頂級競賽的一部分,此次愛奇藝將於3月18日向全球參賽者開放最接近實際媒體應用場景的視頻人物數據集(iQIYI-VID-2019),更具挑戰性。愛奇藝攜手全球頂尖研究團隊探索視頻應用場景的多模態人物識別技術進一步突破。
  • 愛奇藝,更愛 PPS?
    PPS與愛奇藝將優勢互補    「這至少要比優土合併的互補性強。」一位視頻行業高管認為,同為網頁視頻的優酷土豆,曾在合併後很長一段時間內對組織架構進行調整,以最大程度減少同質化的內耗;但相比之下,百度愛奇藝與PPS「網頁+客戶端」組合互補性更強。    PPS此前已完成了3輪融資。
  • 揭秘愛奇藝PPS整合細節:吸取優酷教訓
    事實上,品牌定位不清晰不僅僅是愛奇藝剛剛併購PPS後出現的問題,同時也是去年優酷土豆併購中曾經遭遇的一大問題。昨天,愛奇藝CEO龔宇對這個問題給出了答案。愛奇藝與PPS如何整合?龔宇的解決方案是:1、整合完成後,愛奇藝與PPS將採用不同的品牌定位來細分市場,其中愛奇藝從主要定位於影視內容為主的長視頻播放平臺重新定位於綜合性的新主流視頻媒體,PPS則從定位於長視頻的播放工具重新定位於提供豐富內容的視頻娛樂平臺。2、愛奇藝與PPS完成了銷售團隊的整合,未來將由統一的團隊銷售團隊售賣愛奇藝與PPS的內容。