編輯部 整理自 MEET 2021量子位 報導 | 公眾號 QbitAI
AI技術，究竟能在哪些行業實現規模化應用？
這是視頻行業面對AI浪潮，交出的一份答卷：
素材智能檢索、老電影修復、音色克隆、虛擬動漫偶像……
愛奇藝將最前沿的AI技術，落地到視頻創作、內容分發中去，真正讓創作者提升效率、讓消費者簡單快樂。
在MEET 2021智能未來大會現場，愛奇藝副總裁謝丹銘表示：
用AI結合科技與藝術，能促進整個產業的升級發展。
在不改變原意的基礎上，量子位對謝丹銘的演講進行了編輯整理。
關於MEET 智能未來大會：MEET大會是由量子位主辦的智能科技領域頂級商業峰會，致力於探討前沿科技技術的落地與行業應用。本次大會現場有李開復等20餘位行業頂級大咖分享，500餘名行業觀眾參與，超過150萬網友在線收看直播。包括新華社、搜狐科技、澎湃新聞、封面新聞等數十家主流媒體在內紛紛報導，線上總曝光量累計超過2000萬。
演講要點
這場疫情，極大地提升了技術、尤其是智能技術在產業中的重要性。目前，國內有上萬部需要被拯救、保護的膠帶電影。如果利用AI修復，就可以省去80%的繁複工作。愛奇藝為內容創作者提供了一個素材庫，讓他們不再需要去盜版網站找視頻素材。我們希望降低廣告對用戶的打擾程度，讓廣告也能成為用戶獲取信息的手段。通過AI，將科技與藝術進行結合，就能促進整個產業的升級發展。用AI讓創作者提升效率，讓消費者簡單快樂。（以下為謝丹銘演講分享全文）疫情加速視頻創作智能化今天，我演講的題目是「智能時代的內容創作與消費」。在即將過去的2020年裡，多數產業遭遇較大衝擊，呈現出一個或深或淺的「V」字型走勢。演講之前，孟鴻老師問了我一個問題：愛奇藝和視頻行業，應該會是疫情的受益者？其實不然。如大家所見，年初由於疫情，很多人在家辦公，加之寒假，我們的消費指數飆升得很高。但在這之後，上下遊和合作夥伴受到疫情衝擊，我們也難以獨善其身。在疫情期間，由於很多片子無法拍攝，出現了內容供給跟不上、廣告預算大幅減少的情況。
經過思考，我們試著將內容創作搬到線上，實現了一個雲錄製系統。此後，我們利用AR、MR等XR技術，實現了虛擬製作，相當於搭建一個虛擬的棚，在棚裡進行電影、電視劇拍攝。我們還利用智能化技術，提升了廣告投放效率，減少了預算損失。這場疫情，極大地提升了技術、尤其是智能技術在產業中的重要性。目前，愛奇藝打造的智能平臺，主要用於服務兩部分人群：一部分是上遊的內容創作者，另一部分是用戶消費者。
其中，內容創作者主要分為三類。一類是傳統的長視頻創作者，包括導演、演員和後期製作人員，他們主要創作電影、電視劇、綜藝、動漫及兒童動畫片等類型的作品。另兩類則分別是短視頻、小視頻創作者，包括許多MCN（Multi-Channel Network）機構和UGC（User Generated Content）創作者。那麼，如何服務這些內容創作者？以綜藝節目為例，愛奇藝最早投入、使用了一個大型AI綜藝創作系統，名為「愛創媒資系統」。在綜藝錄製現場，通常會有五六十個、甚至上百個（固定或移動的）攝像頭同時進行拍攝，產生大量錄製素材。
這些素材的數量，是普通視頻素材的幾十倍、甚至上百倍，手動處理起來非常麻煩。但如果用AI來處理這些素材，例如進行時間對齊，就能提升10倍左右的效率。而利用AI，還能智能化地給素材片段打標籤，如用AI識別音頻中的演員臺詞、進行語義理解，讓導演、後期製作人員能快速檢索到想要的片段。這些素材中，也有許多待刪減部分，如模糊片段、黑鏡和噪音廢片，也都能用AI快速識別、處理。事實上，最後的視頻成片，並非綜藝現場的原始記錄，而是一種藝術創作。過程中，素材檢索是非常重要的一環。
除此之外，AI還能被用於視頻審核、商務植入和視頻宣發中。例如，視頻製作時，要求某一角色不能露出鬍子、紋身，那麼我們利用AI，就能快速找到這些不符合要求的內容。在商務植入時，也能利用AI可以快速地計算植入時長。至於宣發階段，也能用AI製作宣傳和預告片。例如，用AI學習視頻幀的圖案，並快速產出各種各樣的宣發視頻、預告片段。用AI修復老電影、製作動漫而在電影創作上，愛奇藝也做了一個名為ZoomAI的視頻增強技術。這是一個AI功能包，能完成去噪、前景提亮、超解析度、插幀等視頻優化算法。上個月，我們還和廈門大學的人文學院成立了一個聯合實驗室，專門修復像《小兵張嘎》這樣的老電影。
現在，國內還有上萬部這樣的膠帶電影，需要被拯救、保護，如果利用AI修復，可以減少80%的工作，剩下的20%再交由廈大的同學，一幀幀手動審核修復。目前，愛奇藝也已經「出海」，將業務延伸到了海外。但無論是東南亞還是歐洲，語言都呈現碎片化特點，在不同的地區，可能出現多種不同的語言。例如，僅東南亞一個地區，就有印尼語、馬來語、泰語等多種語言。如果要做一部視頻的海外配音，就需要找各個角色的、不同語言的配音演員，成本會非常高。因此，我們構建了一個AI音色庫，利用Voice Conversion（語音轉換）來配音，只需要給每個角色找一個「演員」，就能完成所有視頻的配音。相對來說，TTS（語音合成）無法準確表達語氣、語調，但Voice Conversion卻能用另外一種音色，將情緒很好地表達出來。
電影之外，還有一個相對龐大、有前景的產業，就是動漫。在中國，大概有4億的二次元人群。我們調研發現，動漫產業的創作者，基本還是在用PS等傳統工具進行創作。過程中會先畫出線框、再完成上色，其中光是上色階段，就佔據工作量的40%~50%。用AI工具，能幫創作者提升不少效率。例如，讓創作者指定一種風格，比如「賽璐璐」。利用風格遷移，AI立刻就能完成「賽璐璐」風格的線稿上色。
如果涉及AI沒有學過的風格，也可以先手動給關鍵幀上色，再利用特徵遷移，將上色風格遷移到其他幀中。這些操作，能讓線稿上色效率提升80%左右。上面這些AI操作，是針對傳統、製作精良的動漫設計的。除此之外，還有一種名為輕動漫或者動態漫的動漫類型。這種動漫，可以理解為給漫畫加了一點動效，讓人物能夠走動、說話。
現在，輕動漫在網上的傳播量非常大，我們也已經能利用AI，製作這種動漫。只需要用AI對動漫人物進行面部識別，再做唇形驅動，就能讓人物的嘴巴動起來，接近人工製作的效果。此外，愛奇藝今年還推出了跨次元新星的虛偶選秀節目。其中，左邊的「小滿」是虛擬手語主播，右邊的「小又」，則是虛擬節目主持。
利用TTS和Voice Conversion合成聲音、加上唇形和表情驅動合成口型，就能讓她們開口「說話」。「小又」上線後非常受用戶歡迎，節目的播放量也有所提升。如何用AI創作UGC作品我們分析發現，UGC創作的過程，大致可以分為幾個階段。首先，用戶會想出一個創意，圍繞創意搜集一些素材，根據素材尋找合適的背景樂，最後在剪輯工具中完成視頻創作。每個階段，我們都能用AI幫助創作者減少一定的工作量。比如，愛奇藝有許多明星的「粉絲視頻」，即粉絲創作的視頻。要想製作這樣的視頻，只需要利用我們的「一鍵成片」功能，就能用AI分析一部明星出演的電影，並在10秒內創作關於這個明星的短視頻。像易烊千璽的粉絲，只需要選擇「易烊千璽」，再選中他出演的電影《少年的你》，點上背景音樂，就能完成粉絲視頻的創作。
這種視頻，也叫「舔屏向」視頻，其中「舔屏」，指喜愛某個明星到想要舔手機屏幕的程度。當然，愛奇藝還給內容創作者提供了一個素材庫，不再需要去盜版網站找視頻素材。我們在隨刻創作APP的素材庫裡，利用AI對站內的長視頻進行內容理解，並打好了人物、動作、場景等標籤。創作者可以快速找到所需素材，加進自己的作品中。此外，APP也能根據創作的視頻內容，智能推薦較匹配的背景音樂。當然，還可以用TTS來配音、或是用ASR給視頻填充字幕等。有了AI，看視頻變得更簡單對於用戶消費者，我們則希望用智能技術，為他們提供優質服務。例如，用智能搜索、推薦算法，讓用戶快速找到喜歡的內容。同時，我們也希望給用戶提供更好的感覺，例如，在視覺和聽覺上，給用戶以高清、流暢的體驗感。此外，我們還想給用戶提供更自然、好玩的互動場景。目前，用戶已經能通過語音和手勢，對手機、平板、筆記本電腦、電視等各種電子設備上的愛奇藝APP進行操作，交互變得更加自然。但愛奇藝APP覆蓋的設備，還包括VR頭盔、家庭娛樂設施及車載APP等，其中，有些設備無法很好地用鍵鼠、觸控進行輸入。因此，我們做了一個Home AI的語音交互平臺，可以做語音識別。
不僅如此，這個平臺還能識別音色，根據音色來推薦內容。例如，根據音色年齡（老人、年輕人或小孩），平臺能給你推薦相關的視頻。同時，平臺還可以做一些智能搜索，如根據知識圖譜，進行劇情智能問答。還有一個受小朋友歡迎的功能，即用AI克隆家長的音色、來製作朗讀繪本。除此之外，AI還能被用於我們的拍攝APP中，包括AI美顏、美妝等。利用這些功能、加上AI的人臉識別技術，我們做了許多有意思的創新，例如一些小遊戲。這是《青春有你》的虞書欣同學，示範的一個「吃雞腿」小遊戲，用到了五官、輪廓識別的AI技術。
當她沒吃到雞腿時，AI就會在她的輪廓上套個黑帽子。除了這些技術以外，AI還能幫我們「智能查詢」視頻中的信息。例如，看視頻時，用戶想知道其中某個演員叫什麼、飾演過什麼電影，或是想知道視頻的背景音樂、想了解一段臺詞的涵義。因此，我們做了一個叫「奇觀」的智能識別平臺，不僅能識別視頻中的演員、背景音樂，還能查到臺詞的意思。去年，「奇觀」還實現了「卡通識別」功能，像《小豬佩奇》裡的豬爸爸、豬媽媽，都能識別出來。如果在大街上看到一張海報，還可以用愛奇藝的AR掃一掃，來識別明星。用AI，促進產業升級發展在愛奇藝，廣告不僅是一個變現的手段，也是一種可以消費的內容。我們希望，廣告能夠降低對用戶的打擾，成為用戶獲取信息的一個手段。針對廣告的個性化、精準化，我們今年也做了不少工作。我們對愛奇藝的站內長視頻進行了精準分析，做了兩三千組標籤，包括人物、場景、動作、行為和轉場景等。
這樣，客戶在投放廣告時，我們就可以根據他需要的場景，來進行定向投放。例如，某個視頻中出現了購物場景，我們就可以給用戶投放一個電商廣告，來降低對用戶的幹擾、增加客戶投放效率。當然，還有叫做「Video In」的廣告，也可以用AI來識別場景，看哪些點位可以用來投放。例如，想要植入某種藥物廣告。通過AI，我們識別到視頻中有一張桌子，就可以把這瓶藥放上去。或是識別到視頻中有一堵牆，也可以在上面放一個廣告框、貼上廣告。
這種原生植入的廣告類型，同樣受客戶喜歡。此外，愛奇藝還會直播一些如足球、網球等體育節目，我們會對其中的直播流進行實時分析。如果出現了「高能」場景，如足球進球、或是網球得分，我們也會及時插播廣告。這些在精彩時刻推出的廣告，效果很好。因為這種場景下，觀眾的注意力也會非常集中。
除此之外，我們也能利用AI，為廣告做不同的個性化海報。針對用戶的特性，我們能讓AI生成各種風格的海報，針對性地進行分發，能極大程度上提高用戶的點擊率。剛剛提到的這些用戶創作、廣告消費的AI功能，只是愛奇藝這個「智能板圖」中的一部分。在視頻製作方面，我們也上線了劇本分析、流量預測等功能，至於內容剪輯，也包括智能拆條、智能混剪等AI工具。在後臺中，涉及AI的應用就更多了，包括AI翻譯、審核等工具，都是各大視頻網站的標配。
我們希望通過AI，將科技與藝術進行結合，來促進整個產業的升級發展。最後，我用一句話結束今天的演講：創意讓夢想綻放，科技讓快樂簡單。這句話，不僅是愛奇藝的使命，也是我們做AI的同學的夢想和目標。謝謝大家！