AI換臉、虛擬主播、智能影像生產……文娛產業現在已成AI的天下了

2021-01-07 量子位

安妮 發自 凹非寺量子位 出品 | 公眾號 QbitAI

這還是蘇大強?

有網友將最近播出的電視劇《都挺好》中讓人恨得牙痒痒的蘇大強,用AI換臉變成了眉清目秀的吳彥祖,場景竟毫無違和感。

被AI調戲不止蘇大強,楊冪、朱茵、徐錦江、洪世賢、梁非凡,B站名場面全被AI換臉調戲了一遍。在AI時代,眼見不一定為實。

其實,也不僅僅是AI換臉,AI已經滲透進整個文娛行業。

在這篇文章中,我們以視頻製作為例,盤點文娛產業中用到的AI技術。看完之後,可能你會產生「這個世界是不真實的」錯覺。

AI的文娛之旅,馬上就要發車了。

Step 1:定劇本

前期策劃是個技術活,視頻質量最終如何,拍攝劇本、創意方案、解說詞等關鍵內容就在一開始決定了一半成敗。

要不考慮下用AI進行文字創作?

寫稿機器人DreamWriter就是一位AI記者,2015年,其處女作《8月CPI漲2% 創12個月新高》一經發出就引發轟動,這個機器人能根據算法在第一時間自動生成稿件,一分鐘出成稿……這手速人類記者還是望塵莫及。

騰訊的DreamWriter開了先河後,國內媒體也陸續試水,新華社的寫稿機器人、阿里巴巴的「DT稿王」、今日頭條的「xiaomingbot」都來了。

目前寫稿機器人主要集中在財經股票、體育賽事等對失效要求高且不需要額外添加素材的領域。從速度與準確性來說,人類記者的優勢開始down down down了。

AI為文字工作者省了不少工夫,不僅僅寫出新聞報導,創造性的工作也不在話下。

微軟小冰就是這樣一個寫稿機器人,任何人可以在官網上給她投餵任意照片+幾個關鍵詞,不出幾秒,少女詩人小冰就會為你作出一首詞句優美的詩來。

微軟表示,小冰所有的詩歌都沒有版權,任何人可以在此基礎上隨意改動變成自己的創作。雖說內涵可能不及人類詩人,但人類創作可以在其中獲取靈感。

除了短篇幅的小詩,AI寫的長篇小說讀者反應還不錯。

美國Botnik工作室的AI就續寫了《哈利·波特》的新故事。研究人員先將整個系列7部小說輸入至系統,用自然語言處理技術模仿原作,生成了新篇章:

《哈利·波特與看起來像一大坨灰燼的肖像》(Harry Potter and the Portrait of What Looked Like a Large Pile of Ash)。

網友表示,新篇章中有情節、有人物、有對話,而且還夠神經病……如果出版一定能大賣。

有這樣的AI文學家,還不怕創造不出來腦洞大開的好玩劇本?

Step 2:拍視頻

有了劇本,那就可以開始拍攝了。

拍攝的場景、分鏡頭腳本、任務的站位……拍攝過程中需要考慮的事情頗多。

不過,AI帶來了一種簡便做法,比如用AI來合成虛擬主播。

這位AI主播不僅能「坐在」演播室,替代人類播報新聞。還能「手舞足蹈」,運用起肢體語言豐富表達了。男主播「新小浩」以新華社主播邱浩倍為原型創建,而「新小萌」以屈萌為原型。

虛擬主播通過對真人主播聲音、唇形、表情動作等特徵進行提取,通過語音合成、唇形合成、表情合成以及深度學習等技術,能具備和真人主播一樣的播報能力。

還在擔心拍攝過程困難麼,未來自動合成技術將越來越完美。

除了合成真人主播,動畫合成也可以考慮一下,迪士尼早已試水了。

此前為了改善影視動畫中人物口型與臺詞不一致的的情況,迪士尼提出一種自動生成語音動畫的深度學習方法,根據輸入的臺詞,自動匹配嘴型。

現在,迪士尼的最新研究在此基礎上更進一步,其論文顯示,與美國羅格斯大學研發的端對端系統已經實現AI看電影劇本後,創建粗略的劇情更改圖和視頻描述文本。

可以說,AI重新定義了「拍攝」這項體力活。

Step 3:後期合成

俗話說得好,三分靠拍攝,七分靠後期,所有大片都離不開強大的後期製作。

後期是個耗時間燒顯卡的活,非線性剪輯、畫面渲染調色、特效合成等哪一樣都是創造+體力活。

AI加持下,並非所有的工作都需要人類完成。就比如說,剪輯這項體力活AI已經能幫上大忙了。

剪輯師經常遇到一個問題:把視頻剪成不同的長寬比,比如把橫向的視頻剪成縱向,通常很災難。

Adobe的Project Smooth Operator的功能,可以利用Adobe Sensei人工智慧和機器學習框架,自動追蹤視頻裡主角的位置智能裁剪。

如果主角不止一位呢?當然是根據各自的動作,自動鎖定每一幀的重點:

是不是很贊?

除了自動剪輯,AI已經可以做到在理解內容及場景的基礎上,富有邏輯的生產新的視頻內容。

在2019兩會期間,光明網與中國政協傳媒網聯合推出的「委員全息履職」節目就藉助影譜科技的智能影像生產技術,可視化、智能化地呈現政協委員履職作業,不僅讓政協委員履職內容更加直觀易懂,相比普通視頻承載的內容也更加豐富有趣。

可以看出,AI可以根據視頻內的語義場景,嘗試匹配邏輯吻合的影像素材,從而讓視頻內的信息更加豐富直觀。

並且,隨著表情、語義、手勢等變化,視頻畫面也隨之同步演繹。

這樣的智慧媒體技術方案,為媒體平臺提供了一個新的內容生產和實現方式,媒體可依靠大數據平臺基礎,藉助可視化模型技術,以數據地圖、時間線、氣泡圖、交互性圖表、人物關係圖等方式呈現多維數據信息,實現新聞可視化加工生產。

在國內融媒體加速建設的當下以及5G即將普及的未來,視頻越來越將成為媒體內容的主要載體,這樣的智慧媒體解決方案將會起到更大的作用。

此外,還可以進行虛擬演播室、虛擬主播等創新報導模式的探索,通過VR、AR、人臉特徵提取、人臉重構、情感遷移等多項前沿技術,對視頻內容的呈現形式和交互模式進行創新。

顯然,此類技術的應用正在幫助媒體和視頻平臺更好地管理其內容庫及信息生產加工方式,優化成本結構,進一步提高視頻內容開發及生產效率。

也有一些非常規的操作,比如前一陣子嗶哩嗶哩上爆火的AI換臉模型deepfakes。

無需會寫代碼,只需要手握一個fakeapp等軟體應用,「投餵」想要換成的主角的視頻進行訓練,就能自己訓練一個AI模型出來。

隨後,把《射鵰英雄傳》裡的朱茵換成楊冪,簡直看不出是人造的:

把直播中的馮提莫換成趙麗穎,播放量也近百萬:

不過,現在換臉也有一定的法律風險了。上周六全國人大常委會審議的《民法典人格權編(草案)》裡,正式加了一條:

任何組織和個人不得以利用信息技術手段偽造的方式侵害他人的肖像權。

AI換臉一時爽,一直換臉可能就得體驗一把違法的酸爽了。

Step 4:添加音效

連畫面內容都能搞定,音軌上選擇的那條BGM也肯定少不了AI。

現在,作曲、作詞甚至演唱,都全部可以由AI完成。說不定哪一天,虛擬偶像就在偶像界攻城略地。

比如,不少宅男群體心水的AI虛擬歌姬洛天依:

這個採用語音合成技術的虛擬角色,聲音根據中國配音演員山新和日本歌手鹿乃的音色合成,人物被設定成了一名15歲的少女,產出過不少魔性的歌曲,比如《小雞嗶嗶》《達拉蹦躂》《花落兮》等。

除了當偶像,AI技術還能協助人類歌手作詞作曲。

世界首張AI作曲專輯《I AM AI》是美國網紅歌手Taryn Southern上傳的作品,通過AI音樂創作公司Amper Music的軟體,Southern只需調整情緒、風格、速度等參數,AI即可生成一首曲子,還會選擇最合適的和弦和器演奏出來。

雖還不能與格萊美獲獎曲目相媲美,但和國外音樂平臺Spotify上的熱門歌曲相差不大,還多了幾分金屬感和未來感。

放眼國內,也有不少青年才子將AI與音樂結合起來。

去年的《中國好聲音》中,清華學霸宿涵用一曲《止戰之殤》一戰成名,這首歌中的主歌歌詞,就是AI生成的。

宿涵表示,利用深度學習算法,AI已經掌握了華語樂壇近幾千首作品,根據輸入歌詞的風格無線創作歌詞。輸入「深淵、噩夢、絕望、戰爭」,AI就能輸出「諷刺掛滿美麗的太陽」。作詞作曲,何不讓AI助你一臂之力。

從內容撰寫、視頻「拍攝」、後期特效到音效添加,AI參與了整個視頻創作的所有流程,現在看這個世界是不是覺得不太真實了?

而這只是AI在文娛大產業中應用的一小部分。

手遊王者榮耀裡王者段位的AI對手,網易雲音樂裡的個性化推薦、阿里「魯班」系統一秒生成8000張海報……AI+文娛的結合已經遍布了你沒有發覺到的區域,科技感已經遍布到生活的方方面面。

未來,已來。

相關焦點

  • 不僅是AI換臉 人工智慧已滲透進整個文娛行業
    不過,AI帶來了一種簡便做法,比如用AI來合成虛擬主播。這位AI主播不僅能「坐在」演播室,替代人類播報新聞。還能「手舞足蹈」,運用起肢體語言豐富表達了。男主播「新小浩」以新華社主播邱浩倍為原型創建,而「新小萌」以屈萌為原型。
  • 臺前虛擬、幕後AI,文娛終變無人工產業?
    虛擬歌姬、虛擬人角色、虛擬偶像等虛擬職業已成為文娛產業中不可缺少的一部分,在娛樂業近5年趨勢預測報告中,也一直有這樣一個認知,當5G開放時,VR會第一個再次爆發,謝安亦在前不久舉行的世界人工智慧大會上表示「我們離《頭號玩家》
  • 百度大腦虛擬主持人驚豔亮相央視五四青年晚會 文娛產業擁抱AI新活力
    據了解,由百度打造的AI虛擬主持人小靈通過3D建模以及百度大腦強大的人工智慧技術,小靈不僅實現了全方位的立體模型,還採用百度深度學習模型框架,完成了國內首家」唇動「係數預測。可以說,小靈糅合了百度語音、視覺、大數據,以及AR能力,讓AI虛擬主持人真正的走進了大伙兒的視野中。
  • 劉亦菲粉絲自打自臉,ai換臉朱琳被吊打,神顏經不起折騰
    最近,劉亦菲粉絲ai換臉了朱琳,也就是《西遊記》中女兒國國王這一經典角色當然也不排除粉絲自打自臉,非要逼著劉亦菲不適合的造型上ai換臉。《西遊記》中女兒國國王的角色,真的是十分經典了,給人留下的印象也十分深刻。劉亦菲粉絲這次給劉亦菲ai換臉朱琳,應該也是想讓神仙姐姐走進經典之中。但還是很遺憾的翻車了,劉亦菲的神顏也經不起粉絲的這種折騰。
  • 2020年AI圈十大熱議焦點:演員換臉、AI找對象、去馬賽克
    新規規定,從美國出口特定類型地理空間影像軟體的公司必須申請許可,才能出口至海外。無論智能化傳感器、無人機以及其他自動化設備的目標識別軟體,都將受到管制。 在今年美國大選期間,換臉技術還成了政客互相攻擊的武器。比如川普今年4月在推特上轉發了一個偽造拜登吐舌頭的視頻,當晚視頻播放量超過1000萬次。隨後川普在5月又轉發了用自己臉替換科幻電影《獨立日》中總統託馬斯·懷特摩爾、發表「我們要為我們的生存而戰」演講的視頻。
  • AI虛擬主播簡史
    既然定義已經明確,那AI虛擬主播有什麼樣的故事呢?這個,要從一段視頻開始說起……1.0時代:雛形初顯,虛擬主持人登場自工業革命起,以機器代替手工勞動就成了人類努力的方向。隨後,第一臺計算機的發明,讓機器開始升級為「人工智慧」。
  • 當年因一番話被抵制,徐靜蕾內涵沒腦子,今新劇被ai換臉難復出
    而她也曾公開內涵某演員,這個演員當年因一番話被抵制,被徐靜蕾內涵沒腦子,今新劇被ai換臉難復出。現在看到仍然還是會覺得生氣,趙立新當時就遭到了很多抵制,還被點名批評了。要知道犯了語言上的錯誤,怎麼道歉就是沒有用的,畢竟群眾的眼睛跟網絡都是有記憶的。
  • 從工具到產業,360OS成為AI影像「權力」的撬動者
    這就像是「四兩撥千斤」,今天的AI影像除了成為左右手機市場成敗的重要砝碼,也在諸如精準醫療和安防領域發光發熱。從工具,走到產業賦能,AI影像這把權杖,如今似乎正握在360OS的手裡。布局「OS+AI」戰略2014年12月,360OS成立。在長達8個月之久的封閉開發之後,360OS1.0版本正式在2015年投向市場。
  • 劉亦菲ai換臉,挑戰《西遊記》經典角色,沒想到顏值被吊打
    最近,劉亦菲粉絲ai換臉了朱琳,也就是《西遊記》中女兒國國王這一經典角色,很罕見的劉亦菲顏值被吊打了,劉亦菲粉絲也是自打自臉,「神仙姐姐」的神顏可經不起這麼折騰。換臉。劉亦菲粉絲這次給劉亦菲ai換臉朱琳,應該也是想讓神仙姐姐走進經典之中。但還是很遺憾的翻車了,劉亦菲的神顏也經不起粉絲的這種折騰。
  • Roblox收購3D虛擬化身應用公司Loom.ai
    12月15日青亭網報導,風靡全球的數字創作平臺廠商Roblox,近期宣布收購3D虛擬化身應用平臺:Loom.ai。據了解,Loom.ai最初亮相於2016年,由夢工廠和盧卡斯影業從事視覺工作的專業員工創辦。
  • 愛情公寓:本以為張偉版閃靈是AI換臉,有誰注意額頭細節,懵了
    一開始愛情公寓全員張偉臉的確是通過ai換臉展現出來的,但是看到張偉版的閃靈之後,卻讓網友們懵了。小黑髮明了顏值平均眼鏡,把眼鏡分發給了愛情公寓裡的所有小夥伴,每個人戴上看到的人都是張偉,還以為這種手段是ai換臉,但是當咖喱醬戴著顏值平均眼鏡看恐怖片閃靈時,卻讓網友們懵了。
  • 從AI換臉到AI脫衣,AI究竟做錯了什麼?
    8月30日,打出「僅需一張照片,出演天下好戲」口號的 「ZAO」正式版上線後,迅速引領了一股換臉風潮。
  • 國資再加碼 中國最大AI影像生產企業影譜科技完成新一輪增資
    近日,領先的人工智慧企業影譜科技完成代表北京、天津兩地國有基金的新一輪增資,持續領跑AI影像行業帶動產業數位化。  作為中國最大的AI影像生產企業,影譜科技的股東陣容匯集中國頂級證券公司及頂級PE機構,包括:中國國際金融股份有限公司(HK.03908)、中國銀河證券(601881)、中泰證券(48962)、華泰證券(601688,股吧)(601688)、東方證券(600958),並含中華人民共和國財政部、中央匯金、國家開發投資公司、江蘇省人民政府、上海市國資委、上海市國資辦、山東省國資委、中國菸草總公司
  • 全球三十大最佳 AI 創業公司公布
    Darktrace 的企業免疫系統已應用於物流、工業生產、教育、金融、健康等多個領域。Darktrace 經歷了快速增長,年收入同比增長超過 600%,在全球設有 30 個辦事處。目前,Darktrace 已完成 7500 萬美元 D 輪融資。
  • Loom.ai利用人物靜態圖片打造逼真的3D虛擬頭像 保證像到連親媽都...
    Loom.ai利用人物靜態圖片打造逼真的3D虛擬頭像 保證像到連親媽都分不出來   2012年一部叫《刀劍神域》的日本動漫火遍了大半個世界,在這部動漫作品裡主人公桐人藉助著一款VR設備進入了虛幻世界與女主亞絲娜談了一場跨越虛擬與現實界限的戀愛
  • 從中之人扮演到下一代Avatar,AI才是虛擬主播的關鍵
    直播帶貨,已經成了當今最火的詞,沒有之一。據統計數據表明,我國目前已有將近5億在線觀看用戶。在新冠疫情之下,線下營銷受阻,更是推動企業紛紛開啟直播電商模式,從明星到KOL,從企業老闆到普通個人,全民直播全民帶貨的熱潮高漲。日趨同質化的直播產業,也對新的形式提出了強烈需求。
  • 楊冪換臉成朱茵,AI 換臉術已出神入化
    那麼究竟AI換臉這個技術有何影響?下文作者邊策、郭一璞,來源量子位(ID:QbitAI)。鈦媒體已獲取授權,略經鈦媒體編輯。在看這篇文章之前,先看鈦媒體App上一段的熱門視頻。在視頻中,網紅使用AI換臉技術,在短短一分多鐘的視頻裡變換成劉亦菲、楊冪、唐嫣、範冰冰四位明星,現場直播演唱歌曲《情非得已》。是不是很神奇?下面接著看今天的文章。
  • 沈騰被封「AI換臉王者」,又是鋼鐵俠又是周潤發毫無違和
    因為沈騰過去和現在的變化非常的大,可以說是越過潦草,因此有部分人經常喜歡拿著他過去的照片和如今的照片做對比,來調侃沈騰近日沈騰更是被封上了AI換臉王者的稱號,為什麼沈騰會有這一稱號呢?原來是有網友特意把沈騰的頭像,給p到了鋼鐵俠的身體上覺得毫無違和感之後,又將沈騰的照片放到了周潤發的身上,結果竟然也是讓人覺得毫無違和感,如此一來沈騰就被封上了ai
  • 訊飛AI大學|虛擬主播「變形計」
    即使也許沒有深入了解,大家或許也聽過初音未來、洛天依、樂正凌這些名字,或者聽過《九九八十一難》、《權御天下》等之類火熱一時的歌曲。
  • 用於端點AI加速的10大處理器
    它為消費者及工業物聯網端點設備提供2.3TOPS的推理加速能力,足以完成多個物體的識別、40,000個單詞的語音識別,甚至還可以對醫學影像進行分類(MobileNet v1每秒對500個影像進行分類)。4uEednc