全文共1976字，預計學習時長6分鐘
說起迪士尼，你會想到什麼？
米老鼠、唐老鴨的萬年cp？Disney樂園中充斥的粉紅泡泡？
誰能想到飛天入地無所不能的漫威英雄們，居然和米老鼠是親親一家人。
迪士尼，這位馳騁商場的影視精英，早在2009年拿下了漫威這塊肥肉。鋼鐵俠等5000多個漫畫角色都被收購至其麾下。
當《復聯4》賺足全球觀眾的眼淚時，迪士尼也賺得盆滿缽滿。國內電影預售票房飆已升至5億，首映票更是被炒至二三百元一張。電影、樂園、周邊產品，迪士尼輪次掙錢的手段讓人猝不及防。不過看過電影的精良製作和特效，影迷寶寶還是心甘情願掏空腰包。
迪士尼賺的錢都去哪兒了？
——像鋼鐵俠一樣研究人工智慧了……
文本自動生成動畫的AI技術
文本自動生成動畫，簡而言之就是直接輸入自然語言文本，模型自己將其「腦補」為動畫。
將文本直接轉化為可以原始剪輯的視頻片段技術早已實現。迪士尼的研究人員曾通過神經網絡 ，以生物神經元為模型的數學函數層進行運算。生成了長度為32幀，尺寸為64×64像素的視頻。可以實現「在草地上打高爾夫球」等相關文本語言的動作影像。
圖：文字轉動畫AI系統圖解
但近日，迪士尼研究和羅格斯大學的科學家們在Arxiv.org上發表了新論文（論文地址：https://arxiv.org/pdf/1904.05440.pdf）優化了這一技術。這種神奇的算法，採用端到端的模式，只需在輸入文本中描述活動即可，不需要注釋數據和進行大量訓練就能產生動畫。
如何使複雜文本直接生成動畫？
首先需要解決「複雜」句型的文本轉換問題。由於輸入的句子和輸出的動畫都沒有預先設定的模式和結構，就增加了轉換難度。為解決這一問題，研究人員構建了一個包含多個組件模塊的神經網絡。
一是腳本解析模塊：可以自動將文本與劇本場景描述隔離開。二是自然語言處理模塊。可以通過一套語言規則簡化複雜句子，並將簡化句子中的信息提取到預定義的動作表示中。三是可以將所述表示轉換為動畫序列的動畫生成模型。
圖：該AI系統的文本簡化階段
簡化方法可以更快地提取關鍵腳本信息。系統自身可以自主確定給定的片段是否包含特定的句法結構，然後將其拆分並組裝成更簡單的句子。在拆分和組裝過程中，通過遞歸處理直到句子不能進一步簡化為止。
接下來，協調與頭部具有相同句法關係或者具有相同功能角色的句子。然後，詞彙簡化器可以將簡化句子中的動作與52個動畫匹配（通過同義詞詞典擴展到92個）。
最後，一個名為Cardinal的管道將動作輸入，並在流行的視頻遊戲引擎Unreal中創建預可視化。利用預定義的動畫庫，預加載的對象以及可用於創建角色的模型，共同生成近似描繪已處理腳本的3D動畫視頻。
工作前期，為了訓練系統，研究人員從996個劇本中編輯了一系列場景描述，這些劇本分別來自IMSDb，SimplyScripts和ScriptORama5。整個劇本集包含525,708個描述，1,402,864個句子，920,817的動作動詞。其中動作動詞佔比超過40％。
測試結果：動畫合理性達68%，系統需再度優化
在一項定性測試中，22名參與者對系統所生成的20個動畫進行5分制評估。以文本信息完成度為評估標準，68％的意見表示系統自動生成的動畫是合理的。
這樣結果不盡如人意，一方面是由於這項評估任務基於模糊性和主觀性之上。另一方面，源於系統本身的局限性。如：該模型中的動作和對象列表不詳盡，詞彙簡化無法將動詞（如「看」）映射到類似的動畫（「外觀」）之上等原因。
這項自動生成動畫的系統並不完美。但相關研究人員已經提出了初步的解決方法：如通過關注文本中描述的行動順序來利用話語信息。這有助於解決文本中行動含糊不清的問題等。
無疑，這已經是自然語言處理領域的一項「躍進」。
迪士尼的各項AI「黑科技」
過去幾年，迪士尼一直默默在AI領域更新研發。在視覺計算、虛擬交互、機器人和機器學習等領域研發了很多先進技術。本文摘取了迪士尼機器學習領域內的一些有趣案例，一起看看這個影視大佬向AI領域進軍的小心思吧——
1.用於去除蒙特卡羅渲染的內核預測卷積網絡
這是由迪士尼研究院，皮克斯動畫工作室和加州大學聖巴巴拉分校的研究人員開發的基於深度學習的新技術。該系統可以將噪點圖像轉換成類似於用更多光線計算的無噪點圖。用於對蒙特卡羅渲染圖像進行去噪，從而生成適合生產的高質量畫面。
論文地址：
https://disneyresearch.s3-us-west-1.amazonaws.com/wp-content/uploads/20170630135237/Kernel-Predicting-Convolutional-Networks-for-Denoising-Monte-Carlo-Renderings-Paper33.pdf
2.使用深度模仿學習的數據驅動重影
由迪士尼研究院和加州理工學院研發的自動「數據驅動重影」，依賴於先進的機器學習方法，可以應用於足球職業聯賽的跟蹤數據。
論文地址：
https://s3-us-west-1.amazonaws.com/disneyresearch/wp-content/uploads/20170228130457/Data-Driven-Ghosting-using-Deep-Imitation-Learning-Paper1.pdf
3.廣義語音動畫的深度學習方法
這是由迪士尼研究所、加州理工學院和東安格利亞大學聯合研究的模型。該模型可以自動生成與輸入語音同步的自然外觀語音動畫。
論文地址：
https://s3-us-west-1.amazonaws.com/disneyresearch/wp-content/uploads/20170718091716/A-Deep-Learning-Approach-for-Generalized-Speech-Animation-Paper.pdf
迪士尼對AI自動生成動畫方面的研究今後必將影響整個動畫電影製作市場。AI技術將大大降低動畫製作和後期的成本。
那麼問題來了，以後迪士尼的電影票會降價嗎？
讀芯君小彩蛋
自從漫威歸迪士尼之後，羅素兄弟在劇情上都要乖乖聽東家的話了。《復聯3》中，滅霸打響指之前，嘲諷雷神道：「你為什麼不砍我的頭呢？」
不是雷神緊張激動忘記了卡魔拉的叮囑，只是因為迪士尼不讓啊……
迪士尼曾對漫威影業下達了六項規定：1、維護迪士尼形象；2、不宣傳DC；3、電影裡禁止吸菸；4、劇本不能帶回家；5、電影必須留下彩蛋；6、電影畫面禁止斬首。
於是《復聯3》中，響指打起，一半英雄隕落。誰能想到印象中人畜無害的傻白甜迪士尼，竟然親手釀造了這段中場悲劇。
懵逼樹上懵逼果，懵逼樹下你和我……
留言 點讚 發個朋友圈
我們一起分享AI學習與發展的乾貨
文章相關連結：
https://venturebeat.com/2019/04/12/disneys-ai-generates-storyboard-animations-from-screenplays/
如需轉載，請後臺留言，遵守轉載規範
推薦文章閱讀
長按識別二維碼可添加關注
讀芯君愛你