VR交互動畫短片《拾夢老人》的開發經歷

2021-02-26 侑虎科技

這是侑虎科技第226篇原創文章,感謝作者張言豐(資深TA,QQ:306566807)供稿。當然,如果您有任何獨到的見解或者發現也歡迎聯繫我們,一起探討。(QQ群:465082844)

 

筆者去年寫了一篇關於如何打造高逼格耀斑效果的文章,很榮幸得到大家的關注。本人平日樂於分享自己工作中的點滴技術心得,歡迎大家聯繫我進行技術相關的交流學習。

今年筆者在PintaStudio,這是我在中科院的同學創立的一家VR電影工作室,我們希望用遊戲引擎實時渲染的方式來表達藝術家的思想。同時,我們製作的VR沉浸式感受也是一種全新的觀影體驗。接下來,我將簡述整個開發的歷程。

VR交互動畫短片《拾夢老人》劇照

◆◆◆◆

引擎的選擇(Unity VS UE)

立項階段,我們遇到了引擎選擇上的分歧。我們想做的是重量級大作,所以最初的想法是採用一個重量級引擎。早期做端遊時,我們了解得最多的是CRY ENGINE(下稱「CE」)和UNREAL ENGINE(下稱「UE」)了,這兩個引擎就是引擎界的「西門吹雪」和「葉孤城」,長期霸佔著國外的大作市場。CE這些年在國內推廣不利,所以在最初階段,更多的小夥伴希望用UE來做我們這個電影。我的加入,給團隊帶來了新的選擇—Unity。相比前兩個引擎,Unity可以說是後起之秀,尤其近3年手遊的興起,才把Unity引入大眾的視線。我們主要對UE和Unity兩個引擎進行了比較:

綜上所述,我建議團隊採用Unity引擎。儘管後來被幾個大坑坑得鼻青臉腫,但是從項目進度以及結果來看,這個引擎基本上達到了我們想要的效果。

◆◆◆◆

技術創新

Unity引擎本身的畫質相對來說是較為簡樸的,但是對於電影來說,藝術家希望能有一些更豐富的畫面表現。我之前在公司運營團隊寫的一篇文章裡也簡單提過,大家可以參考:

http://www.vrzy.com/vr/60852.html

在這裡我們舉個簡單小例子:

如上圖這個光影效果,上面窗戶衍射效果就有很多種實現方法。先對Depthmap做邊緣的blur,然後計算光照是一種辦法;直接對Render Target做局部的bloom也是一種方法;OffScreenRenderTarget,渲染一張低解析度的光照貼圖,然後合成回MainTarget,也不失為一種好方法。

對於地上陰影的邊緣效果,怎麼實現呢?CookieTexture?錯誤,你沒有辦法用CookeTexture去解決不規則的陰影衍射,更何況陰影的邊緣顏色是藝術家幻想的。那怎麼辦?其實不難,它是軟陰影算法的變種,所以,利用概率採樣ShadowMap的方法得到陰影邊緣,然後在邊緣地區做顏色疊加即可實現。

我們再舉一個小例子:

這狗的耳朵是不是有點透明?其實這就是個SSS效果,實現方法是:對於一個表面,沿著視線方向做一個延伸,取到次表面的光照,再疊加到前表面的顏色上。仔細看Unity樹葉的Shader(Unity內置Terrain裡的Shader),有個變量backcontrib,是把樹葉背面的顏色疊到前面來,其實也是sss的變種。

 

◆◆◆◆

重重阻礙

我們項目的開發進程充滿艱辛,在此列舉部分,給可能要入坑的同學提個醒:

1. 普通物件Standard材質

因為進度原因,我們仍然採用了Unity自帶Standard裡的PBR光照模型,這個光照模型是經典模型的簡化版,對於大多數渲染對象來說還是可行的。但Unity自帶的StandardShader在支持半透物件時,就會出現癱瘓的情況。如下圖:

左圖為正確效果,右圖為UnityStandard的錯誤效果。這是由於StandardShader裡Transparent 沒有 Z Buffer 導致。那麼有同學又會問「我用cut out不就行了麼?」但是cut out是用RenderQueue來解決問題的,我希望上面這個腿和靴子來個半透明效果,它就沒辦法實現了。比如下圖這個淡出效果:

此外,Unity還有一個致命的「優化」,就是在OpaqueQueue之後會把ShadowMap給銷毀掉。所以半透明物件無法接受陰影。另外,關於點光源,如果光源範圍內沒有任何物體,Unity會把Lightmap也「優化」掉。類似這樣的小細節Bug比較多,但需求不會因為引擎的Bug而減少或者降低標準。一個坑一個坑地填起來,也花費了我們相當大的精力。

2. 特效

如果說普通物件的材質是被Unity坑了一下,那麼特效就是被VR的SDK給坑得鼻青臉腫。當時我們用的是HTC VIVE的Steam VR的SDK。研發完成之後才發現,這個SDK對RenderCommand和OffScreenCamera支持極差(OffScreenCamera沒有辦法左右眼矯正),也就是說所有的特效必須寫在固定管線裡,比如這種Volumetric Light。我們需要離線烘焙好ShadowMap,然後再前向渲染時,用RayTrace去模擬它的attention。

上面兩張圖中,左圖是正確的效果,右圖是SteamVR裡可能看到的效果(因為OffScreen Camera位置沒有經過左右眼矯正,所以位置看上去是偏移的,甚至不在屏幕裡)。


3. 其他

在VR的開發中,相機也是個坑。因為傳感器會實時地重置相機位置,所以你沒有辦法去動態改變相機,只能通過反向移動場景的方式來實現相機的動態切換。這也消耗了我們很多的時間來填這個坑。

◆◆◆◆

展望

Unity 引擎自帶的渲染模塊基本都有些許欠缺,但是近年來隨著Compute Shader、Render Command這些接口的提出,給我們引擎開發者提供了很大的可擴展空間。正如我多次在UWA技術群(465082844)裡呼籲的:引擎是用來幫助開發者減少工作量的,不是用來完全依靠的。沒有一款引擎能滿足所有項目都通用的需求,所有引擎都需要根據不同的項目來做修改。一個不會造發動機的人,可以開車,甚至簡單地維修汽車,但是你沒法成為造車場的老司機或者職業賽車手。

附《拾夢老人》1分鐘唯美預告片:

文末,再次感謝張言豐的分享,如果您有任何獨到的見解或者發現也歡迎聯繫我們,一起探討。(QQ群:465082844)。


也歡迎大家來積極參與U Sparkle開發者計劃,簡稱"US",代表你和我,代表UWA和開發者在一起!

_周五活動:UWA 技術診斷一對一!


近期精彩回顧

【UWA DAY 2017 精彩盤點】沒有橫空出世,只有厚積薄發!

【萬象更新】限時免費 | 用正確的方式,三天搞定Mono堆內存洩漏!

【惟學無際】基於物理的渲染-用真實的環境光照亮物體

【U Sparkle】GPU Skinning 加速骨骼動畫

相關焦點

  • 國產VR動畫《拾夢老人》入圍威尼斯 未發作品的Pinta Studio如何做到估值過億?
    《拾夢老人》就是其中之一。該片由Pinta Studio打造,是該工作室創立後的第一部作品,原本在今年5月就準備上映的它,因為威尼斯電影節「全球首映」的要求,將上線日期改為9月13日。在此之前,VR的內容,有極大一部分都集中在遊戲領域。由於其能帶給用戶不同於以往的沉浸感和獨特的交互體驗,VR遊戲受到的追捧遠大於只能進行觀看的VR視頻,更別提在其中限制相對更大的VR電影。
  • VR動畫導演米粒:最好的VR交互,是你感覺不到的交互
    2016年元旦,追光動畫召開《小門神》首映會,現場還帶去了數十臺新發售的三星Gear VR,以及一部時長五分鐘左右的VR動畫短片《再見,表情》。隨後這部由追光動畫團隊「抽空」製作的作品,發布在Gear VR上,在業內受到不少好評,同時不僅讓米粒積累了VR動畫經驗,也促使他決心與其他兩位合伙人成立Pinta Studios,投身VR動畫創作。
  • 全球頂尖的VR動畫來杭州啦!觀影火熱報名中
    還會與蘿蔔們一起經歷一段緊張有趣的探險,期間還會遇到給土豆送快遞的飛蟲等。影片結尾是高潮部分:時整個世界山崩地裂,一隻偌大的手連根拔起了觀眾。畢業於北京電影學院動畫藝術專業,2015年參與製作了《史前世界》系列VR短片,曾就職於SandmanVR工作室,擔任動畫指導和創意開發,參與製作的《Free Whale》入圍威尼斯,2018年導演的《Fresh Out》再次入圍威尼斯電影節
  • 360°了解VR電影
    VR動畫電影,就是由PintaStudios製作的《拾夢老人》。我們第一個項目《拾夢老人》是去年10月全面開工的,那時候大概十一二個人,而一般一個動畫電影公司有上百或者幾百個人。但我們十幾個人已經完全可以撐起全片了,在遊戲界經常說這是個很「IND」的團隊,就是獨立開發者的一個團隊,每個人都可以幹全流程。現在,我們基本上就是全流程、全環節的比較健全了,已經到了28人這樣的一個規模了。
  • 早報|《空天獵》首曝預告;中國VR動畫《拾夢老人》獲威尼斯電影節提名;當代東方溢價2.5倍收購永樂影視 遭深交所問詢
    北京時間7月27日,世界四大電影節之一的威尼斯國際電影節公布了主競選單元名單,由Pinta Studios製作的VR動畫《拾夢老人》入圍VR競賽(Venice VR Competition)。這也是歐洲三大電影節第一次在主競選單元設置VR板塊。《拾夢老人》講述了主人公撿垃圾的老頭和他樂觀積極的小狗,在巨大的垃圾場中,日復一日撿拾人們丟棄的夢想的故事。
  • 夢工廠動畫成立了一個短片部門,其實是替長片動畫試水
    來源:好奇心日報作者:周哲浩根據《綜藝》當地時間 13 日的報導,夢工廠動畫成立了短片部門
  • vr是什麼
    vr是什麼?  對於vr很多人還感覺到比較陌生,並不知道這是什麼意思,代表著什麼技術,其實vr也就是虛擬實境,下面我們具體介紹一下vr是什麼,它有哪些特徵,具體應用領域在哪些地方等等,我們全方位了解一下。vr是什麼技術?
  • 二次元的福利,10部VR動畫作品推薦
    《烈山氏》是Pinta Studios的第二部VR動畫,他們的首部作品《拾夢老人》曾入圍第74屆威尼斯電影節VR競賽單元。該片講述的是一個非常經典的中國故事——神農嘗百草。這是一部達到國際水準的VR影視作品,同時它又很中國。至於具體的劇情還恕我賣個關子,因為現在大家最煩的就是劇透,所以精彩的內容還是等到發布時自己來體驗最好。2.
  • 《家在蘭若寺》一票難求,風口期過後的VR還好嗎?
    VR短片《星球》也頗受影迷追捧與電影節VR單元的火爆場面形成對比的是,國內的VR產業在經歷了2016年的風口期後,已逐漸歸於平靜和理性。在退燒後的VR市場,大浪淘沙後的創作者將如何耕耘內容,目前的商業化路徑又有哪些?「行話」與一些行業從業者聊了聊,試圖還原VR電影這門生意的現狀和前景。
  • 《家在蘭若寺》一票難求 風口期後的VR還好嗎?
    VR短片《星球》也頗受影迷追捧與電影節VR單元的火爆場面形成對比的是,國內的VR產業在經歷了2016年的風口期後,已逐漸歸於平靜和理性。 以平塔工作室的第一部VR動畫,曾入圍2017年威尼斯電影節VR單元的《拾夢老人》為例,團隊通過授權的方式開發了20多種衍生品,在眾籌平臺售賣達到了300萬左右的流水數據。影片本身也獲得了某地產商的商業植入。
  • 【VR陀螺】Gear VR國行售價或高達1500元 VR動畫工具Tvori登陸Steam
    另外, Tvori登陸Steam,將使得那些患有導演夢的消費者們實現夢想。2.VR動畫創作工具Tvori登陸Steam  售價40美元8月29日消息,虛擬實境動畫製作軟體 Tvori搶先體驗版可以在Steam上開放下載。目前,在Steam上售價為40美元。
  • 與傲嬌萌妹聊聊胸,支倉凍砂VR動畫《Project LUX》將登陸PSVR
    這部VR動畫是由著名輕小說《狼與香辛料》的作者支倉凍砂,和其主導的同人遊戲製作團體「Spicy Tails」合作開發完成的。《Project LUX》是一部類似未來世界小說的VR動畫作品,全片時長65分鐘,差不多是一部短電影的長度了。
  • 20多部VR動畫,就在這場國內最大的VR影展裡!
    ,他們的首部作品《拾夢老人》曾入圍第74屆威尼斯電影節VR競賽單元。而《卡羅大冒險: 巨蛋》卻支持小範圍的隨意移動,這使得交互更加自然,增強了沉浸感。 4.推出的VR動畫短片。《美洲豹之子》的觀影感受更像是一趟「情緒過山車」,你將與一位墨西哥摔跤手一起經歷他的巔峰和低谷,感受他的悲傷和幸福,絕對值得一看。 9.
  • The Old Man and the Sea《老人與海》奧斯卡獲獎動畫短片
    生活閱歷越豐富、視野和關注點越寬廣,能投射到《老人與海》中的元素也就是越多,是讀者自己使得《老人與海》超越了一部黑白、單維和枯燥的故事,華麗變身為一部彩色、多維度、擁有豐富內涵的人生寓言。年輕人眼中的《老人與海》枯燥乏味其實,第一次讀《老人與海》,你會發現,小說語言簡練,故事也並非扣人心弦。小說裡老人最後把一副被鯊魚啃光了的魚骨拖回家,更是讓人難以理解。
  • VR體驗《The Line》獲2020年艾美獎VR交互影片獎
    【資訊編譯自:vrfocus】 【87870編譯文章,轉載須註明來源及連結,否則將追究其法律責任!
  • 威尼斯國際電影節|三部中國VR影片入圍,張藝謀新作《影》也將亮相
    據了解,Pinta Studio的首部VR動畫《拾夢老人》曾入圍第74屆威尼斯電影節競賽單元。此外,這也是Jaunt中國首部參與投資的VR動畫項目。作為聯合出品方,Jaunt中國同時也將成為《烈山氏》的全球發行方,幫助該片在日後獲得更多的渠道傳播。
  • 魔法動畫(短片三部曲)
    2012年《鞋》獲得亞洲青年動漫大賽最高獎「至尊大獎」、白俄羅斯國際動畫電影節最高獎「水晶藝術大獎」及金熊貓國際動畫節「最佳導演」獎等。2015年《鳳凰》獲光線傳媒投資,目前正處於開發階段。第一部動畫短片-《佳人》
  • Rejet攜手拾夢《執劍之刻》模式或為二次元IP新趨勢
    原標題:Rejet攜手拾夢《執劍之刻》模式或為二次元IP新趨勢   8月23日晚,創作過《魔鬼戀人》等眾多人氣作品的Rejet株式會社,在每年一度的大型粉絲活動「Rejet 2017 ENDLESS SUMMER」上公布了其與中國公司拾夢文化(Xiimoon)聯袂創作的全新二次元企劃——《執劍之刻
  • 傳奇特效公司和Wevr聯合發布一部VR恐怖體驗『Mad God VR』 VR2048
    今天,Wevr Transport應用程式和HTC Vive聯合發布了一部VR恐怖體驗《Mad God VR》,該VR體驗根據Tippett的2013短片《Mad God 》改編,可以通過Gear VR觀看。 Tippett工作室和Wevr公司的藝術家們想嘗試看看定格動畫的外觀和感覺是什麼樣的,觀眾可以在任何時候看任何方向,而感覺自己卻像是與他們的手工動畫人物一樣大小。