10月國慶月,中國青年報製作的「青春圖志70年」系列和「不一young的中國」火了,作品展現新時代中國的發展偉力和青春氣息。其中短視頻作品用摳像、快閃等親切的形式,用貼近年輕人的方式讓青年「玩」起來。不少時尚博主還有素人,看過之後,都表示想嘗試類似的摳像作品。
其實視頻摳像不是新鮮事物,特效大片綠幕電影早已有有之,以前工作人員將視頻拆解成幀畫面,然後用專業處理軟體一幀一幀的摳。如今隨著手機AI處理能力日趨提升,我們普通用戶不需要專業能力,在手機也能輕鬆實現這一功能。
我們只需要藉助Versa團隊的綠幕俠APP,就能夠邊錄製邊摳像。值得注意的是,Versa團隊把運算放在手機端而非雲端,這是因為在雲端處理往往有100毫秒的時延,綠幕俠視頻頻率大約是30幀/秒,意味著APP要在1秒內完成30張圖片的AI圖像語義分割處理,一張圖片約為33毫秒。「綠幕俠」是實時摳圖替換背景,有時延便無法做到實時,此外運算放在手機端還有節省費用和個人隱私方面的考量。
所以這就需要手機擁有非常強大的AI算力作支撐,目前許多手機的晶片依然帶不動他們的AI模型,晶片算力不夠的手機上運行,效果出現幀數減半、卡頓或者精度不足也是無可避免的。為此,我們對比兩款知名度不錯的手機榮耀9X與小米9,來了解手機端對視頻摳像的關鍵所在,看看誰能滿足年輕人的實時視頻新玩法。
【GIF】榮耀9X視頻摳像成片
【GIF】小米9視頻摳像成片
從對比結果可以看到,榮耀9X與小米9都實現摳像視頻作品創作。不過二者作品的成片效果卻不盡相同。對比可以看到,小米9在動作幅度較小畫面表現尚可,只是對眼鏡框、耳朵等細節處理略有不足。反觀榮耀9X在動作幅度較小畫面中,鏡框以及耳朵頭髮細節均細膩摳像。
在動作幅度較大的畫面中,小米9成像裡人物的手臂、足部還有頭髮等位置全都判斷失誤,畫面表現表現則差強人意,基本不具備社交分享的能力。而榮耀9X在動作幅度較大的畫面中,人物表現始終完整,輪廓邊緣清晰自然,同時在手臂晃動至身後時較遠位置時選擇隱藏,避免「手塊斑」效果。綜合來說,榮耀9X的摳像表現遠勝於小米9。
造成二者表現截然不同的原因是什麼?
照理說,小米9採用7nm晶片驍龍855,榮耀9X也採用的是7nm晶片—麒麟810,那麼為什麼會造成二者如此大的差距呢?答案的關鍵點在於二者NPU算力差別。
榮耀9X之所以能在視頻實時摳像表現得這麼優異,這與它所搭載麒麟810晶片的AI算力有很大的關係。據權威AIBenchmark跑分網站測試結果顯示,麒麟810晶片的AI能力跑分超過了32000分大關,比小米9所搭載的處理器驍龍855高出6000多分,高居排行榜第一。
而且榮耀9X的SoC麒麟810採用達文西架構,它不同於以往標量、矢量運算模式,達文西架構以高性能3D Cube計算引擎為基礎,針對矩陣運算進行加速,可以大幅提高單位面積下的AI算力,分激發端側AI的運算潛能。神經網絡運算數據為3D格式,需要處理單元的創新,NPU在處理AI任務時,性能和能效遠高於CPU和GPU。所以麒麟810不僅算力和功耗達到了實時視頻摳像要求,而且I/O的設計更好,數據搬移效率高。
總結來說,麒麟810得益於達文西架構NPU,對綠幕俠所需求的本地處理的特別好,背景分割很細膩而且清晰。而小米9雖然支持本地處理,但受制於內核問題,成像會顯示的不清晰,背景分割不明晰,人物模型判斷失誤等情況,而且經常性出現掉幀、卡頓情況。可以看到,手機AI處理能力已經足夠支撐新的摳像玩法,不過在具體機型之間還是有不小的差距。雖然榮耀9X定位並非旗艦機型,但它NPU算力表現卻遠勝於定位旗艦的小米9,如果要在二者之間來次二選一的話,榮耀9X無疑是更好的選擇。