手機也能玩體感類遊戲「跳舞機「了。
最近,抖音推出了一個全新功能「尬舞機」,用戶只要打開抖音,就能隨時隨地體驗線下跳舞機的玩法,無需藉助特定硬體設備。
抖音尬舞機一推出就受到網友的追捧,上線的第二天,抖音就戰勝微信、支付寶這樣巨頭登頂App Store。
「國民閨女」關曉彤也親自上陣尬舞了一把,視頻裡看起來,她反應迅速,節奏把握也很好,徹底玩嗨了。
抖音尬舞機這項「黑科技「的背後,其實是人體關鍵點檢測技術的應用,今日頭條人工智慧實驗室(簡稱AI lab)的技術研發成果之一。
依託於這項技術,抖音能夠檢測到圖像中所包含人體的各個關鍵點的位置,從而實現從用戶姿態到目標姿態的準確匹配。簡單來說是把就把跳舞機、kinect這樣的體感遊戲搬到了手機上。
要想做好這個功能,需要解決兩個難題。第一,人體的形變範圍比較大,受衣服變化、物體遮擋等影響嚴重,在日常場景下準確地檢測人體關鍵點一直是計算機視覺領域中的一個熱點問題。第二個難點是,要實現精準檢測,需要耗費高昂的計算資源,無法在手機端實現日常場景應用。
由於這兩個難點的存在,市面上很多產品的類似功能只能實現半身檢測,甚至人臉檢測,玩法上就有很多限制,功能的實現效果大打折扣。
而今日頭條 AI lab創新了技術方案。相比於業界流行的自頂向下(Top-Down)的方案,他們採用的是自底向上(Bottom-Up)的方案,核心是針對移動端設備自研的網絡結構,極大地減少計算量,同時讓準確率大幅提升,實現了在移動端的實時無損運行。
目前來說,抖音的人體關鍵點模型是業界領先的水平。從實現效果來看,抖音在國內首次把檢測範圍擴大到了全身。相對於更簡單,也更廣泛實用化的人臉關鍵點檢測技術,抖音可以對視頻進行實時檢測,也積累了很大的人臉庫,可以很準確的識別人臉。
其實,像尬舞機這樣玩起來更簡單,效果更酷炫的功能抖音一直在做。在今日頭條人工智慧實驗室的技術支持下,抖音已經上線了包括背景分割、音樂濾鏡、AR貼紙等等一系列的特效功能。
這些在社交網絡受到廣泛喜愛的特效,也幫助抖音吸引來了不少的新用戶,形成了很好的品牌效應。