實時打破次元壁 AI技術讓你秒變二次元人物

2020-12-11 光明網

  還在沉迷復古風、初戀風?現在最火的是漫畫風!還沒擁有二次元漫畫自拍的夥伴們,該上車啦!二次元漫畫風席捲朋友圈,不僅全民擁有了漫畫自拍和頭像,就連宋軼、李純、馮提莫、張雪迎、何泓姍等明星都穿越次元壁,二次元小視頻拍到停不下來!

  二次元漫畫風究竟有多火呢?這麼說吧,微博超話#尋找最美漫畫臉#被大家閱讀了1.8億次,還有8萬條海量評論一同蓋樓,使用二次元特效拍攝製作的短視頻累計播放量2487萬,甚至上了熱搜。

  實際上這些可鹽可甜的二次元自拍並非來自真人畫手,而是在人工智慧技術的幫助下一鍵生成的。點開特效,手機中的自己就從3D變成2D,不僅保留了五官、臉型等個性特徵,而且還可以跟隨動作、表情的改變實時變化,輕鬆變身漫畫世界的主人公。

  這類特效離不開技術君的支持,尤其是人工智慧視頻生成技術,漫畫特效的火爆也讓視頻生成技術的應用再次掀起小高潮,甚至走出國門。作為視頻技術領域的「優等生」,百度在19年底已在百度大腦AI開放平臺上線圖片級二次元轉換,並於今年5月全球首發手機端上的實時二次元轉換。近日百度宣布將通過百度大腦AI開放平臺對外開放實時二次元SDK,讓更多行業開發者可以輕鬆擁有漫畫特效。

  在此之前,百度AI二次元特效技術也已經與B612咔嘰、全民小視頻等產品合作,創造眾多「爆款」,並於近期上線於北美市場Toonout APP,讓更多應用輕鬆Get二次元特效。

  三次元變二次元 AI技術如何實時打破次元壁

  想要在特效中實現漫畫中亮閃閃的大眼睛、小巧的鼻子和多變的發色並非易事,背後的技術原理並非像看上去一樣簡單,漫畫特效不僅要做到準確定位人像,更重要的是生成與本人形象一致、且畫質清晰的圖像,這就需要圖像理解、生成等多種技術共同配合完成,也對圖像的識別檢測等精準程度等提出了較高要求。

  百度AI二次元特效技術將超過十項視覺基礎技術與十餘個深度學習模型進行組合,協同調動完成特效。為了讓漫畫版自拍貼近本人,百度採用了像素級別的分割算法、支持150+關鍵點定位的高精準的人臉關鍵點識別算法,仔細定位面部細節,保留人物個性化特徵,實現人像1:1生成。

  為了保證生成出的二次元圖像清晰、邊緣柔和,百度更是拿出「世界冠軍級」技術——CDSR 超分模型,通過級聯的方法逐步將圖像從模糊變清晰,可以生成720P 的高清圖像,保證用戶在手機上高清體驗。據悉,該模型曾於2019年,戰勝400餘支參賽隊,拿下計算機視覺 low-level vision 領域中影響力最大的競賽NTIRE的年度冠軍。

  特效自拍能隨動而動、實時顯示,也對計算效率提出挑戰,百度採用最新的模型壓縮和模型搜索技術,在手機端實現實時二次元轉換,保證了一秒生成的用戶體驗。

  「爆火」之前已有布局 百度二次元特效技術廣泛應用

  二次元特效技術的風靡其實早有預料。2020年伊始,百度旗下全民小視頻的「一鍵動漫」功能,基於二次元特效技術,量身定製的二次元虛擬形象,並收穫150萬條二次元視頻作品,紙片人才藝展示、紙片人小劇場等趣味視頻層出不窮。

  主打美顏相機的B612咔嘰也通過使用百度大腦的人像動漫化接口,簡單四步即可將用戶自拍照片轉換成高還原度的漫畫頭像,讓你成為朋友圈最二次元的仔。今年4月,雙方合作升級,推出多款趣味油畫濾鏡,讓用戶輕鬆變身戴珍珠耳環的少女,在二次元特效的基礎上擴展更多圖像特效風格,受到廣大女性用戶的喜愛。

  專注於漫畫卡通特效視頻&照片編輯功能的Toonout 也於近日接入了百度AI實時二次元特效功能,作為業內首發能力,在北美市場率先上線,產自中國的二次元特效技術「出口」海外。

  作為視頻技術領域的佼佼者,百度二次元特效功能可謂「頂配」級別,可以給用戶帶去更逼真生動、清晰隨動的娛樂體驗,該能力接口全面開放。

  百度AI開放平臺現開放人像特效及醫美特效十餘項服務邀測,人像特效包含人臉/人體關鍵點、人臉五官/人體分割、以及人臉屬性編輯、人臉融合、人像漸變、人像清晰度增強、美顏美化等多個API及SDK解決方案,滿足網際網路娛樂、短視頻、網絡營銷等多種業務需求。

  醫美特效包含對人臉皮膚上痘痣斑、膚色、皮膚光滑度、眼袋/黑眼圈、毛孔黑頭等進行高精度檢測與分析,同時支持完整的3D模擬整形解決方案,可生成高保真的人臉3D模型,模擬調整前後效果對比,可應用在智能醫美、互動娛樂等多個場景上。

  這樣,藉助百度二次元特效技術的開源開放,讓更多開發者有機會入局這一漫畫風口,創造更多娛樂應用,藉助百度AI的技術底色,再造「爆款」。(一鳴)

[ 責編:戰釗 ]

相關焦點

  • 何方「神仙太太」讓你秒變二次元人物?百度AI拍了拍你
    還沒擁有二次元漫畫自拍的夥伴們,該上車啦!二次元漫畫風席捲朋友圈,不僅全民擁有了漫畫自拍和頭像,就連宋軼、李純、馮提莫、張雪迎、何泓姍等明星都穿越次元壁,二次元小視頻拍到停不下來!二次元漫畫風究竟有多火呢?這麼說吧,微博超話#尋找最美漫畫臉#被大家閱讀了1.8億次,還有8萬條海量評論一同蓋樓,使用二次元特效拍攝製作的短視頻累計播放量2487萬,甚至上了熱搜。
  • 虛擬IP經濟時代已至,世優科技實時動畫技術打破次元壁
    粉絲獲得極大的滿足,這種用二次元偶像做主播的新穎形式突破了次元壁,斬獲巨大成功。而讓這一「虛擬秀」成為現實的幕後,正是世優科技的實時動畫技術。早在2019年,酷狗就打算在各種直播玩法中開闢一條「二次元」賽道,並與騰訊動漫達成了合作、引入了塗山蘇蘇這一熱門IP。
  • 打破次元壁的cosplay:小狗狗秒變貴婦人,靜止畫面變得活靈活現
    二次元的場景大多都是來自三次元世界,二次元人物的外貌、形態都和三次元的我們密不可分,兩者對比會有什麼樣的色彩呢?三次元相對於二次元來講,立體感對視覺上的衝擊很明顯,二次元展現的都是平面上的視覺效果,現在不少的三次元開始向二次元人物的「模仿」邁進。
  • 從三次元變身紙片人?這款百度AI二次元技術你還不衝!
    還沒擁有二次元漫畫自拍的夥伴們,該上車啦!二次元漫畫風席捲朋友圈,不僅全民擁有了漫畫自拍和頭像,就連宋軼、李純、馮提莫、張雪迎、何泓姍等明星都穿越次元壁,二次元小視頻拍到停不下來!二次元漫畫風究竟有多火呢?這麼說吧,微博超話#尋找最美漫畫臉#被大家閱讀了1.8億次,還有8萬條海量評論一同蓋樓,使用二次元特效拍攝製作的短視頻累計播放量2487萬,甚至上了熱搜。
  • 動漫角色亂入「三次元」?大神用天馬行空的想像力,輕鬆打破次元壁
    喜歡二次元的小夥伴都知道,動漫人物往往在二次元的世界中存在。二次元的世界往往夢幻而美好,它與三次元之間的界限是非常難打破的。近期一位繪畫大佬luigi.kemo的一組作品引起了許多網友的熱議,這組作品是非常特別的,繪畫大佬通過他自己獨特的「想像力」將二次元的人物帶到了三次元中,打破了次元壁。他是怎麼做到的呢?下面我們一起去看看吧。
  • 再破次元壁!騰格爾都愛的二次元虛擬是什麼好東西?
    聽說著名歌唱藝術家騰格爾老師又破次元壁了!這位著有《鋼鐵之翼》(《隱形的翅膀》翻唱版藝名)、《必須能》(《可能否》翻唱版藝名)等翻唱作品的土萌硬核翻唱大師,在和日本聲優花澤香菜面對面學習過《戀愛循環》之後,騰格爾老師這次是真正地打破次元壁了!
  • 如果次元壁被打破,第一個會找誰?
    如果次元壁被打破,第一個會找誰?喜歡的動漫人物?沒有完成的夢想?世界終極的力量?二次元的世界也是豐富多彩的,許多人喜歡二次元可能就是喜歡那個純粹沒有人打擾的世界。
  • 打破次元壁,您將獲得一位二次元老婆請查收?該醒醒了
    對於無限喜愛二次元的我們,打破次元壁應該是眾多小夥伴心中的夢想了,等到有一天我們能進入二次元的世界,去見見我們喜歡的角色,去追我們整天喊著「老婆老婆」的妹子,這種生活豈不美哉?不過你要記得的一點是即使你進入了二次元的世界,你可不是男主,你可沒有平平凡凡普普通通還能有一群妹子圍著你轉的這種光環。
  • 百億流量發力二次元,抖音能否打破次元壁?
    抖音發力二次元,能碰撞出什麼樣的火花?不如就從這次活動講起。當小眾二次元走向大眾化近年來,二次元文化已經不再小眾,而是向著大眾化的方向發展。最近,抖音話題#二次元花式打call方式#登上抖音熱點榜第 6 位,也側面反映出二次元內容深受大眾的喜愛。
  • 草原風的《戀愛循環》太上頭,打破次元壁僅需1秒!
    在很多人的傳統印象中,二次元都是年輕人的天下,特別是二次元的音樂,都是那種Q萌的,很難把二次元的東西和豪放大叔聯想到一起,但村長今天才發現打破次元壁真的非常簡單,一個翻唱就夠了。相信大家都聽到過這句話——有一種翻唱叫騰格爾。
  • 動漫人物「神還原」,香克斯十分相似,秋山澪直接打破次元壁!
    導語:我們平時看動漫時,出於對角色的喜愛總會搜集他們的同人圖或者周邊,有的人也通過cos的形式來表達他們對一個角色的喜愛,但是由於二次元和三次元的差距其實還是十分大的,就算現在的妝容技術很發達也很難達到「神還原」地步,但是不乏有一些人天生就與很多動漫人物有著相似之處。
  • 「凌魂少女」嘗鮮虛擬直播 華凌空調又雙叒叕打破次元壁!
    李佳琦、薇婭直播早已不是新鮮事,但虛擬偶像直播,你見過嗎?1月10日晚上8點到10點,在真實的直播間,在忠實粉絲的「召喚」下,華凌空調二次元代言人——凌魂少女涼然、暖沁,打破次元壁,萌力上線,與真人主播「同框」,開啟了《凌魂少女,年貨大賞》為主題的虛擬直播互動。頗具創新意義的是,這次凌魂少女直播,是電商平臺站內的第一次虛擬直播。
  • 打破次元壁,運動員身材很驚豔,羊村地圖怪不得這麼眼熟
    隨著二次元文化的發展,大家對於二次元的了解也越來越多,之前很多界限清晰的領域似乎都被打破了,次元壁再也不是不可跨越的鴻溝。當打破次元壁,現實與二次元進行融合,你會發現,原來二次元離我們並不遠。了吧,把自己喜歡的二次元形象通過服裝和妝容進行復刻出來,這樣就形成了二次元和三次元的融合,讓喜歡二次元的人們覺得二次元世界也並不是那麼遙遠,並不是那麼的不切實際。
  • 二次元畫師對動物「出手」,貓狗星人打破次元壁,滿屏是JOJO畫風
    隨著二次元亞文化的發展,越來越多的動漫愛好者開始接觸畫師這個興趣,無論你是手殘黨,還是業餘畫師,只要你還擁有一個二次元的幻想,你就能夠成為大家欣賞的畫師大觸,即使你的作品天馬行空,只要你敢畫,就會有人懂得欣賞,沒有哪一個畫師不是慢慢升級而達到現有的畫工。
  • 打破次元壁,回歸二次元夢的幻想鄉
    或許你已經習慣了繁忙枯燥的現實生活,但我想這些只聽到熟悉臺詞就能知道叫什麼名字的動畫一定能喚起你的回憶,我想拉起你的手一起突破這厚重的次元壁,一起回到充滿歡笑與感動的幻想鄉      在七月的尾巴讓我們坐上次元鏡的大巴車與二次元宅文化來場親密的約會,次元鏡動漫嘉年華是錫林浩特本土經營的漫展,由2018年2月11日開始,每年冬、夏舉辦,至今是第二屆
  • 原來最強贅婿在二次元長這樣,秒穿次元壁的AI特效又雙叒火了
    你看這位李雪琴老師,就瞬間女主光環加持,慵懶的眼神裡又多了幾分靈動的憂鬱。打破次元壁的技術所以快手這一堪稱「穿越神器同樣是打破次元壁的神器:具體而言,U-GAT-IT由兩個GAN組成。一個負責把現實世界的自拍照進二次元,即從源領域到目標域的翻譯。另一個則反過來,能把二次元人物拉回到三次元中,即從目標域到源領域的翻譯。同樣,也不需要成對的訓練數據。為了生成更加逼真的圖像,U-GAT-IT還以端到端的方式引入了注意力機制和可學習歸一化方法。
  • 《四驅兄弟》裡的賽車技術成真?網友:次元壁被打破了
    對於很多80後的漫迷朋友們來說,小時候都會天天想盡一切辦法和父母周旋,就為了能準時收看電視機裡播放的動畫片,比如《灌籃高手》《大力水手》《海爾兄弟》《四驅兄弟》等等,可是你知道嗎?次元壁被打破的情況不僅僅出現在cos身上,還出現在汽車行業,今天柴叔就來叨一叨《四驅兄弟》裡的技術是怎麼成為現實的吧。
  • 「打破次元壁 尋找神還原」 ACG大神知乎分享COS專業心得
    近日,知乎動畫、知乎遊戲舉辦「打破次元壁尋找神還原」活動,邀網友「模仿」喜愛的二次元角色,分享作品。活動吸引眾多ACG領域業內人士現身,再現行業水準的形象還原與場面復刻,二次元愛好者參與腦洞問答、分享cos經歷。截至目前,活動瀏覽量超過3.8億。
  • 盤點品牌打破次元壁的那些事
    在2020年,李寧與QQ勁舞的超級明星星瞳就進行了打破次元壁的聯名,與這位虛擬巨星進行了多元化的聯名營銷。這樣的組合使得產品與營銷的創意顯得立體而層次飽滿。從產品、品牌以及文化的各個角度而言,打破次元壁的行為往往令人們拍案叫絕。
  • 原來最強贅婿在二次元長這樣 秒穿次元壁的AI特效又雙叒火了
    更妙的是,這樣一個AI特效,不僅能實時捕捉每一個表情變化,模仿咆哮帝也能hold得住:打破次元壁的技術所以快手這一堪稱「穿越神器」的AI特效,在技術上是如何實現的呢?具體而言,U-GAT-IT由兩個GAN組成。一個負責把現實世界的自拍照進二次元,即從源領域到目標域的翻譯。