蒙娜麗莎開口說話!這款黑科技能讓靜止的圖片動起來!

2021-02-19 油兔不二字幕組

[Music]

[音樂]

We present a system that can learn realistic talking-head models.

現在為你呈現一個能生成人說話模型的系統

Notably learning of a new head model requires just a handful of images.

值得注意的是模擬人類面部需要足量圖像幀數

In this example the model was learned from eight frames.

下面這個例子中的模型採用八幀分鏡

Once a talking head model was learned

一旦一個人說話時的頭部動作被獲取後

 It can be driven by the positions of the face landmarks.

臉部精準定位點便會精準定位到人臉上

In this case

這樣一來

we extract landmarks by running an off-the-shelf face landmark tracker

通過臉部追蹤器來獲取

on a different video of the same person.

某個人不同視角的臉部特徵點

Effectively the learned model serves as a realistic avatar of a person.

於是這個模型逐漸完善成現實中的人臉替代

Our talking head models work well even for new view angles,

這套模擬模型對於新視角的人臉也能很好地擬合

 not present in the training examples are shown here.

但在這個視頻中並未展示此功能

Our system can learn from different numbers of frames.

這套模擬系統可以從不同幀數的圖像中擬合人臉

One shot learning from a single frame as possible.

並致力於從少數幀幅中獲取類似信息

Of course increasing the number of frames leads to head models

當然圖像的幀數越高

of higher realism and to better identity preservation.

獲得的頭部模型就越清晰越真實

Our approach uses a meta learning stage

我們的模型採用元學習階段方法

which is performed on a huge data set of videos.

這是在一個龐大的數據集上執行的

For the results in its presentation,

視頻中的結果

 the Vox Celeb 2 data set is used.

用到Vox Celeb 2數據集

3 networks are trained during the meta learning stage.

在元學習階段搭建3大網絡

The embedded network maps frames concatenated with the landmarks into vectors

嵌入式網絡將每幀的特徵點連接並轉化成載體

containing pose independent information.

包含單獨姿勢信息

These vectors are used to initialize the parameters of adapted layers inside the generating network,

這些向量信息用於初始化生成器網絡裡的適應層參數

 which maps landmarks into the synthesized video.

用於生成合成視頻中的映射特徵點

Finally the discriminator network assesses the realism pose

鑑別器網絡則評估合成圖像的寫實性 姿態準確性

and identity preservation of the generated frames.

及人身份信息保護性

Better identity preservation is achieved

實現更好的身份保護

by having a trainable embedding vector inside the discriminator for each training video.

是在每次實驗中在鑑別器內放置可學習的嵌入載體

For more details please refer to the paper.

更多詳情請參考論文

After metal early we are able to fine tune the generator on a discriminator for a new person.

此元學習階段之後 生成器可以微調用於新的人臉生成

The generator and the discriminator networks have tens of millions of parameters

生成器和鑑別器網絡擁有數以千萬計的參數

Still such fine tuning is possible on just a few images.

然而可以進行這樣的微調的少之又少

Thanks to the good initialization provided by the mate learning stage.

元學習階段還是為我門的初始模擬提供顯著效果

Before fine-tuning for a new person,

在對一個新人臉進行微調之前

 we initialize the adaptive parameters of the generator

我們初始化生成器中的適應性參數

and the video embedding inside the discriminator

和鑑別器內部嵌入的視頻

using the output of the embedded network.

使用的嵌入式網絡的輸出功能

After that we train the generator and the discriminator

之後我們想訓練生成器和鑑別器學習

on the available few images

可用的少數圖像

using the same adversarial objective as in the meta learning stage.

用在元學習階段類似的機制原理

The adversarial fine-tuning is very important for the improvement of realism and identity matching.

反向微調對於改善寫實性和身份識別非常重要

 Also it allows us to get a more personalized model given a larger image set for fine-tuning.

同時也讓我們得到更個性化模型通過大量圖像進行微調

The identity match improvement is particularly noticeable in the bottom example.

尤其是身份識別的改進在下面這個例子中效果明顯

Here we show more results for holdout identities on the Vox celeb 2 data set

現在我們展示Vox celeb 2數據集裡身份識別的結果

that were unseen by the system at the meta learning stage.

這是系統在元學習時所看不到的

These talking head models are obtained using 8 frames.

這些人說話的模型是使用八幀分鏡獲得的

Although in some cases there was limited diversity between the head pose in those 8 frames.

雖然在某些情況下頭部姿勢多樣性因八幀存在一定局限

We also show how the system generalizes to selfie photographs

我們還展示了系統生成的自拍視頻

which are quite different from YouTube video frames in the Vox celeb 2 data set.

這裡的Vox celeb 2數據集中的幀與YouTube視頻呈現的完全不同

Here is one more talking head model learned on 16 selfie photographs.

接下來是另一個模擬的16幀自拍頭部視頻

We can push the generalization even further

我們甚至可以將合成效果升級

applying the system to famous photographs.

進一步將該系統應用於名人照片

 In each case we automatically find people in the voxel m2 data set

每一個案例系統自動在數據集中識別身份

with landmarks suitable for the animation of a particular portrait.

並獲取合適的自畫像特徵點

With a certain degree of success

進一步地

 we can even apply the model to paintings,

甚至可以將模型應用於繪畫作品

despite the large domain gap between paintings and YouTube videos.

儘管視頻和繪畫作品兩者之間存在很大的域差距

Here we can see that in some cases,

在某些情況下

the model might be very sensitive to the geometry of the landmarks.

模型可能會對特徵點處的幾何形狀非常敏感

Driving Mona Lisa with landmarks from three different people

用三個不同的人臉模型來模擬動態蒙娜麗莎

results in videos with very distinct personalities.

生成的視頻別具一格

Landmark adaptation and tight integration of our system with landmark tracking remains future work.

特徵點調試和追蹤集成將是該系統以後需解決的問題

相關焦點

  • 教你把靜止的圖片變的動起來,秒變延時攝影大片!
    大家好今天教大家如何把一個靜止的圖片變得動起來,做成一個微動小視頻看起來像延時攝影一樣漂亮。做這樣的小視頻我們需要下載安裝一個軟體這個軟體大家可以在圖片上看到去網上搜索下載。然後我們選擇第二個工具,開始在這個照片上按照水的軌跡來畫像,如果有畫錯的地方比如說這裡我們畫了一道我們點擊第四個按鈕然後把他框起來,點擊刪除就可以了,接著我們選擇第三個按鈕然後標記出不動的位置。比如說這個人這裡,這人是不動的所以說我們把他標記上了,還有這裡的山川。
  • 北極熊防寒「黑科技」:用毛皮留住靜止的空氣
    北極熊防寒「黑科技」:用毛皮留住靜止的空氣2021年初,極寒天氣仍在北半球一些地區肆虐,西班牙更是遭遇了百年不遇的超強降雪。在春天到來之前,我們仍要忍耐寒冷,並努力給自己做好保暖工作。說到保暖的衣物,除了受到環保主義者抗議的毛皮大衣之外,目前最好的選擇就是羽絨服了。
  • 一個App竟然能讓老照片動起來?
    眾所周知啊,讓靜止的紙質照片動起來一直是存在於魔法世界的事情。其實想要實現這樣的效果,不一定需要依靠魔法,都 2020 年了科技也能幫我們完成讓一張靜止的照片動起來的效果,畢竟科技是屬於我們現代人的魔法。
  • 兒童多幅圖看圖寫話:讓靜止的圖片動起來,變成完整故事
    能將每一幅圖的意思用幾句話講出來就更棒了!接著,就可以把幾幅圖的意思合併起來,成為一個完整的故事。秘訣二 注意連貫,大膽想像。為了順利地、連貫地將幾幅圖的內容連接起來,小朋友們可以使用一些連接詞,如「走著走著」「過了一會兒」「不一會兒」「就這樣」「正在這時」等將幾幅圖片輕而易舉地串連起來,使它們成為一個連貫的故事。
  • 酷狗又曝黑科技讓音樂分享動起來!
    人閱讀 2018-09-14發布 來源:頭條新聞網 相關關鍵詞 沒有幾個黑科技
  • 這7款辦公軟體,個個都是黑科技
    office高效率辦公一直都是職場人很感興趣的一個話題,說到高效,自然離不開工具的選擇,今天小編就給大家分享7款辦公軟體,個個都是黑科技哦。4、BandiZip它是一個很良心的電腦壓縮軟體,能讓你的解壓文件的操作更加的舒適,它支持圖片快速的預覽查看,支持直接智能解壓文件到新文件夾,不會讓你的解壓文件堆滿桌面,使用體驗還是比較給力的。
  • 黑科技磁懸浮花盆,不僅能浮在空中,還能夠自轉不停
    黑科技磁懸浮花盆,不僅能浮在空中,還能夠自轉不停每個人在裝修新家的時候,都喜歡找些簡潔大方又頗有新意的小玩意,來作為為自己家裡增添一抹亮色的工具。磁懸浮的家居產品就是一種廉價又有格調的選擇,比如說我們以前說到過的磁懸浮燈泡,不用接通電線燈就能亮,還漂浮在空中,看起來十分黑科技,那麼今天我們就來介紹另一個好看的黑科技產品——磁懸浮花盆。
  • 「我在靜止不動時簡直無法思考」,思想家盧梭的這句話怎麼理解?
    盧梭是法國著名的思想家和文學家,關於思考,盧梭曾講過一句非常有名的話:「我在靜止不動時簡直無法思考」,這句話究竟應該怎麼解讀,為什麼靜止不動就無法思考了呢?在解讀盧梭的這句話之前,我們先看另一位思想家的言論:「學而不思則罔,思而不學則殆」,沒錯,孔子最有名的論斷之一。
  • 3張圖片,讓你明白靜止的照片是如何動起來的
    什麼是照片的節奏感靜止的畫面為什麼還能產生節奏感?這是視覺產生的心理活動。照片的表達主要是通過:明暗、色彩、線條、圖形、眼神、表情、動作姿勢等這些元素都是非常吸引人的眼球,它們通過的不同的組合和對比,使人的心理產生此起彼伏的波動,就形成了一定節奏感。慢節奏的照片使人輕鬆自然,快節奏的照片讓你情緒激動亢奮。
  • 發朋友圈「動」起來 讓你的十一與眾不同
    「動起來,怎麼動呀?你還能把靜止的照片變成動態的?」    還真能!技能傳授:iOS軟體「Plotagraph+」就可以讓你的照片動起來。第二步:打開「Plotagraph+」,點擊「+」號,選擇想動起來的照片。
  • 手錶也有黑科技,網友:用實力來說話
    ,相信對於大家來說,智能手錶已經不是什麼令人興奮的詞彙了,不過提起智能手錶,大家往往第一想到的都會是蘋果手錶,不過這多少是有著片面的,前不久在3月6日的OPPO新品發布會上,OPPO首款智能手錶就和我們大家見面了,而在這款手錶上不光有著令人驚豔的外觀,還有著十分強大的性能,可以說自發布以來就深受大家的喜歡,網友們也是紛紛表示:用實力來說話。
  • 一款可以讓照片局部動起來的神奇軟體,親手教你做這樣的驚豔照片
    作者 無聲的和諧今天介紹的這一款圖片製作的軟體名字叫做plotagraph,英文翻譯成中文叫做靜態轉換局部動態照片工具,今年風靡全球,在攝影群裡引起了不小的轟動。用它做出來的效果讓人大跌眼睛,嘆為觀止,它可以說是gif動圖效果的一個孿生姐妹,與傳統gif動圖最大的不同是它可以實現照片當中一部分動起來,其餘部分保留靜止,讓照片動靜結合,頗有意思,一開始上手玩就停不下來的節奏…
  • LOL:雲頂之弈S3黑科技陣容盤點,炫酷艾克靜止斬殺大招清場!
    LOL:雲頂之弈S3黑科技陣容盤點,炫酷艾克靜止斬殺大招清場!而本期將為大家帶來雲頂之弈S3賽季趣味性高實戰又強的黑科技套路陣容盤點,幫助大家快速的了解這些陣容及新版本的格局。(註明:文中羈絆名稱皆為暫譯名,數據為測試服數據,具體情況請以國服上線版本為準)6法4星之守護琴女無縫治療淨化流
  • ps出黑科技了,一分鐘讓靜態圖動起來:ImageMotion
    這項技能可以馬上讓一張平平無奇的靜態圖瞬間動起來,接下來動態圖可能加載有點慢,請慢慢等待喲!新技能需要到一個ps插件:imagemotion。【tips】:imagemotion插件需要pscc2017-2019的版本,小編測試其他版本的無用!
  • GIF動圖在線生成,讓圖片「動」起來
    由於手機儲存了大量的圖片,內存被佔用,一遍遍的清理手機空間,然後清理出的那麼一點點內存,真的是慘目忍睹~面對大量的圖片,又捨不得刪掉,怎樣處理才能夠快速的釋放出更多的內存空間呢?想要在保留圖片的情況下,還能夠減輕內存的壓力,那麼可以使用GIF中文網的GIF合成功能將靜態圖片合成為GIF動態圖片就可以了。接下來給大家講述一下,如何將多張圖片合成轉化為GIF動圖呢?如何讓圖片「 動 」起來呢?
  • 梵谷名畫「動」起來,平面地圖「立」起來……2020融交會解鎖文化新...
    現代快報訊(記者 李楠 文/攝)當科技與文化融合,不僅想像的事物能變成未來,過去的歷史也能於今日呈現。10月23日—25日,中國(南京)文化和科技融合成果展覽交易會將於南京舉行。大會前夕,現代快報記者跟隨大會組委會走進建鄴區,體驗文化創意和科技創新碰撞後的火花。
  • 這個APP能讓你的照片動起來!!#限免中
    動起來 ~為不要錢的APP喝彩!最近總有同志後臺留言想要視頻拍攝APP推薦,畢竟總是看靜態的照片怕是不滿足大家對美的追求和渴望但是小北我今天要給大家安利的是一個可以將靜態照片直接比比迪巴比迪崩變成動態圖片的APP!!!
  • 拍美食圖片不出彩?這是一篇可以讓你的靜態圖片動起來的技術貼哦
    這是一種非常普通的蛋糕圖,漸變的南瓜蛋糕上面插著一根蠟燭,估計如果放在一堆圖片裡面,你可能不會多看它一眼,因為實在太普通了。但是如果我將上面的蠟燭變換成動態,蠟燭光芒可以晃動著,像真的一樣,你是不是就會絕對像真的蛋糕一樣呢?下面我來說說它的製作方法。第一我們需要的一款軟體是Pixaloop,這是一款製作小視頻動畫的軟體,打開這個APP。
  • 攝影之美 # 42 | PLOTAGRAPH:只需3步,讓你的照片「動起來」
    所謂「靜態動圖」顧名思義,就是有一部分圖像靜止,有一部分圖像運動的照片。製作「靜態動圖」分為三個步驟:選擇圖片、設定運動路徑、微調和包裝。第一個也是最關鍵的問題,哪些圖片適合做「靜態動圖」?我在這裡這裡拋磚引玉哈。
  • 「黑科技」口紅,能有多黑?
    在化妝品行業中,給產品添加「黑科技」,我們一般都只能在護膚品上看到,例如防曬「黑科技」、抗衰「黑科技」等等,其實就是給護膚品添加了比較特別的成分而已,至於效果,因人而異。 除了護膚品之外,事實上彩妝像口紅也是可以添加「黑科技」的。