...Social-STGCNN;說話人臉視頻生成;食材圖像合成;光場角度超...

2020-12-21 雷鋒網

目錄

Social-STGCNN：一種用於行人軌跡預測的社會時空圖卷積神經網絡

音頻驅動的帶自然頭部姿態的說話人臉視頻生成

用自適應實例歸一化將學習從合成噪聲轉移到真實噪聲去噪

CookGAN：食材圖像合成

通過幾何感知網絡學習光場角度超解析度

Social-STGCNN：一種用於行人軌跡預測的社會時空圖卷積神經網絡

論文名稱：Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction

作者：Mohamed Abduallah /Qian Kun /Elhoseiny Mohamed /Claudel Christian

發表時間：2020/2/27

論文連結：https://paper.yanxishe.com/review/12827?from=leiphonecolumn_paperreview0305

推薦原因

這篇論文被CVPR 2020接收，考慮的是行人軌跡預測的問題。

行人軌跡不僅受行人本身影響，還與周圍物體的相互作用有關。這篇論文提出了社會時空圖卷積神經網絡（Social Spatio-Temporal Graph Convolutional Neural Network，Social-STGCNN），將行人與周圍物體的交互行為建模為圖模型，並通過一個核函數將行人之間的社交互動嵌入鄰接矩陣中。實驗結果表明，與先前方法相比，Social-STGCNN的最終位移誤差較現有技術提高了20％，參數減少了8.5倍，而推理速度提高了48倍。

音頻驅動的帶自然頭部姿態的說話人臉視頻生成

論文名稱：Audio-driven Talking Face Video Generation with Natural Head Pose

作者：Ran Yi /Zipeng Ye /Juyong Zhang /Hujun Bao /Yong-Jin Liu

發表時間：2020/2/24

論文連結：https://paper.yanxishe.com/review/12316?from=leiphonecolumn_paperreview0305

推薦原因

現實世界中說話的人臉通常伴隨著自然的頭部運動，但大多數現有的說話人臉視頻生成方法僅考慮具有固定頭部姿勢的人臉動畫。

本文通過提出一個深度神經網絡模型來解決此問題，該模型將源人的音頻信號A和目標人的非常短的視頻V作為輸入，並輸出合成的高質量說話人臉視頻，其具有自然的頭部姿勢（利用V中的視覺信息），且表情和嘴唇同步（同時考慮A和V）。該項工作最大的挑戰是自然的頭部姿態包含平面內外的頭部旋轉，為了解決這個問題，作者重建出3D人臉動畫並將其重新渲染為視頻序列，為了平滑過渡這些視頻的背景圖使得結果更加逼真，作者提出了一個新穎的內存增強的GAN模塊。

大量實驗和用戶調研表明，文章方法可以生成高質量（即自然的頭部運動，表情和嘴唇的同步）個性化的說話人臉視頻，表現優於 state-of-the-art 的方法。

用自適應實例歸一化將學習從合成噪聲轉移到真實噪聲去噪

論文名稱：Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

作者：Kim Yoonsik /Soh Jae Woong /Park Gu Yong /Cho Nam Ik

發表時間：2020/2/26

論文連結：https://paper.yanxishe.com/review/12691?from=leiphonecolumn_paperreview0305

推薦原因

這篇論文被CVPR接收，考慮的是真實噪聲的去噪問題。

這篇論文提出了一個廣義降噪結構和遷移學習方案來應對各種複雜的實際噪聲。這個方案採用自適應實例規範化來構建一個降噪器，可以正規化特徵地圖，並且防止網絡過度擬合訓練集。這篇論文還提出了一個遷移學習方法，可以將從合成噪聲數據中學習的知識遷移到真實噪聲領域。合成噪聲降噪器可以從各種合成噪聲數據學習一般特徵，而真實噪聲降噪器可以從中學到真實數據的實時噪聲特性。新提出的去噪方法具有很強的泛化能力，在合成噪聲上訓練的網絡能夠在Darmstadt Noise Dataset (DND)數據集上取得目前最好的性能結果。

CookGAN：食材圖像合成

論文名稱：CookGAN: Meal Image Synthesis from Ingredients

作者：Han Fangda /Guerrero Ricardo /Pavlovic Vladimir

發表時間：2020/2/25

論文連結：https://paper.yanxishe.com/review/12690?from=leiphonecolumn_paperreview0305

推薦原因

這篇論文發表於WACV 2020，通過食材列表合成逼真的食品圖像。

以往利用生成對抗網絡進行圖像生成的工作主要集中在生成空間緊湊且定義明確的物品上，而食品圖像則更加複雜，包含了多種食材成分，其外觀和空間品質通過不同的烹飪方式會進一步變化。為了從配料中生成真實的食品圖像，這篇論文提出了CookGAN，該模型首先建立一個基於注意力的配料-圖像關聯模型，然後將其用於調節生成合成食品圖像的神經網絡。此外，CookGAN添加了周期一致約束以進一步改善圖像質量並控制外觀。實驗表明，CookGAN能生成與成分相對應的食品圖像。

通過幾何感知網絡學習光場角度超解析度

論文名稱：Learning Light Field Angular Super-Resolution via a Geometry-Aware Network

作者：Jin Jing /Hou Junhui /Yuan Hui /Kwong Sam

發表時間：2020/2/26

論文連結：https://paper.yanxishe.com/review/12689?from=leiphonecolumn_paperreview0305

推薦原因

這篇論文發表於AAAI 2020，考慮的是光場圖像超解析度的問題。

目前有一些方法用以改善稀疏採樣光場的角解析度，但這些方法主要關注基準較小的光場，例如消費型光場相機。這篇論文提出一種端到端的學習方法，旨在對具有較大基準的稀疏採樣光場進行角度超解析度處理。新方法包括兩個可學習模塊和一個基於物理的模塊：用於顯式建模場景幾何的深度估計模塊，用於新視圖合成的基於物理的屈折模塊，以及專門設計用於光場重建的光場混合模塊。此外，新方法引入一種新損失函數來促進光場視差結構的保存。在包括大基準光場圖像在內的各種光場數據集上的實驗結果表明，與當前最佳技術相比，這篇論文所提的方法具有明顯優勢，並且可以更好地保留光場視差結構。

論文作者團隊招募

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

雷鋒網雷鋒網雷鋒網

相關焦點

  • 空間-角度信息交互用於光場圖像超分辨重構,性能達到最新SOTA|ECCV...
    具體地，有研究人員使用單個圖像SR方法分別對SAI進行超分辨，然後將其微調在一起以合併角度信息。也有研究者僅使用部分SAI來超分辨一個視圖，並且未合併另外廢棄視圖中的角度信息。相反，有另外的研究人員提出了一種基於圖的方法來考慮優化過程中的所有角度視圖。但是，該方法無法充分利用空間信息，並且不如基於深度學習的SR方法。
  • 中國科學院研發AI人像生成模型 人臉合成技術超出預期
    利用這一模型，沒有繪畫經驗的人也可以很容易地得到逼真圖像。除了用於娛樂，在未來，這個模型或能幫助執法人員進行嫌疑人畫像。這項研究發表在學術網站arXiv上，論文標題為《深度人臉畫像：從草圖深度生成人臉圖像（DeepFaceDrawing: Deep Generation of Face Images from Sketches）》。
  • SIGGRAPH 2020 | 開原始碼實現從草圖生成人臉
    近日一篇被計算機圖形學頂會 SIGGRAPH 2020 接收的論文提出了一種新的基於草圖深度生成人臉圖像的方法。基於該方法的智能人臉畫板，不需要用戶擁有專業的繪畫技巧，就能夠從粗糙甚至不完整的草圖生成高質量的人臉圖像，並且同時支持對面部細節的編輯與控制。該算法降低了人臉肖像繪製的門檻，同時也減輕專業畫家的工作難度，簡單實用。
  • 百度大腦最新發布人臉合成圖甄別能力,人臉識別活體檢測更安全
    人臉識別中的活體檢測，普遍通過動作檢驗或靜默驗證，證明是「真人」而非圖片，其解決了用列印、翻拍照片、面具等通過人臉識別的問題，但依然有部分用戶上傳AI變臉、換臉等合成視頻企圖矇混過關。一系列「換臉」技術對人臉圖像的合成及篡改很難通過肉眼辨別真偽，且人臉數據涉及到用戶肖像、隱私等個人信息，篡改人臉數據也對用戶個人信息安全造成了威脅。
  • 百度大腦領先活體檢測+合成圖鑑別 讓人臉「照片活化」無從遁形
    如今，隨著人臉技術的日趨成熟，新興娛樂文化得到了極大的推動，尤其是隨著DeepFake、FaceSwap等人臉編輯及生成技術的發展，虛擬主播、人臉合成帶給人們全新的體驗，但同時也給信息安全帶來了潛在威脅。
  • 讓簡筆畫生成逼真人臉!中科院放大招,能用於警察破案
    智東西6月18日消息，近日，中國科學院北京分院的研究團隊研發出一個AI人像生成模型。該模型可以依據簡筆畫生成逼真的人臉肖像。利用這一模型，沒有繪畫經驗的人也可以很容易地得到逼真圖像。一、給人臉「分區」，逐塊推理出逼真圖像現有的「從圖像生成圖像」的技術已經可以實現快速輸出結果。但是，現有解決方案對輸入圖像的要求較高，只有以專業素描畫像等逼真度較高的圖像作為輸入時，才能生成逼真的人臉肖像。
  • AI假臉王生成!新一代GAN攻破幾乎所有人臉識別系統,勝率95%
    新智元報導 來源：Arxiv 編輯：文強，三石，大明【新智元導讀】根據一篇針對計算機生成的假臉假視頻DeepFake較為全面測評的論文，現有的先進人臉識別算法在面對計算機生成的假臉時基本束手無策，假臉生成算法和人臉識別軍備競賽已經開始。不過，目前還有些小技巧，可以幫你用肉眼來分辨計算機生成的假臉。
  • 讓簡筆畫生成逼真人臉,中科院發新AI論文,能用於警察破案
    原創 溫淑 智東西看點：用17000張圖像打造的最強AI「畫師」！智東西6月18日消息，近日，中國科學院北京分院的研究團隊研發出一個AI人像生成模型。該模型可以依據簡筆畫生成逼真的人臉肖像。
  • 讓簡筆畫生成逼真人臉!中科院發新AI論文,能用於警察破案
    這項研究發表在學術網站arXiv上，論文標題為《深度人臉畫像：從草圖深度生成人臉圖像（DeepFaceDrawing: Deep Generation of Face Images from Sketches）》。今年七月份，這項技術將在計算機圖形學頂會SIGGRAPH會議上展出。
  • 「CV秋季劃」生成對抗網絡有哪些應用,如何循序漸進地學習好?
    GAN的研究在這幾年發展可以說是非常迅猛，已經被用於各個研究方向，其應用涉及圖像與視頻生成，數據仿真與增強，各種各樣的圖像風格化任務，人臉與人體圖像編輯，圖像質量提升。　　　　詳情大家可以聽以下直播視頻解讀，更多補充可看圖文。　　整個學習內容　　GAN學習小組需要掌握與GAN相關的內容，學習的東西包括8大方向：基礎理論，結構設計，圖像與視頻生成，語音生成，圖像增強，風格遷移，圖像編輯，綜合使用技巧。
  • 人體圖像合成製作可信和逼真的人類圖像
    打開APP 人體圖像合成製作可信和逼真的人類圖像 陳根 發表於 2020-12-14 11:17:39 近日，上海科技大學團隊的一項新研究，再一擴展了這一領域，其開發建立了人體圖像合成——人體圖像合成的目的是製作可信和逼真的人類圖像，包括運動模擬、外觀傳遞和新視圖合成等。 這意味著，模型一旦經過訓練，就可以用來處理所有這些任務。只要一張照片、一段視頻，就能讓川普跟著明星偶像「唱、跳、Rap」。
  • 新AI技術現身頂會:只需一張大頭照,就能生成逼真3D人臉
    在 2020 年計算機視覺與模式識別會議（CVPR）期間，倫敦帝國學院和 AI 面部分析初創公司 FaceSoft.io 的研究人員介紹了一種 「AvatarMe」 技術，該技術能夠僅僅通過一張普通的圖像或照片，就重建逼真的 3D 半身像。更厲害的是，不僅能從低解析度目標生成真實的 4K x 6K 解析度的 3D 人臉，而且還可進行細緻的光線反射。
  • 用Python玩人臉合成,你也能有一張明星臉(附代碼)
    運用機器學習的方法，我們同樣可以實現人臉「融合」。當然這裡說的人臉融合指的是將兩個人的人臉照片進行融合，至於融合的比例，要按照自己的喜好來定。人臉融合的效果我們先看視頻。變臉視頻，一睹為快下面小編就帶領大家從以下的幾個方面來打造一款向上圖所示的人臉識別軟體。
  • 中科院AI生成模型,人臉識別的正確用法
    近日，中國科學院北京分院的研究團隊研發出一個AI人像生成模型。該模型可以依據簡筆畫生成逼真的人臉肖像。這在日常當中，可以被人當作娛樂遊戲來進行消遣，但是其實它有更重要的作用，那就是幫助警察叔叔了解嫌疑犯的面容形象。
  • 都給我開口說話!MakeItTalk的神奇魔法讓你和蒙娜麗莎對話
    給定一個音頻語音信號和一個人像圖像作為輸入，模型便會生成說話人感知的有聲動畫圖。富有表現力的動畫誰都想要！面部動畫在很多領域都是一項關鍵技術，比如製作電影、視頻流、電腦遊戲、虛擬化身等等。儘管在技術上取得了無數的成就，但是創造逼真的面部動畫仍然是計算機圖形學的挑戰。
  • 蒙娜麗莎開口說話!這款黑科技能讓靜止的圖片動起來!
    現在為你呈現一個能生成人說話模型的系統Notably learning of a new head model requires just a handful of images.值得注意的是模擬人類面部需要足量圖像幀數In this example the model was learned from eight frames.
  • 告別視頻通話「渣畫質」,英偉達新算法最高壓縮90%流量
    H.264視頻所需的帶寬是這種新算法的2~12倍，從前面的演示也能看出，如果讓二者使用相同比特率，那麼H.264視頻幾乎不可用。轉動面部不扭曲英偉達提供了一個試用Demo，可以在Pitch（俯仰角）、Yaw（偏航角）、Roll（翻滾角）三個方向上任意旋轉。輸入一張人臉，最多可以在每個方向上最多旋轉30度。
  • 用2D圖像生成3D模型,微軟新AI模型或成遊戲業福音
    將2D圖像轉換為3D圖像，對於視頻遊戲開發人員、電子商務公司、動畫公司來說，至關重要，但這並不容易。包括Facebook，英偉達等科技巨頭的人工智慧（AI）研究實驗室，以及一些初創公司都在這個領域裡不斷探索。
  • 人工智慧生成虛擬人物照
    現在，研究人員又開發出了一種名為「生成對抗網絡」的新型人工神經網絡，它由一個能生成圖像的生成器網絡和一個負責評價圖像真偽的鑑別器網絡組成。 「要讓神經網絡學會識圖，需要經過數百萬張圖片的訓練。GAN則是一種較新的算法，它可以自動生成圖像，」美國艾倫人工智慧研究所的執行長奧倫·埃齊奧尼說。 利用GAN算法，人工智慧還能迅速生成足以亂真的虛擬照片。
  • 迄今最精準人臉數字模型,任意 2D 照片轉換逼真3維人臉
    倫敦帝國理工學院的研究人員開發了一種新的系統，能自動對各種族、年齡的人臉進行準確的 3D 建模。他們還建立了一個大規模人臉掃描資料庫，用於訓練這個系統。實驗證明，該系統比當前常用的最好模型表現優異許多，可以將任意角度拍攝的 2D 快照生成逼真的 3D 人臉。Science 對此作了報導，標題中提到「計算機科學家構建了迄今最精準的人臉數字模型」。（題圖即為新模型隨意生成的一些人臉。）