人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構深度學習

2020-11-26 CIO時代網

人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構深度學習

人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構深度學習

2018-06-05 11:36:53  來源：今日頭條搶沙發

2018-06-05 11:36:53  來源：今日頭條

摘要：

在本文中，提出了一種用單眼強度圖像進行面部深度圖估計的對抗架構。 通過遵循圖像到圖像的方法，我們結合了監督學習和對抗訓練的優勢，提出了一個有條件的生成對抗網絡，有效地學習將強度人臉圖像轉換為相應的深度圖。

關鍵詞： 人工智慧 深度學習

　　在本文中，提出了一種用單眼強度圖像進行面部深度圖估計的對抗架構。 通過遵循圖像到圖像的方法，我們結合了監督學習和對抗訓練的優勢，提出了一個有條件的生成對抗網絡，有效地學習將強度人臉圖像轉換為相應的深度圖。 兩個公共數據集，即Biwi資料庫和Pandora數據集，被用來證明所提出的模型生成高質量的合成深度圖像，無論是在視覺外觀和信息內容方面。 此外，我們證明該模型能夠通過深度模型測試生成的深度圖來預測獨特的面部細節，深度模型是在真實的深度圖上進行面部驗證任務的訓練。

　　人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構簡介：深度估計是一項任務，在這個任務中，由於存在兩個高質量的立體相機（即人眼）和一個特殊的學習工具（即人類大腦），人類會自然而然地獲益。什麼讓人類在評估單個單眼圖像的深度方面如此卓越以及這種學習過程如何發生？一個假設是，我們通過過去的視覺經驗來開發教師來估計世界的三維結構，這包括與觸覺刺激（對於小物體）和運動（對於更寬的空間）相關的大量觀察結果）[43]。這個過程允許人類開發推測他們所看到的物體和場景的結構模型的能力，甚至可以從單眼圖像中推斷出來。

　　儘管深度估計是一種自然的人類大腦活動，但由於不同的三維地圖可能會生成相同的二維圖像，因此該任務在計算機視圖環境中是一個不適合的問題。此外，由於屬於強度圖像和深度圖的極其不同的信息來源，紋理和形狀數據分別在這兩個域之間進行翻譯是非常困難的。傳統上，計算機視覺界廣泛地以不同的方式解決了深度估計問題，如立體相機[16,40]，運動結構[4,6]，以及來自陰影和光擴散的深度[35,37]。所提及的方法遭受不同的問題，如深度均勻性和缺失值（導致深度圖像中的空洞）。其他具有挑戰性的元素與攝像機校準，設置和後處理步驟相關，這些步驟可能會耗費大量時間和計算成本。最近，由於深度神經網絡的進步，研究團隊已經從強度圖像中研究了單一深度估計任務，以克服以前報告的問題。

　　人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構貢獻：本文提出了一個從人臉單眼強度圖像生成深度圖的框架。採用對抗方法[12,28]來有效地訓練完全卷積自動編碼器，該編碼器能夠根據相應的灰度級圖像估計面部深度圖。為了訓練和測試所提出的方法，利用由大量成對深度和強度圖像組成的兩個公共數據集，即Pandora [3]和Biwi Kinect Head Pose [9]數據集。就我們所知，這是通過與全球深度場景估計不同的對抗性方法來嘗試解決這一任務的最初嘗試之一，它涉及小尺寸物體和充滿細節的人臉：人臉。最後，我們研究如何有效地衡量系統的性能，引入各種按像素指標。此外，我們引入了一個人臉驗證模型，對原始人臉深度圖像進行訓練，以檢查生成的圖像是否保持原始人物的面部特徵，不僅在人類視覺檢查時，而且在深度卷積網絡處理時。

　　人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構深度學習結構：在本節中，我們提出了用於人臉強度圖像深度估計的模型，詳細描述了cGAN體系結構，其訓練過程和採用的預處理人臉裁剪算法（第3.2節）。 該模型的實施遵循[12]中提出的指導方針。在Goodfellow等人的工作之後。 [12]和米爾扎等人。 [28]，所提出的體系結構由一個生成網絡tt和一個判別網絡d tt對應於一個估計函數，該函數預測給定人臉灰度圖像強度的深度圖Igen = tt（Igray） 圖像作為輸入並估計相應的深度圖。（目標韓函數包含對抗損失和mse損失）。

　　人工智慧利用單眼強度圖像進行面部深度圖估計的對抗架構深度學習結論：在本文中，我們提出了一種從強度圖像估計面部深度圖的方法。 為了評估生成圖像的質量，我們使用在原始深度圖上預先訓練好的Siamese網絡執行人臉驗證任務。 通過顯示在生成的圖像上進行測試時，連體網絡的精度不會降低，我們證明了提供的框架可以生成高質量的深度圖，無論是在視覺外觀還是區分性信息方面。 我們還證明，提出的架構勝過自動編碼器和文獻競爭對手時，在訓練對手政策。由於我們方法的靈活性，我們計劃通過引入任務特定的損失來擴展我們的模型，並將其應用於不同的場景。

第三十屆CIO班招生 法國布雷斯特商學院碩士班招生 北達軟EXIN網絡空間與IT安全基礎認證培訓 北達軟EXIN DevOps Professional認證培訓

責編：zhangxuefeng

相關焦點

  • 基於單目圖像的深度估計算法,大幅度提升基於單目圖像深度估計的精度
    ，判斷當前車輛與周圍車輛、行人和障礙物的距離，距離判斷的精度對自動駕駛系統的安全性有著決定性的影響，商湯科技在CVPR 2018發表亮點報告（Spotlight）論文，提出基於單目圖像的深度估計算法，大幅度提升基於單目圖像深度估計的精度，進一步提升自動駕駛系統的安全性。
  • 黃浴:基於深度學習的超解析度圖像技術發展軌跡一覽
    作者 | 黃浴轉載自知乎導讀：近年來，使用深度學習技術的圖像超解析度（SR）取得了顯著進步。本文中，奇點汽車自動駕駛首席科學家黃浴對基於深度學習技術的圖像超解析度技術進行了一次全面的總結，分析了這門技術近年來的發展軌跡。
  • 深度學習時代的圖模型,清華發文綜述圖網絡
    選自arXiv作者：張子威、崔鵬、朱文武機器之心編譯參與：路、曉坤深度學習在多個領域中實現成功，如聲學、圖像和自然語言處理。但是，將深度學習應用於普遍存在的圖數據仍然存在問題，這是由於圖數據的獨特特性。近期，該領域出現大量研究，極大地提升了圖分析技術。清華大學朱文武等人綜述了應用於圖的不同深度學習方法。
  • 深度學習與圖像識別 圖像檢測
    CNN等為什麼對圖像領域更加有效，因為其不但關注了全局特徵，更是利用了圖像識別領域非常重要的局部特徵，應該是將局部特徵抽取的算法融入到了神經網絡中。圖像本身的局部數據存在關聯性，而這種局部關聯性的特徵是其他算法無法提取的。深度學習很重要的是對全局和局部特徵的綜合把握（2）深度學習不是一個黑箱系統。
  • 人工智慧深度學習的未來展望
    本文是推出的人工智慧深度學習綜述，也是Hinton、LeCun和Bengio三位大神首次合寫同一篇文章。該綜述在深度學習領域的重要性不言而喻，可以說是所有人入門深度學習的必讀作品。 本文上半部分深入淺出介紹深度學習的基本原理和核心優勢，下半部分則詳解CNN、分布式特徵表示、RNN及其不同的應用，並對深度學習技術的未來發展進行展望。
  • 英偉達Volta架構深度解讀:專為深度學習而生的Tensor Core到底是...
    之後，英偉達開發博客又更新了一篇深度解讀文章，剖析了 Tesla V100 背後的新一代架構 Volta，其在提供了更好的高性能計算支持之外，還增加了專門為深度學習所設計的 Tensor Core。機器之心在本文中對這篇博客文章進行了編譯介紹，同時還在文中加入了一些機器之心對英偉達應用深度學習研究副總裁 Bryan Catanzaro 的採訪內容。
  • 如何區分人工智慧、機器學習和深度學習?
    深度學習(Deep Learning)是一種機器學習的方法，它試圖使用包含複雜結構或由多重非線性變換構成的多個處理層（神經網絡）對數據進行高層抽象的算法。神經網絡是一組大致模仿人類大腦構造設計的算法，用於識別模式。神經網絡通過機器感知系統解釋傳感器數據，能夠對原始輸入進行標記或聚類等操作。
  • 超全深度學習細粒度圖像分析:項目、綜述、教程一網打盡
    由於深度學習的蓬勃發展，近年來應用了深度學習的 FGIA 取得了顯著的進步。本文系統地對基於深度學習的 FGIA 技術進行了綜述。具體來說，本文將針對 FGIA 技術的研究分為三大類：細粒度圖像識別、細粒度圖像檢索和細粒度圖像生成。本文還討論了其他 FGIA 的重要問題，比如公開可用的基準數據集及其在相關領域的特定應用。本文在結尾處強調了未來仍需進一步探討的幾個方向以及待解決的問題。
  • 入門| 獻給新手的深度學習綜述
    在本論文中，我們首先簡述過去的研究論文，對深度學習的模型和方法進行研究。然後，我們將開始描述這一領域的最新進展。我們將討論深度學習（DL）方法、深度架構（即深度神經網絡（DNN））和深度生成模型（DGM），其次是重要的正則化和優化方法。此外，用兩個簡短的部分對於開源的 DL 框架和重要的 DL 應用進行總結。
  • 深度學習大神Yoshua Bengio經典前瞻演講,幫你打通深度學習的任督...
    Yoshua Bengio連同Geoff Hinton老先生以及 Yann LeCun教授一起造就了2006年始的深度學習復興。他的研究工作主要聚焦在高級機器學習方面，致力於用其解決人工智慧問題。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一（蒙特婁大學），本文是他在2009年的經典前瞻演講——「人工智慧學習深度架構」有關內容的第一部分。
  • 深度學習在3-D環境重建中的應用
    如圖所示是這個端到端VO系統的架構圖：採用視頻片段或單目圖像序列作為輸入；在每個時間步，作為RGB圖像幀預處理，減去訓練集的平均RGB值，可以將圖像尺寸調整為64的倍數；將兩個連續圖像堆疊在一起以形成深RCNN的張量，學習如何提取運動信息和估計姿勢。具體地，圖像張量被饋送到CNN以產生單目VO的有效特徵，然後通過RNN進行串行學習。
  • 數據科學家必須知道的 10 個深度學習架構
    不同類型的計算機視覺任務各種深度學習架構何為深度學習「高級架構」？與一個簡單的機器學習算法相比，深度學習算法包含了更加多樣的模型。其中的原因是在建立一個完整的模型時，神經網絡具有很大的靈活性。有時，我們還可以把神經網絡比作樂高積木，可以用它搭建任何簡單或者複雜的小建築。
  • 別擔心,這只是3D深度估計做出的特效|深度圖|...
    基於圖像序列進行 3D 場景重建在計算機視覺社區中已有幾十年的研究歷史。毋庸置疑，最簡單的 3D 重建捕捉方式就是利用智慧型手機手持拍攝，因為這類相機很常見，還可以快速覆蓋很大的空間。如果可以利用手機拍攝的視頻實現非常密集、準確的重建，這類技術將變得非常有用。但要做到這一點困難重重。
  • 一場深度學習引發的圖像壓縮革命
    據圖鴨科技 CEO 武俊敏介紹，他們從 16 年 8 月開始對 TNG 技術進行研發，歷經傳統算法和深度學習算法兩個階段。最初，他們在 H.265（HEVC）基礎上進行研究，但 H.265 已經是當時最優秀的編碼方法之一，基於這項技術進行傳統研發的新思路並不多。此時，另一條路擺在他們眼前，那就是深度學習。
  • 深度學習下的醫學圖像分析(二)
    《Medical Image Analysis with Deep Learning Part2》，是最近發表的《深度學習下的醫學圖像分析（一）》的後續文章。 在《深度學習下的醫學圖像分析》系列的第一篇文章中，我們介紹了一些使用OpenCV和DICOM圖像基礎知識進行圖像處理的過程。本文，我們將從「卷積神經網絡」的角度討論深度學習。
  • 圖像識別中的深度學習【香港中文大學王曉剛】
    深度學習是近十年來人工智慧領域取得的重要突破。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域的應用取得了巨大成功。現有的深度學習模型屬於神經網絡。神經網絡的起源可追溯到20世紀40年代，曾經在八九十年代流行。神經網絡試圖通過模擬大腦認知的機理解決各種機器學習問題。
  • 從基本組件到結構創新,67頁論文解讀深度卷積神經網絡架構
    因此，CNN可以通過少量處理從原始像素中學習良好的內部表示。人們發現，通過增加CNN的深度可以增強CNN的表達能力，隨後到來的是使用CNN進行圖像分類和分割的熱潮[21]。當處理複雜的學習問題時，深層架構比淺層架構具有優勢。以分層的方式堆疊多個線性和非線性處理單元，可為深度網絡提供學習不同抽象級別上複雜表示的能力。
  • 前沿研究丨深度學習在醫學超聲圖像分析中的應用
    就結構而言，這些模塊通常是一塊一塊堆疊起來，形成一個深度模型，這樣能夠充分利用輸入的2D或3D圖像的空間與配置信息。通過對輸入圖像進行卷積操作，卷積層共享所有的權重。類似地，Jang等利用一個特別設計的CNN結構從超聲圖像中將圖像塊分類為關鍵解剖結構，然後基於可接受的胎兒腹部平面（即標準平面），再通過基於霍夫變換的橢圓形檢測方法對胎兒AC進行估計。Gao等通過胎兒解剖結構的多標籤分類問題探索了從大規模自然圖像到小規模超聲圖像學習特徵的遷移性。結果表明，遷移的CNN優於那些直接從小規模超聲數據學習特徵的網絡（91.5% vs.87.5%）。
  • 100個深度圖像分割算法,紐約大學UCLA等最新綜述論文
    ，對現有的深度學習圖像分割研究進行梳理使其系統化，並提出6方面挑戰，幫助讀者更好地了解當前的研究現狀和思路。對近幾年深度學習圖像分割進行了全面綜述，對現有的深度學習圖像分割研究進行梳理使其系統化，並提出6方面挑戰，幫助讀者更好地了解當前的研究現狀和思路。可作為相關領域從業者的必備參考文獻。
  • 探索 揭秘深度學習的隱藏層
    人工智慧家編譯，作者 Amanda Montañez在最近的《科學美國人》雜誌上，刊載了一篇題為「深度學習崛起帶來人工智慧的春天