新智元原創
編輯：白峰
【新智元導讀】最近，Facebook和特拉維夫大學的科學家共同提出了一種內容感知人物生成的技術，可以將人物逼真地嵌入到照片中。研究人員採用了三種模型，分別用來感知語義信息、渲染人物、微調表情等，讓新加入的人物完美融入原圖中。
現在的網際網路信息呈爆炸式增長，而圖片和視頻表達的東西更豐富更直接，所以Facebook一直在加碼圖片和視覺AI領域。
Facebook最新P圖AI，將人逼真地嵌入照片
上周在Arxiv.org發表的一篇論文中，Facebook AI Research和特拉維夫大學的科學家提出了一種新的技術，可將人以照片級的解析度插入現有圖像中。
該技術利用AI來創建人的語義圖並估計給定圖片中其他人的姿勢，然後渲染該人的像素並生成與目標人臉相匹配的臉。
論文題目也很有代入感「Wish You Were Here」，出去旅遊拍了很多照片，但是好友沒能同行很是遺憾，有了這個AI系統，只需要一張好友的照片，好友就能隔空加入！
三個模型各司其職，換裝換表情調整姿勢通通不是問題
將人物P到照片中並不難，難的是如何讓新加入的人物看著更真實，在PS中我們需要調整人物色階、飽和度等來適應整體環境，但是人物表情調整起來就麻煩了，更別說和原圖中的人物互動了。
而這個P圖AI可以自適應地完成這些調整，讓照片看起來跟真的一樣。
Facebook研究人員採用了以下三種模型來實現：
本質生成網絡（EGN），用於在新圖像中合成目標人物的語義姿勢信息。
多條件渲染網絡（MCRN），在給定語義姿勢圖和分割目標人物的情況下，渲染現實人物。
面部修飾網絡（FRN），用於修飾生成的面部高級特徵。
EGN
EGN主要用來捕捉圖像中的人與人之間的互動，並提供一種連貫的方式將新人加入圖像。它創建的語義圖能表示背景，頭髮，臉部，軀幹，上肢，上身穿著，下半身穿著，下肢和鞋子等，並且與現有人員的環境相適應。此外，EGN還支持使用自定義輪廓來指定新加入人員的大小和位置。
EGN網絡結構
EGN的效果圖，新人還能自適應地加入群聊
MCRN
至於MCRN，它會學習如何將現實人物渲染並融合到圖像中以創建新圖像，並以可自定義的方式嵌入目標人物的外觀屬性（例如襯衫，褲子和頭髮的顏色）。
FRN
最後，FRN會從該人的原始圖像進行微調來獲得新的面部圖像。
「Wish You Were Here」的效果圖，只需要單張靜態圖片，系統就能自動調整要人物的姿勢和面部表情嵌入到目標圖片中。
「欺騙性」超強，5人以上照片真偽難辨
在實驗過程中，研究人員對來自開源多人解析數據集的20,000多幅隨機選擇的圖像進行了EGN和MCRN訓練，擴增到51,717至53,598個訓練樣本。
志願者負責區分AI系統插入的人與照片中真實的人，平均有43％的正確率，但是當照片中包含5個人以上時，只有28%的志願者能區分開，說明這個AI系統還是有很強的「欺騙性」，尤其在人多的時候。
作者也承認，現在的方法有局限性，即它無法吸引照片中的其他人，並且訓練時沒考慮目標人群及其屬性。
也就是說被嵌入的人物和原片中的人物是缺乏深度聯繫的，會影響照片中人物的整體效果。但他們認為，可以通過提升訓練技術來克服這些問題。
調整過程的一些badcase
總體來看，這個AI系統具備了修改圖像的能力，在保持整體圖像質量的同時還能保持場景的語義信息，可以將目標人物以高解析度添加到現有圖像中。
站在巨人肩膀上，炮製自己的PS
Facebook團隊的工作建立在Google提出的AI系統基礎上，該系統可以根據周圍環境將對象（例如汽車和行人）直接插入照片中。
google 上下文感知和實例替換的論文
前不久，麻省理工學院的研究人員也製作了一種圖像編輯AI，可以實時替換圖像中的背景。
雖然將人物嵌入到圖片不是AI的最佳應用，但對於創意產業來說可是莫大(博客,微博)的福音，因為照片和電影的製作往往十分昂貴。而使用這個AI系統，攝影師可以用數字方式插入演員，而不必花費數小時在圖像編輯軟體中獲得想要的效果。
感興趣的小夥伴可以去找下開源實現，製作一個自己的加人換背景的P圖工具了，重要的是有了AI驅動，可以提升效率成百上千倍！
本文首發於微信公眾號：新智元。文章內容屬作者個人觀點，不代表和訊網立場。投資者據此操作，風險請自擔。
（責任編輯：季麗亞 HN003）