讓模糊圖片變視頻,找回丟失的時間維度,MIT這項新研究就像魔術

2021-01-08 量子位

曉查 發自 凹非寺量子位 報導 | 公眾號 QbitAI

在拍照時我們常常會遇到這樣的苦惱:由於設置的快門時間太長,快速運動的物體會在身後產生嚴重的拖影。

除非是為了特殊的藝術效果,一般來說這張照片就報廢了。

然而來自MIT的研究人員卻告訴我們,拍糊了的照片不要扔,丟給這個神經網絡,還你一份運動視頻。拖影裡包含的信息其實可以找回丟失的時間維度。

他們提出的模型可以從運動模糊的圖像中重新創建視頻。論文第一作者說:「我們能夠恢復這個細節幾乎就像魔術一樣。」

不僅如此,作者還表示,這種模型不僅可以解決時間維度上的損失,還能挽救空間維度上的損失。未來這種技術甚至可能從2D醫學圖像中檢索3D數據,只用一張X光片得到CT掃描的信息。

目前這篇論文已經被計算機視覺頂會ICCV 2019收錄。

恢復視頻並不容易

照片和視頻通常會將時空摺疊到更低維度上,我們將之稱為「投影」(projection)。

比如拍攝X光片,是把3D圖片投影到一張2D底片上,這是空間上的投影。長時間曝光,讓星星在照片上留下常常的軌跡,這是時間上的投影。

投影過程中會丟失信息,下面的向量投影中,我們就損失掉了另一個維度的信息,而且完全無法恢復。

但是大多數物體的尺寸通常比其在圖像中拖影的尺寸小得多,研究人員可以通過投影的信號生成恢復原貌的概率模型。

之前,也是來自MIT一項研究,用一種「角落照相機」的算法可以檢測到拐角處的人。在這樣的場景中,由於邊緣遮擋物的存在,場景的反射光會沿空間維度塌陷。

但是這種算法並不完善,目前僅能根據模糊圖像恢復一些簡單的線條。而最新的這項研究則可以較清晰地恢復物體的原貌。

從模糊中恢復真相

MIT的研究人員收集了一個由35個視頻組成的數據集,其中有30個人在指定區域中行走。他們將所有視頻摺疊成用於訓練和測試模型的投影。

模型從投影中精確地重新恢復了人行走過程中的24幀。而且該模型似乎了解到,隨著時間而變暗和變寬的像素可能對應於一個人在靠近相機。

此外,他們還在人臉數據集FacePlace上進行了測試,從左右擺動高度模糊的圖像中恢復出五官樣貌。

如果圖像中有兩個物體在運動,該算法也能處理。

研究人員讓兩個MNIST手寫體數字相互運動,圖像甚至模糊到連一般人也看不出裡面是什麼,但AI模型不但推斷出了數字的筆畫形狀,還分析出了兩個數字的運動方向。

原理

實現從2D投影到恢復3D時空的的網絡架構如下圖所示:

該網絡有三個參數化函數:qψ(·|·) 表示變分後驗分布,pφ(·|·) 表示先驗分布,gθ(·, ·)表示反投影網絡。z在訓練時從q網絡中採樣,在測試時從p網絡中採樣。

對於後驗分布的參數編碼器q,其中包含一系列3D跨度卷積運算符和Leaky RELU激活函數,以獲得μψ和σψ兩個分布參數。

條件先驗編碼器p以類似的方式實現,因為沒有時間維度信息,它只有2D跨度卷積。

對於反投影函數gθ(x, z),它使用UNet型的體系結構計算x的每個像素特徵。UNet分為兩個階段:在第一階段,應用一系列2D跨度卷積算子提取多尺度特徵;第二階段應用一系列2D卷積和上採樣操作,合成x和更多數據通道。

傳送門

相關報導:

https://www.eurekalert.org/pub_releases/2019-10/miot-rd101619.php

論文地址:

https://arxiv.org/abs/1909.00475

相關焦點

  • 牆面也能變鏡子,只看影子就能還原視頻,MIT新算法讓攝像頭無死角
    如果只讓你看到這樣一段視頻,你能猜出來屏幕上播放的是什麼嗎?最近MIT人工智慧實驗室(CSAIL)開發出的算法可以做到:而真實的視頻是這樣的:算法還原的結果只是模糊了些,但已經能猜出視頻的大致內容了。MIT的這項研究就是僅僅利用這些影子,重新還原隱藏視頻的原貌。算法對場景中的光線傳輸做了預測。下圖左側是通過算法估計出來的陰影,而右側則是實際場景中的陰影。根據光線傳輸的預測和估計,就可以重建隱藏物體的運動情況。例如在下圖中,隱藏在攝像頭視野之外的人,雙手不停的在做著運動。
  • 蘋果6splus丟失怎麼定位找回iPhone6被偷了
    蘋果 6splus丟失怎麼定位找回iPhone6被偷了 蘋果 6splus丟失怎麼找,如何定位找回,關機了怎麼找回?
  • 丟失的記憶能否找回,這一點很關鍵
    男子失憶30年因觀看疫情新聞找到家人  丟失的記憶能否找回,這一點很關鍵  近日,因腦部受傷已經失憶30年的打工者朱家明偶然在收看疫情新聞時,忽然想起了家鄉和親人的相關信息,並在民警的幫助下找到了自己的親人。
  • 南京四天找回丟失放射源
    原標題:南京四天找回丟失放射源   現場探測放射源。南京市環保局微博圖片   丟失的放射源就在一個類似手鍊的密閉容器裡。視頻截圖   事發單位的大門。視頻截圖。   10人輪番作業挖出銥-192   10日下午,南京市環保局稱,專家核實被尋找定位的放射核素的特徵值與丟失的銥-192源一致,確認已被鎖定在2平方米範圍內的就是一度丟失的銥-192。   由於當地地形複雜,雜草叢生,放射源近似黃豆大小,且技術人員不能長時間近距離尋找。現場指揮部決定在現場設置晝夜高度警戒區域,並採取安全防範措施。
  • 奇門遁甲丨預測丟失物品能否找回(實戰案例)
    奇門遁甲預測丟失物品能否找回各位小主大家好,又和大家見面啦,今天我們就來分享一期關於預測物品丟失的一個案例,順便再教一下大家在對於這一類事物的預測時的一個整體的思路。在日常的生活中,我們總是能夠碰到這種比較重要的物品,突然丟失就找不到的現象,有些物品甚至價格昂貴或者意義非凡,對於我們來說非常重要。但是漫無目的地去找也不是上佳之策,大部分都是早浪費時間的同時還影響著我們的心態。那麼這一期,簡單的教大家一個奇門遁甲判斷方法。
  • MIT新研究表明,和餓肚子一樣!
    在這項實驗中,Livia Tomova博士和同事們招募了40名健康的年輕志願者,每次讓志願者獨自在一間連窗戶都沒有的房間裡,從早上9點呆到晚上19點,徹底地社交隔離。手機?自然不準用。
  • 振鈴/鎖定/清除 Lumia1520丟失也能查找
    不過事實上目前智慧型手機上都已經有各種可以找回丟失手機的方法。此前我們為您詳細介紹過iOS平臺查找我的iPhone應用,但很多人不清楚其實在Windows Phone平臺這項服務也有所涉及。本文我們就以諾基亞Lumia1520為例,為您介紹一下如何找回丟失的手機。
  • QQ空間照片為什麼變模糊 qq空間圖片變小不清晰解決方法
    QQ空間照片變模糊應該是伺服器轉移是用底層代碼操作的,每一次的伺服器升級的會轉移用戶的文件,但是伺服器傳輸文件有容量大小的限制,加上壓縮加速,估計從一代升級二代的時候,文件開始失真,越大的文件失真越明顯。
  • 看魔術師設計魔術 比看魔術精彩多了
    ▲ 視頻《魔法爸爸》。 圖片來自:YouTube這個『魔術世界』裡,有很多天馬行空的妙想。例如,總也吃不完的食物,找不到硬幣把一旁的井蓋變過來,跳進家裡的浴缸體驗深海潛水等等。當然還會有各種惡作劇,針對去年一度流行的『變老相機』FaceApp,Zach 用視頻發問:『還玩?萬一變不回去怎麼辦?』
  • MIT用「銀-矽-銅合金」模擬突觸,造出記憶力超強的晶片
    研發團隊還說,這項技術最終能讓手機等便攜設備擁有超算一樣的性能,甚至不怎麼費電、不需要聯網。真可謂超算一指尖,滿滿想像力。這項研究發在了《自然-納米技術》上。憶阻器:扮演突觸的電晶體這項新技術的關鍵銅既可以與銀結合,也可以與矽結合,就像一座橋梁,連接了銀和矽兩端。單個的憶阻器就造好了,然後他們在一平方毫米的矽片上放了上萬個憶阻器,組成了一個晶片。
  • MIT新技術:一根探針成像多個神經元,讓神經元放電「看得見」
    來新智元AI朋友圈來聊聊你對本研究的看法吧~ 麻省理工學院和波士頓大學的研究人員最近研究使用一種螢光探針,能夠在大腦細胞處於電活動狀態時點亮,可以立即對小鼠大腦中多個神經元的活動進行成像。 麻省理工學院的腦科學和認知科學神經技術教授、兼生物工程學教授Edward Boyden表示,只需要使用簡單的光學顯微鏡,即可實現這項技術。
  • 親歷賊贓iPhone流通鏈-親歷,賊贓,iPhone,流通鏈,丟失,找回我的...
    補救措施:1)查找我的iPhone在丟失手機的第一時間,我啟動iCloud查找我的iPhone定位,果不其然,設備早已離線。由於手機設置了鎖屏密碼,倒是不擔心隱私外洩,但還是啟動了丟失模式,並「奉上」我的手機號碼供其聯繫。可能有些網友不太了解丟失模式,所以這裡多說兩句。
  • 騰訊優圖CVPR 2018論文:圖片去模糊及快速肖像處理等多項技術解讀
    解密運動模糊:走向實用的非特定場景圖片去模糊技術在慢速曝光或快速運動拍攝照片時,圖像模糊常常困擾著照片拍攝者。優圖實驗室的研究人員開發了可以恢復模糊圖像的有效新算法。在此之前,圖像去模糊一直是圖像處理中困擾業界的難題。圖像模糊產生的原因可能非常複雜。比如,相機晃動,失焦,拍攝物體高速運動等等。現
  • MIT科學家揭示神秘過程
    但他們驚訝地發現,那些變鬆散的區域都不是編碼基因的片段,而是包含了一些被稱為「增強子」(enhancer)的非編碼序列。這些序列服務於特定基因,有助於啟動基因。 另一位專家在評論中對記憶的形成過程打了一個比方:「這就像在鍛鍊之前進行熱身,它們(印跡細胞)做好了起跑的準備,於是我們可以啟動回憶。」
  • 揭秘真正的魔術鴿,魔術師變魔術用的不是白鴿,那是什麼?
    不論是在電影還是漫畫裡,每當我們看到魔術師將鴿子從帽子裡變出來時,都會感到嘖嘖稱奇。不過你知道嗎?魔術師變魔術使用的其實不是白鴿,而是與白鴿外形相似且經過訓練的白斑鳩。所以千萬不要因為好奇去隨便找一隻白鴿來變魔術,否則百分百穿幫!
  • 拍視頻也能實時人像美顏,OPPO這項新技術到底有多強?
    據了解,OPPO FDF全維人像視頻技術系統,是通過感知人像引擎和畫質增強引擎兩大維度,分別對人像主體和畫面背景進行針對性的優化其中AI人臉檢測/人臉關鍵點檢測,採用了深度可分離卷積模型,能夠做到高達99.78%的AI人臉檢測準確率,在拍視頻時即使是複雜的環境也能更快更精準的識別捕捉到人臉。而AI超清人像功能,則可以對原本模糊的畫面進行處理,得到更清晰、細節表現更細膩的畫面,實現更高質量的視頻。
  • 參宿四變暗?要爆炸嗎?新天文圖片為您揭秘!
    這次很有可能只是一次正常星變,參宿四將回到其常規亮度。沒錯,我明白因為參宿四在650光年以外,所以任何在它表面發生的事情都發生在幾百年以前。但天文學家談論一次事件是基於他們觀測結果,而非光到達我們這裡需要多長時間,因為相對於同一事件以不同速度觀測的觀察者將測出不同的經過時間。
  • 宇宙到底有多少個維度?
    △ 如果將一個四維的球體穿過三維世界,我們會看到一個三維球體,從小變大再變小。(圖片來源:PBSinfinite)接下來,我們想要探討的是物理學家是如何得出這個結論的。【三維世界】三維語言看起來比(四維)更加適合用來描述我們的世界。
  • 抖音重新登錄變新號怎麼回事? 手把手教你找回老號
    抖音重新登錄變新號怎麼回事? 手把手教你找回老號時間:2018-06-15 17:50   來源:皮皮網   責任編輯:沫朵 川北在線核心提示:原標題:抖音重新登錄變新號怎麼回事?手把手教你找回老號 那就是自己登錄之後變成了信號,老號不見了的現象,因此想知道的小夥伴們,就讓小編給大家詳細的講講,一起來看看吧。 抖音重新登錄找回老號方法介紹 當用戶曾經卸載了抖音,之後又重新下載回來,通過原來的   原標題:抖音重新登錄變新號怎麼回事?
  • 大變活人魔術揭秘-蒙面魔術師11
    蒙面魔術師11大變活人魔術表演:上傳中……明天發揭秘視頻,但是如果您轉發此篇文章到您的朋友圈