牆面也能變鏡子,只看影子就能還原視頻,MIT新算法讓攝像頭無死角

2021-01-10 量子位

邊策 十三 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

你在看電影,牆上的影子也在動。如果只讓你看到這樣一段視頻,你能猜出來屏幕上播放的是什麼嗎?

最近MIT人工智慧實驗室(CSAIL)開發出的算法可以做到:

而真實的視頻是這樣的:

算法還原的結果只是模糊了些,但已經能猜出視頻的大致內容了。

有了這套算法,就可以通過觀察視頻中陰影和幾何圖形之間的相互作用,預測出光在場景中的傳播方式,然後從觀察到的陰影中估計隱藏的視頻,甚至看出人的輪廓。

這種圖像重建算法會有許多用途:自動駕駛汽車可以了解拐角處正在發生的事情,監控攝像頭也可以發現在視線外的人。該論文已經被最近召開的NeurIPS 2019大會所收錄。

根據影子,還原看不見的死角

在下面這個場景中,人擺弄玩具的鏡頭被隱藏,在人們正常視野範圍內是無法看見的。

我們唯一能夠捕捉到的就是打在牆上的影子。

MIT的這項研究就是僅僅利用這些影子,重新還原隱藏視頻的原貌。

算法對場景中的光線傳輸做了預測。

下圖左側是通過算法估計出來的陰影,而右側則是實際場景中的陰影。

根據光線傳輸的預測和估計,就可以重建隱藏物體的運動情況。

例如在下圖中,隱藏在攝像頭視野之外的人,雙手不停的在做著運動。

而我們能夠觀察到的只是圖中左側單個物體中光影的變化。

就是利用這樣簡單的光影變化,便可以重構出如圖中右側的視頻。

與隱藏視頻相比,重構的視頻已經可以大致再現雙手運動的輪廓。

根據房間雜物亂七八糟的影子,同樣也可以還原下圖隱藏視頻中人物走動的大致輪廓。

當然還有這樣的。

以及這樣的。

總體來說,MIT的這次研究,能夠根據隱藏視頻中的內容將光線傳輸分離出來,從而對它做一個大致的估計。

原理

圖像的影子具有線性疊加的特性。如果依次點亮隱藏的屏幕上的兩個像素,並牆上的影子圖像求和,結果應該和一次同時點亮兩個像素時得到的圖像相同。

從數學上來看,無論是牆上的影子,還是屏幕上的畫面,都是矩陣。而符合線性疊加的特性,等於是在這兩個矩陣之間做線性變換。

我們不妨把這二者別看做兩個矩陣Z和L,經過空間傳輸,畫面L變成了影子Z,這就相當於做了一次矩陣乘法,T是空間傳輸矩陣。

Z=TL

問題是我們只看到了影子Z,對於T和L,我們一無所知。

這篇論文的第一作者Miika Aittala說:「這就像是我告訴你,我正在考慮兩個秘密數字,它們的乘積為80。你能猜出它們是什麼嗎?也許是40和2,或是371.8和0.2152。」

對於這個問題也是類似,而且我們在每個像素上都會有一樣的困擾。如何求出傳輸矩陣T成了問題的關鍵。

如果我們知道了光傳輸矩陣,那麼求原圖像L的操作就變成了最小化||Z-TL||2的最小二乘法問題。

作者通過DCT和PCA方法測量了T,然後通過求逆的方法恢復了原始圖像。

因此知道了T,接下來恢復圖像就好辦了。

但是這篇文章要挑戰更高的難度:如何在不知道T的情況下恢復圖像。他們使用了去年一篇Deep Image Prior論文中的新的矩陣分解方法。

這篇文章曾經被CVPR 2018收錄,在inpainting問題上收到了不錯的效果。

過去也有一些矩陣分解方法,但是分解得到的矩陣一般都是低秩的,與圖像差別很大,而且對初始值和優化的動力學都高度敏感,只能針對特定問題量身定製。

而作者使用的矩陣分解方法裡,CNN隨機初始化並「過擬合」,將兩個噪聲矢量映射到兩個矩陣T和L,使它們的乘積與輸入矩陣Z匹配。此過程將因式分解正則化為更接近於圖像的結構。

結合上面的思想

Deep Image Prior

作者首先描述了一種基線方法,在知道Z和L的情況下求T,其實就是求||Z-TL||2最小值的最小二乘法問題。

使用了Deep Image Prior的方法,作者提出了一種在無法測得的光傳輸矩陣時,逆向求原圖像的方法。逆向光傳輸矩陣的體系架構和數據流動如下圖所示:

其中左下角是存儲在U中的左奇異矢量的一個樣本。L和Q是兩個卷積神經網絡,其餘塊是多維張量或矩陣,其尺寸顯示在邊緣。

L和Q生成各自矩陣的卷積神經網絡中張量,然後在隨後的網絡操作中將結果重整為堆疊的矩陣表示形式,以便評估矩陣乘積。

傳輸矩陣T的分量可以表示為從輸入視頻的奇異值分解(SVD)獲得的基本圖像的線性組合。這樣做計算效率高,又通過限制迭代和位於有效分解子空間中的解來指導優化。

通過輸入Z預先計算的截斷奇異值分解UΣVT帶入到上面的網絡中,計算出T,再將計算的TL與Z對比求得損失。

因此問題的核心就變成了用CNN得出Q,使得(UQ)L≈Z。

代碼已開源

這麼好玩的技術,代碼當然開源啦~

GitHub連結如下:

https://github.com/prafull7/compmirrors

這份文檔中列出了「矩陣分解」和「光線傳輸分解」的實現方法。

安裝

gitclonehttps://github.com/prafull7/compmirrorscdcompmirrors

配置要求:Python 3.7,以及還需要torch=1.0.1.post2、matplotlib、scipy、visdom等包。

矩陣分解

這步的實現代碼在factorization_1d.py文件。可用如下代碼運行:

pythonfactorization_1d.py-T./data/inputs_1d/lightfield.png-L./data/inputs_1d/tracks_bg.png-o./outdir_1d

光線傳輸分解

一次性訓練實現代碼在factorization_light_transport.py文件。可用如下代碼運行:

exportFACTORIZE_DATA_DIR=/path/to/where/data/folders/exportFACTORIZE_OUT_DIR=/path/to/output/directorypythonfactorization_light_transport.py-d./data/light_transport/-fFOLDER_NAME-dsDATASET_NAME-sSEQUENCE_NAME-devDEVICE_NUMBER

依舊是「雞生蛋,還是蛋生雞」問題

雖然這項技術能夠重建被隱藏的內容,但是用戶還是需要提前知道被隱藏的東西是存在的。

用數學的角度來打個比方。

A和B相乘得80,讓你來猜A和B分別是哪兩個數字。

可能是40和2,也可能是371.8和0.2152。

在重建工作中,每個像素都會遇到這樣的問題——有多種選擇。

要讓計算機來做選擇,那它就會做最簡單的事情,得到的結果就是隨機的圖像。

因此需要規定的算法來做訓練。

在此之前,量子位也曾報導過,通過牆壁漫反射的光影,來重建原始畫面。

牆上的漫反射如下圖所示:

算法還原的圖像則是:

這個圖像還原實驗是,在房間中間隨手放置了一個不明位置的遮擋物體,可以是一塊不發光的板子,也可以是隨手拽過來的一把椅子,阻擋一部分光線到達牆壁。

而這次是完全根據牆上的影子來做圖像還原工作。

通過影子的變化可以大致了解房間裡隱蔽區域發生了哪些運動。

研究人員同時也對接下來的工作做了展望:

未來,希望能夠提高系統的總體解析度,並最終在不受控制的環境中測試該技術。

傳送門

博客:

https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206

論文:

https://arxiv.org/pdf/1912.02314.pdf

代碼:

https://github.com/prafull7/compmirrors

數據:

http://compmirrors.csail.mit.edu/data/dots-sequence.tar

相關焦點

  • 利用光傳播和陰影MIT新算法還原遮擋物,鏡頭無死角
    、了解複雜而險惡的道路,甚至可以用影子看到拐角處。七年前,MIT研究人員就開發了一個成像系統,該系統能以地板、門和牆壁為「鏡子」,「看到」人眼視線之外的場景信息。系統利用了一種叫做飛秒雷射(femtosecond laser)的裝置,這種裝置能發出非常短的光脈衝,持續時間以百萬分之一秒為單位。
  • 全景雲臺無死角 螢石C6H網絡攝像頭評測
    螢石網絡攝像頭同樣用後多項的視頻技術,螢石C6H也擁有全景雲臺、雙向語音、紅外夜視、移動追蹤等等的功能。▲螢石C6H雲臺  螢石C6H採用全景雲臺,雙馬達設計,水平、垂直雙方向轉動,保證360度全視野無死角。用戶可以通過螢石雲視頻手機APP隨意控制C6H鏡頭轉動。
  • 鏡子有像素嗎?為何手機攝像頭,做不到和鏡子一樣的效果?
    目前,手機前置攝像頭的像素都已經達到3000萬了,把手機前置攝像頭當鏡子用,效果卻並不理想。那麼鏡子有像素嗎?為什麼手機攝像頭不如鏡子? 鏡子反射的光到達人的眼睛,我們才能看到鏡子中的畫面,也就是周圍物體的影像。而鏡子並不能完全反射周圍物體的光線,部分光子會被鏡子吸收。
  • 鏡子有像素嗎?為什麼手機攝像頭做不岀鏡子那樣的效果?
    目前,手機前置攝像頭的像素都已經達到3000萬了,把手機前置攝像頭當鏡子用,效果卻並不理想。那麼鏡子有像素嗎?為什麼手機攝像頭不如鏡子?鏡子只能反射光線,沒有像素的概念鏡子反射的光到達人的眼睛,我們才能看到鏡子中的畫面,也就是周圍物體的影像。而鏡子並不能完全反射周圍物體的光線,部分光子會被鏡子吸收。因此經過鏡子反射後的畫面相對於人眼直接看到的畫面存在畫質損失。鏡子中的畫面清不清晰與人的視力有關。
  • 文能賣萌武能守家,華為海雀AI全景攝像頭
    在線看小孩?隨著大家對安全意識的提高,還有工作與家庭難易平衡的困難,大家選擇居家安防產品的要求也越來越高。作為華為生態鏈中的一款居家安防產品,華為海雀AI全景攝像頭則融合了華為在安防領域的很多高科技。推薦理由一:強強聯合大家都知道華為產品很厲害,不僅僅是產品使用感好,更是因為華為自主研發的晶片厲害,這款攝像頭搭載的就是華為海思晶片與雲算法,擁有強大的雲端計算能力。另外,海雀科技以智能服務及視頻採集技術為核心。
  • 360°無盲點的「AR太空頭盔」,撒歡兜風視野無死角!
    再配合騎行頭盔後方裝置攝像機,把圖像投影至前端的抬頭顯示器,達到360度無死角的效果,增加安全性。這就是為什麼這款頭盔配備了後視攝像頭的原因。相機與寬視野遮陽板相結合,可提供更多的道路視野,消除盲點,實現最佳360°視野。
  • 德國研發「無臉」識別 挑戰像素新底線—新聞—科學網
    無臉識別」。報導稱,如果只提供一張臉部清晰的照片,那麼這套系統辨識模糊圖片時的準確率為69.9%,但是如果可以提供10張臉部清晰的照片供機器選擇,那麼準確率可提高到91.5%。 即便是照片中臉部沒正面對鏡頭,系統也能透過髮型、服飾、體型和慣用姿勢就能正確辨識,辨識正確率達83%。不過,當把欲辨識照片中的臉部以黑色方塊完全遮住、且照片分別在不同場合拍攝,準確率降到只剩14.7%。
  • 網友爆料:城市便捷酒店出現「針孔攝像頭」?真相是
    若不雅視頻流出還會給事主造成惡劣的社會影響,同時酒店的名聲也會嚴重受損。別有用心之人總能將這種針孔攝像頭藏匿在隱蔽的角落,儘管酒店也有工作人員定期進行排查,卻無法杜絕這種違法和不道德的 行為。我們來看看這次爆出的事件中,那個有嫌疑是針孔攝像頭的東西吧。
  • 坐在影廳裡看電影 會有360度無死角紅外線夜視攝像頭對著你?
    「電影院幾乎在每個角落都設置了紅外線夜視攝像頭,還是360度無死角的。」有網友說。  無數網友表示驚嘆和聞所未聞。昨天,相關帖子也在網上流傳得非常熱。  事實果真如此嗎?  網上流傳的影廳監控室畫面和攝像頭位置,和記者實地探訪看到的差不多。
  • 各種握姿信號無死角 Reno天線設計大有玄機
    相信很多用手機打遊戲、看視頻的朋友都遇到過這樣的問題:手握到手機某個部位時,信號會變得特別差,嚴重影響網速,給網路遊戲體驗和在線視頻的觀看帶來顯著影響。其中原因就在於,橫握手機時手遮住了天線,影響了手機信號的收發。
  • 實時追蹤360°無死角——螢石C6H智能攝像機測評
    如今,將近一年時間的技術迭代,相比較最初的智能攝像頭,也有了更多功能的提升,耳朵君也找到了一個據說可以接近360度環繞視角,沒有盲區的攝像頭——C6H雲臺攝像機。外觀:抬頭四十五度仰望地面,你在哪兒我都看得見C6H給我的第一感覺就是很萌,圓圓的胖胖的,偶爾還會抬頭四十五度仰望天空。無論從什麼角度看過去都非常的可愛。
  • 矽谷望遠鏡|1 秒能做什麼?AI 能還原一個三階魔方
    周三晚上好,《矽谷望遠鏡》是一檔新的欄目,這是我們的第一期,我們希望能在每一期帶給你們新鮮有趣的全球科技資訊。那麼,就讓我們一起享用《矽谷望遠鏡》的第一期吧。最後 DeepCubeA 解決了全部測試題,並且在 60% 的時間內找到了最快路線,現在它只要約 20 步就能還原魔方,而擅長還原的人則大概需要 50 步。相比努力學習的 AI,還有那麼多的人會花幾個小時盯著同一件事而拿不出解決辦法,總有種被 AI 打敗了的挫敗感呢。
  • 家庭新成員華為海雀AI全景攝像頭開箱
    家裡孩子小時侯有一個攝像頭,主要的用途就是上班出差時也可以遠程的看看寶寶,當時也沒有其它要求,效果也一般,一直想換一個,又可以看孩子,又可以當一個家中的監控使用,後來各種的安全原因一直沒買,經過各廠商的努力安全有了改變,最近綜合對比了一下,入手了華為海雀AI全景攝像頭,今天交個開箱作業。
  • 這款投影儀讓你開機就能看視頻
    但除開這些,你是否聽說過當貝F3家用投影儀,新一代懶人神器,讓你開機就能開視頻,不信,咱就繼續往下看。懶人第一步,解放放手。總之一句話,打開就能看。當貝F3投影儀採用4矽麥矩陣、更精準的回音消除技術和降噪算法,全方位360°的精準操控遠場語音,讓你只需開口便可觀看同步更新的海量劇集,愛奇藝、芒果TV、騰訊、優酷、嗶哩嗶哩等更是隨便看,還有貼心2倍速,讓你高效刷劇不熬夜。聲臨其境的感覺你感受過嗎?
  • 僅僅1200萬像素 新iPhone攝像頭還有何玄機?
    但是,注意,新iPhone的每一個攝像頭(包括前置)均能拍攝4K 60P規格的視頻,並且基於蘋果的算法,視頻錄製時能夠實現畫面順暢無縫切換,因此具備普通手機難以企及的整體清晰度與機動性。前置攝像頭支持慢動作拍攝,吹個頭髮也能玩出花來~    而在慢動作視頻方面,新iPhone的前置攝像頭也支持全高清120P拍攝了,意味著用戶在自拍視頻時也能玩慢動作。
  • 鏡子下載_鏡子手機版下載_鏡子安卓版免費下載-太平洋下載中心
    需要補妝.只需打開鏡子應用,就能照亮你的美.想看看側臉的樣子.想從後面看看自己樣子.只需對準暫停,拿到面前仔細觀察.拍不出來滿意的自拍.對著鏡子做出滿意的表情,暫停,滿意就可以拍下來,不滿意重新來,現在就開始定格完美的瞬間.
  • 英飛睿紅外光電雷達系統無死角晝夜監控,機場油田港口周界安防!
    同時,海量的視頻信息篩選工作量導致人工監視視頻畫面存在遺漏的風險。除此以外,傳統監控器有限的監控視角,導致常規安防系統缺乏對入侵目標全程探測和跟蹤能力。作為傳統監控系統的全新替代產品,XSENTRY系列紅外光電雷達系統具有高效的區域探測能力的同時,可搭配可見光、雷射測距、雷達等設備,鞏固安防體系薄弱環節,為您提供全方位安防解決方案。
  • 衛生死角變「口袋公園」,寧波這個社區的微景觀火了
    衛生死角變「口袋公園」,寧波這個社區的微景觀火了 2020-06-09 18:20 來源:澎湃新聞·澎湃號·政務
  • 家中有寶寶可以裝一個遠程保護攝像頭-華為海雀AI全景攝像頭
    社會在進步,科技在發展,隨著AI應用於各個領域,人們安全意識不斷提高,家居安防攝像頭產品也越來越受到人們的歡迎。市面上居家攝像頭門類眾多,可以說是非常的泛濫,今天給大家推薦一款華為智選新推出的產品—海雀AI智能攝像頭。它具有AI智能偵測,360°雲臺全景環視,1080P超清紅外夜視,一鍵直呼等多種功能。下面咱們就看看這臺AI智能攝像頭表現如何?
  • 夫妻兩人入住酒店 房間裡竟有攝像頭 拍攝的視頻被售賣到網上
    近日,山東警方打掉了一個在酒店安裝攝像頭,偷拍視頻並在網上售賣的團夥,偷拍的視頻涉及全國多個地方。一時間酒店房間被裝攝像頭的事推上了風口浪尖。去年11月21日晚上,蘇先生和愛人入住南寧市衡陽東路的一家酒店。