新AI相機：通過光子時間差構建3D圖像，單像素成像、每秒可達1000幀

2020-08-18 鈦媒體APP

圖片來源@視覺中國

文丨學術頭條

想像一下這樣的場景，對動物大聲喊叫，然後就能從回音中分辨出它是狗還是馬。也許你會以為這樣的事情離我們很遙遠，但是一個科學團隊已經完成了這種攝影效果。

近期發表在 Optica 期刊上的一篇新論文中，英國、義大利和荷蘭的研究人員描述了一種全新的製作動畫 3D 圖像的方法：通過捕捉光子的時間信息，而不是其空間坐標。

研究人員通過調整光線反射到一個探測器上的時間，來提取出一個場景的三維圖像，這項被稱為時間成像的新技術展示了一種機器學習的重要用途。

時間成像系統比普通成像具有一定的優勢。例如，新系統取像會非常快，可能以每秒 1000 幀的速度工作；而且這種粗略而快速的 3D 成像可能具有多種應用，如用作自動駕駛汽車的攝像頭，以提高尋路的準確性和應急速度，以及用於行動裝置和健康監視器發展 360° 感知能力；最重要的是，這種收集時間數據的單點探測器體積小、重量輕且價格便宜。

單像素成像

照片和視頻通常是通過使用數字傳感器捕獲光子（光的組成部分）來製作的，即環境光會反射物體，鏡頭將它聚焦在由微小的光敏元件或像素組成的屏幕上。圖像是由反射光產生的亮斑和暗斑形成的圖案。

以最普通的數位相機為例，它由數百像素組成，這些像素通過檢測光在每個空間點的強度和顏色來形成圖像。

同時，可以通過在物體周圍放置若干個攝像機，並從多個角度對物體進行拍攝，或者利用光子流掃描物體，並在三維中重建它來生成 3D 圖像。但無論使用何種方式，圖像都是通過收集場景的空間信息來構建的。

近幾十年來，研究人員發明了一種更巧妙的方法，僅利用單個像素探測器即可捕捉到圖像。為了做到這一點，他們不是把物體暴露在均勻的光照下，而是暴露在不同的光照模式下，這些閃光類似於包裝上的方形條形碼。

每個圖案都會反射出物體的不同部分，因此像素測量的光強度會隨圖案的變化而變化。通過跟蹤這些變化，研究人員可以重建物體的圖像。

人工智慧驅動的新型相機

現如今，格拉斯哥大學的數據科學家 Alex Turpin 和物理學家 Daniele Faccio 及他們的同事，發明了一種方法來生成具有單個像素但是沒有圖案化閃光的 3D 圖像。他們利用閃電般快速的單光子探測器，以均勻的閃光照亮了一個場景，並簡單地測量了反射時間。

探測器的精度為四分之一納秒，可以計算出到達的光子數量與時間的函數關係，研究人員僅憑這些信息即可重建場

這是一種新奇的方法，因為原則上場景中物體的排列和時間信息之間沒有一一對應的關係。例如，從探測器 3 米遠的任何表面反射的光子，無論朝向表面的任意方向，都將在 10 納秒內到達。

而所謂的飛行時間相機可以增加深度，通過精確計算從物體反射到不同像素的閃光時間來製作 3D 圖像。

新型的 3D 成像設備從一個簡單、廉價的單點檢測器開始，這種探測器被調整為充當光子的秒表。與測量顏色和強度空間分布的相機不同，探測器僅記錄由瞬間雷射脈衝產生的光子從任意給定場景中的每個物體反彈併到達傳感器所需的時間。物體距離越遠，每個反射光子到達傳感器所需的時間就越長。

有關場景中反射的每個光子的時間信息（研究人員稱為時間數據）都收集在一個非常簡單的圖表中。

然後，藉助複雜的神經網絡算法將這些圖轉換為 3D 圖像。研究人員對算法進行了訓練，向它展示了團隊在實驗室中移動和攜帶物體的數千張常規照片，以及同時由單點檢測器捕獲的時間數據。同時，他們還使用了一個非飛行時間的攝影機來拍攝場景的真實 3D 圖像。

最終，這種神經網絡已經足夠了解時間數據與照片的對應關係，從而僅憑時間數據就可以創建高度準確的圖像。它與飛行時間相機相比，時間圖像模糊且缺乏細節。然而，卻清楚地揭示了人們的形態。

新型成像系統或將引發相機革命

加州大學伯克利分校的計算機科學家兼電氣工程師 Laura Waller 表示：「乍一看，這種模稜兩可的方法似乎使問題無法解決。單像素成像，當我第一次聽到這個概念時，我想，這應該行得通。但仔細一想，這應該不起作用。」

格拉斯哥大學計算科學學院數據科學研究員 Alex Turpin 博士說：「如果我們只考慮空間信息，而單點探測器沒有空間信息，所以單像素成像是不可能的。然而，這樣的探測器仍然可以提供有價值的時間信息。與傳統圖像製作不同的是，我們的方法能夠完全將光與過程分離。」

而且為了能實現這一目的，Alex Turpin及其同事採用了一種稱為神經網絡的機器學習程序，在使用數據集訓練神經網絡後，該程序能夠自行對場景中移動的人進行成像。

與傳統的攝像機不同的是，收集時間數據的單點探測器體積小、重量輕且價格便宜，這意味著它們可以輕鬆地添加到現有系統中，例如被用作自動駕駛汽車的攝像頭，以提高尋路的準確性和剎車反應速度。

另外，它們可以增強行動裝置中現有的傳感器，例如 Google Pixel 4，該傳感器已經具有基於雷達技術的簡單手勢識別系統，甚至可以用下一代技術來監視醫院患者胸腔的上升和下降，提醒著患者的呼吸變化或跟蹤運動，從而用符合數據安全的方式了來確保他們的安全。

Alex Turpin 博士補充說：「我們對自己開發的系統的潛力感到非常興奮，我們期待著繼續挖掘其潛力。我們的下一步目標是開發一個獨立的、可攜式的即裝即用系統，我們迫切希望開始研究我們的選擇，並通過商業合作夥伴的幫助進一步開展研究。」

https://www.sciencemag.org/news/2020/08/time-camera-generates-3d-images-echoes-light

https://phys.org/news/2020-07-imaging-pictures.html

https://www.osapublishing.org/optica/abstract.cfm?uri=optica-7-8-900

相關焦點

  • AI將光子時間轉換成3D圖像，通過時間來可視化世界
    ：通過捕獲有關光子的時間信息而不是空間坐標來成像。3D圖像，成像速度快在我們生活中，照片和視頻通常是通過使用數字傳感器捕獲光子（光的構建基塊）來製作的。比如，數位相機由數百萬個像素組成，這些像素通過檢測空間每個點的光的強度和顏色來形成圖像。 然後，通過在拍攝對象周圍放置兩個或更多攝像機可以從多個角度對其進行拍攝，或者通過使用光流掃描場景並將其重構三維來生成3D圖像。
  • 打開新世界大門一一AI將光子時間轉換成3D圖像
    近期發表在Optica期刊上的一篇新論文中，英國、義大利和荷蘭的研究人員描述了一種全新的製作動畫3D圖像的方法：通過捕捉光子的時間信息，而不是其空間坐標。研究人員通過調整光線反射到一個探測器上的時間，來提取出一個場景的三維圖像，這項被稱為時間成像的新技術展示了一種機器學習的重要用途。
  • 這個AI系統僅憑光回聲就能得到3D圖像
    這幅圖像是由反射光所形成的亮點和暗點的集合。相比之下，一種名為「飛行時間相機（time-of-flight camera，ToF camera）」的設備可以為圖像加上深度信息，通過計算物體反射回來的一束光到達不同像素的精確時間來生成 3D 圖像。最近幾十年來，研究人員創造了很多精妙的方式，來使用單像素檢測器捕捉圖像。
  • 每秒1000億幀的超高速3D視覺相機，有望破解更多物理學謎團
    加州理工學院光學成像實驗室汪立宏（Lihong Wang）教授領導的研究小組，之前開發了一種被稱為壓縮超快攝影（CUP）的動態成像技術，該技術不使用任何機械或光學掃描機制，而是利用一種條紋相機進行快速二維成像。
  • 每秒4萬億幀相機,把光拍成黑客帝國子彈
    通俗地理解，這等於是一臺每秒4萬億幀的超快相機，光譜解析度達到了亞納米級（1米=10的9次方納米），刷新超快成像記錄。「電子學有很多物理效應，使得時間解析度不能超過納秒水平（1秒=10的9次方納秒=10的15次方飛秒），要到納秒以下，只能通過光子的能力。」 陳烽介紹道。 1980年代，加州理工學院教授艾哈邁德 澤維爾（Ahmed H. Zewail）基於抽運-探測（Pump-probe）技術提出了飛秒化學，使人們對於超快過程的研究延伸到了飛秒尺度。
  • 超快紫外線攝影相機,每秒可達0.5萬億幀 | OE NEWS
    ，能夠在紫外線範圍內實時成像光子。據INRS應用計算成像實驗室的Liang教授稱，必須使用較短波長才能對短時間內發生的事件進行成像，因為它們通常在很小的空間範圍內發生。「像標準相機一樣，我們的技術是被動的。它不發光，只是接收光。」梁說。「因此，我們的光電陰極必須對紫外線發出的光子敏感。這種設計使我們的技術成為一個獨立的系統，可以輕鬆地集成到各種實驗平臺上。」
  • 中國光學十大進展|每秒4萬億幀相機,把光拍成黑客帝國子彈
    通俗地理解，這等於是一臺每秒4萬億幀的超快相機，光譜解析度達到了亞納米級（1米=10的9次方納米），刷新超快成像記錄。利用CUST記錄的飛秒雷射直線傳播、自聚焦以及反射的超快過程影像。「電子學有很多物理效應，使得時間解析度不能超過納秒水平（1秒=10的9次方納秒=10的15次方飛秒），要到納秒以下，只能通過光子的能力。」 陳烽介紹道。1980年代，加州理工學院教授艾哈邁德澤維爾（Ahmed H. Zewail）基於抽運-探測（Pump-probe）技術提出了飛秒化學，使人們對於超快過程的研究延伸到了飛秒尺度。
  • 高速視覺傳感器可捕獲快速移動物體,以每秒1000幀的速度進行檢測和...
    打開APP 高速視覺傳感器可捕獲快速移動物體，以每秒1000幀的速度進行檢測和跟蹤 工程師黃明星 發表於 2018-07-23 10:36:00
  • 深圳大學刷新超快高空間解析度成像記錄：每秒15萬億幀有效幀率
    在15Tfps的單鏡頭模式下記錄的超快旋轉光場的四幀圖像在攝影的各種參數中，微觀超快動態過程的連續成像需要高幀率和高時空解析度。在目前的成像系統中，這些特性是相互取捨的。然而，中國深圳大學的科學家們最近開發出了一種全光學超快成像系統，它具有高空間和時間解析度，以及高幀率。
  • 每秒4.4萬億幀!這樣的高速攝影太恐怖-高速攝影,4.4萬億幀,每秒...
    高速相機的原理想要進行高速攝影，就需要依靠高速相機，後者是工業相機的一種，具有高圖像穩定性、高傳輸能力和高抗幹擾能力的優勢。不過在成像原理上，工業相機與民用相機是沒有區別的，都是依靠把光學圖像信號轉變為電信號，以實現存儲和傳輸的目的。而目前使用的最廣泛的就是CCD或CMOS晶片。
  • 光子產品:科學CMOS相機:sCMOS相機達到了新的能力水平
    Andor Technology公司製造的兩種Zyla相機與公司的iXon背照式電子倍增CCD（EMCCD）相比，信噪比與光子強度的比較（a）顯示EMCCD對於最低光子速率是最好的，包括單光子計數，而sCMOS接管更高（但仍然非常低）的光子速率）。 安道爾Zyla相機的量子效率（QE）針對一系列螢光粉（b）進行了優化。
  • 工業級應用中的3D成像技術核心:嵌入式CMOS傳感器技術
    ，利用發射光脈衝和光返回到圖像傳感器上的時間差來計算距離。主動成像主要應用於在惡劣天氣條件（霧）下拍攝圖像或三維圖像。距離選通成像（Range Gating）以及飛行時間（ToF）為兩種主要的主動成像技術。距離選通技術有兩點需要：脈衝波前和高速快門相機。當反射從反射平面返回時，光朝向目標發送，相機的高速電子快門在恰好的瞬間打開。光脈衝飛行一定距離後到達物體然後，會部分被物體反射並被相機接收。
  • 瑞士科學家成功研製百萬像素級光感3D相機
    3D圖像的相機。據悉，研究人員們展示了一款新型的深度感應3D相機，其能夠以百萬像素的解析度和24000fps的幀率來檢測單個光子。  作為下一代圖像傳感器技術中使用的光電探測器的核心，SPAD 利用高壓將電子加速道高速，因此而產生雪崩效應，使得傳感器能夠檢測出最小的光量子。 足夠高的動能，還可使附近的電子自由晃動，意味著觸發單個電子釋放的單個光子可以呈指數地滾落道可讀信號中。
  • 瑞典發明世界上最快相機 每秒拍攝五萬億張圖像
    瑞典隆德大學的一個研究小組展示了一款能夠每秒拍攝約五萬億張圖像的相機。這不是每秒五萬億個離散幀，為了精細地分割時間，相機從單個幀中拉出幾張圖像，當「快門」打開時，幾個不同的雷射燈照射對象。每個雷射閃光燈被視覺編碼，因此可以使用解密密鑰將其與幀中的其餘信息分離。這款相機和東京大學之前的「世界上最快相機」記錄持有者非常相似，它每秒處理4.4萬億幀圖像。
  • 利用CCD相機實現中紅外成像
    由於矽基相機的優良特性，傳統中紅外成像的研究思路都旨在將信息從中紅外範圍轉換為可見/近紅外範圍，然後使用矽基探測器間接獲取中紅外信息，其中主要包括3種方法：1. 使用糾纏的中紅外/可見光子對，利用非線性幹涉技術測量矽基相機上的可見光子，從而探測與其相對應的中紅外信息；2.
  • ToF相機傳感器在無人機上的10大出色應用
    飛行時間(ToF)是一種高精度的距離測繪和3D成像技術，其根據信號的發射與被物體反射後返回傳感器之間的時間差來測量傳感器與物體之間的距離——飛行時間3D深度傳感器發射一個很短的紅外光脈衝，然後相機傳感器的每個像素測量返回時間。
  • 如何為我的顯微應用尋找合適的數字相機?
    感光晶片類型(CCD與CMOS)、快門選擇、幀速率　　下一個重要步驟是選擇最合適的晶片。從技術的角度來看，需要在CMOS與CCD晶片之間作出選擇。接下來需要選擇最好的幀速率，即：無縫處理任務，相機每秒必須提交的圖像數量。
  • 新穎的3D光學成像技術提高了螢光顯微鏡效率
    這項先進的成像技術最近發表在《光：科學與應用》上，這項創新已經提交了美國專利申請。新光學成像技術——編碼光片陣列顯微術（CLAM）現有的3D生物顯微鏡平臺速度較慢，因為必須依次掃描標本的全部體積，並逐點、逐行或逐平面成像。
  • 矽光子計數探測器推動新一代成像技術
    作者：Joe O‘keeffe,Carl Jackson 矽光子計數器件最近取得了革命性進展，大量新型探測器正進入市場。這些探測器可應用於許多新領域，如螢光壽命成像、正電子發射X線斷層顯像、輻射探測、高能物理、雷射測距（雷射雷達）和粒徑測量。潛在應用甚至包含新興的通信技術領域，如保密通信中的量子密鑰分配。
  • 佳能開發出全球首款100萬像素SPAD圖像傳感器
    據麥姆斯諮詢報導，日本佳能（Canon）公司近日宣布開發出了世界上第一款具有信號放大像素的100萬像素單光子雪崩二極體（SPAD）圖像傳感器。SPAD圖像傳感器可以在極短的時間內捕捉並成像靜態圖像和動態視頻，是2D相機等應用的理想選擇。同時，SPAD圖像傳感器能夠捕捉與被攝體之間的距離信息作為成像數據，因此，SAPD傳感器在3D成像領域也有巨大的應用潛力。