打開新世界大門一一AI將光子時間轉換成3D圖像

近期發表在Optica期刊上的一篇新論文中，英國、義大利和荷蘭的研究人員描述了一種全新的製作動畫3D圖像的方法：通過捕捉光子的時間信息，而不是其空間坐標。研究人員通過調整光線反射到一個探測器上的時間，來提取出一個場景的三維圖像，這項被稱為時間成像的新技術展示了一種機器學習的重要用途。

這種方法通過利用AI將時間轉換成三維空間的視覺，可以幫助汽車、行動裝置和健康監護儀器等提高360度的認知能力。

在我們生活中，照片和視頻通常是通過使用數字傳感器捕獲光子（光的構建基塊）來製作的。比如，數位相機由數百萬個像素組成，這些像素通過檢測空間每個點的光的強度和顏色來形成圖像。 然後，通過在拍攝對象周圍放置兩個或更多攝像機可以從多個角度對其進行拍攝，或者通過使用光流掃描場景並將其重構三維來生成3D圖像。

無論哪種方式，我們拍攝的照片和視頻僅通過收集場景的空間信息來構建圖像。 而研究人員此次是通過有關光子的時間信息來生成3D圖像，他們是如何做到的？ 他們在實驗過程是使用了一個簡單且廉價的單像素檢測器，該檢測器經過調整可充當光子的秒表。 這個檢測器僅記錄由瞬間雷射脈衝產生的光子從任意給定場景中的每個物體反彈併到達傳感器所需的時間。物體距離越遠，每個反射光子到達傳感器所花費的時間就越長。 有關場景中反射的每個光子的時間信息，研究人員稱為時間數據，收集在一個非常簡單的圖形中。

然後，藉助複雜的神經網絡算法將這些圖轉換為3D圖像。研究人員通過向團隊展示數千張團隊人員在實驗室中移動和攜帶物體的常規照片，以及同時由單像素檢測器捕獲的時間數據來訓練算法。

最終，網絡已經足夠了解時間數據與照片的對應關係，從而僅憑時間數據就可以創建高度準確的圖像。 在驗證原理的實驗中，儘管使用的硬體和算法有可能每秒產生數千張圖像，但研究人員設法從時間數據中以約10幀/秒的速度構造了運動圖像。

格拉斯哥大學計算科學學院數據科學研究員Alex Turpin博士表示，我們手機中的相機通過使用數百萬個像素來形成圖像。如果僅考慮空間信息，則僅憑單個像素創建圖像是不可能的，因為單像素檢測器沒有任何信息。但是，這樣的檢測器仍然可以提供有關時間的有價值的信息。我們設法做的是找到一種新方法，可以將一維數據，即簡單的時間測量，轉換成運動圖像，該圖像代表任何給定場景中空間的三個維度。與傳統圖像製作不同的最重要方式是，該團隊的研究方法能夠將光線與整個過程完全分離。

Turpin還說道「我們有信心用該方法可以適用於能夠用短脈衝探測場景並精確測量回波的任何系統，以全新的方式使用時間而非光來可視化世界」。 當前，神經網絡創建圖像的能力僅限於經過訓練以從研究人員創建的場景的時態數據中挑選出來的能力。 但是，通過進一步培訓甚至使用更高級的算法，可以學習可視化各種場景，從而擴大其在現實世界中的潛在應用。

另外，Turpin還補充說「收集時間數據的單像素檢測器體積小、重量輕、且價格便宜，這意味著它們可以輕鬆地添加到現有系統中，比如自動駕駛汽車的攝像頭，以提高尋路的準確性和速度。它們可以增強行動裝置中現有的傳感器，比如Google Pixel 4，這些傳感器已經具有基於雷達技術的簡單手勢識別系統」。

這項技術，感覺未來很多科技在此基礎上將得到更大的釋放和新的突破。而且，通過它，像是在看全新的世界一般~