3D視覺為機器人增加「眼睛」

人類之所以能夠駕馭這個世界，是因為具有三維（3D）感知能力。而這個能力也可以賦予給我們的機器人。但人類感知三維的方式也許並不適用於機器。要引導機器人運用深度傳感視覺，需要考慮三個關鍵方法：立體視覺、結構光和飛行時間（ToF）。

0HHednc

機器人系統已經存在了幾十年，但直到最近它們大多都是盲目工作。只需為機器人配備接觸傳感器、接近傳感器和位置傳感器，它們就可以優雅地進行精心編排的、無休止的重複動作，可以操縱重型材料，執行精密裝配，或焊接複雜的結構。但是，它們工作的成功與否，取決於其環境的精確性、必用材料的精確放置，以及對其運動軌跡的仔細繪製和編程。

0HHednc

然而，這種情況正在發生變化。機器視覺和視覺智能方面的研究、半導體製造的進步，以及圖像傳感器在手機市場上的應用，簡化了視覺系統的開發並降低了其成本，使其成為了一種擴展機器人功能的越來越具成本效益的選擇。藉助視覺（特別是3D視覺）的引導，機器人將變得更能夠與自由世界交互，工作起來更靈活，也更容易適應新的任務。

0HHednc

然而，特定的機器人所需的視覺特性高度取決於應用。例如，對於那些必須通過視覺引導在雜亂的倉庫裡移動的機器人來說，它們需要對動態環境進行遠程感知，但只需要提供適當的精度。固定機器人的需求則可能完全不同，例如有些機器人用來將箱子裡所混合的零件取出，並按相同類型進行堆放，這可能只需要在有限的範圍內提供高精度的視覺。執行精密裝配的機器人則又有另一套需求。因此，要確定採用哪一種3D視覺方法，首先要對機器「觀看」的工作方式有所理解。

0HHednc

立體機器視覺

由於和人類觀看的方式相似，最容易理解的3D方法是立體視覺。這是一種三角測量法，即用相隔一定距離的攝像頭去捕獲兩個（或多個）圖像（或用一個攝像頭在圖像之間移動），然後通過比較來確定攝像頭視場中物體的距離。將攝像頭分離會產生視差，這樣，較近物體相對遠處背景的對齊就會不同——物體越接近攝像頭，視差越大。

0HHednc

圖1給出了一個簡單的示例。圖中的兩個攝像頭沿平行軸指向相同方向，其傳感器對齊並相隔基線距離B，每個攝像頭都會捕獲一個3D空間（X，Y，Z）的點（P）圖像。捕獲的圖像中，該點在其2D圖像平面上的位置將會不同（u_L和u_R）。幾何上，該位置相當於從P點向攝像頭引一條射線，穿過一個垂直於攝像頭光軸（Z_A）、距離等於攝像頭鏡頭焦距（f）的平面所得的交點。

0HHednc

0HHednc

圖1：簡單的立體視覺幾何圖。

0HHednc

如果取每個攝像頭的Z_A與該平面相交的點作為每個圖像2D坐標系的原點，那麼計算兩個成像點之間的距離，就可以獲得該點的視差（d）。然後，就可以很容易地計算出該點到圖像平面的距離（深度）：

0HHednc

深度 = f * B/d

0HHednc

但是通常現實世界中的系統不是那麼容易對齊的。圖2給出了一種更通用的設置，其中，每個攝像頭都有自己的坐標系，它們以其光軸方向和圖像傳感器像素柵格的旋轉方向來界定。確定圖像點視差要比簡單的距離計算更複雜，這涉及到坐標變換和幾何校正，但三角測量原理是相同的。

0HHednc

0HHednc

圖2：現實世界中的立體視覺幾何圖。

0HHednc

幸運的是，有大量的商用和開源軟體可以處理這些計算。還有一些軟體可使用攝像頭柵格圖像來確定所有必要的坐標變換，這樣開發人員就不需要精確地確定攝像頭方向。因此，計算空間中單個點的深度信息就變成了機器視覺系統中相對簡單的一項運算。

0HHednc

但是，這當中仍然存在許多其他的計算挑戰。其中最重要的一個是讓系統確定不同攝像頭圖像中是哪個點對應於空間中的相同物理點。這個確定過程可能涉及極為複雜的相關過程，需要將來自一幅圖像的一小組像素與構成另一幅圖像的所有組像素進行比較來確定哪些組匹配，然後對構成第一幅圖像的所有小像素組重複該過程。

0HHednc

結構光深度測定

第二種3D視覺方法——結構光——可簡化上面這個相關過程，設計人員應當留意這個優勢。這種方法在三角測量工作中用投光機取代了其中一個攝像頭。投光機生成一個已知的光斑，然後系統將攝像頭圖像與這個已知光斑進行比較。所捕獲圖像中的結構光光斑會因為被測對象上的每個點深度不同而產生失真（圖3）。在這個例子中，可以使用基線和兩條射線之間夾角計算出P點的深度（R）：

0HHednc

R = B (sin α)/sin (α + θ)

0HHednc

0HHednc

圖3：結構光系統根據已知光斑產生的反射光失真來計算深度。

0HHednc

目前業界已針對場景的深度信息提取開發出各種各樣的結構光方案（圖4），但其中有許多針對的是物體掃描而不是機器人運動控制。其中一些結構光方案產生圖像序列所使用的光斑包含若干條紋，其寬度從一個圖像到下一個圖像依次減半（二進位編碼）。還有類似採用格雷碼或相移條紋的連續光斑也有使用。要利用單個圖像捕獲深度信息，可以利用連續變化的顏色編碼圖案，或對條紋圖案編制索引，即每個條紋都與其他條紋不同。使用雷射器或微鏡光控制器可以很容易地創建這樣的圖案，而ams、Finisar和TI等公司也都專門針對結構光光源製造器件和控制器。

0HHednc

最近越來越流行的一種結構光方法是以偽隨機圖案來排列編碼形狀或二進位點所組成的柵格。系統使用人眼看不見的紅外（IR）光來投射這種柵格圖案，並且因為柵格是靜止的，所以可以使用簡單的全息光柵來創建圖案。使用這種方法的商用深度傳感攝像頭系統現已上市。（請參見EDN姊妹刊物Electronic Products上發表的《Designer's guide to 3D cameras》一文）。

0HHednc

紅外光的使用在視覺引導機器人應用中具有兩個明顯優勢。首先，它可以使視覺系統與人類一起工作，而不會因結構光投射而為人類帶來的視覺混亂。其次，使用紅外光還可簡化將結構光與環境光分離的工作。

0HHednc

0HHednc

圖4：3D結構光的種類。（來源：OSA，《Structured-light 3D surface imaging: A tutorial》）

0HHednc

飛行時間深度測量

第三種3D視覺方法——飛行時間（ToF）——完全沒有使用三角測量法。ToF 3D成像是直接測量深度，也就是確定光從光源到達環境中的物體然後返回所用的時間。在這方面，ToF類似於雷射雷達（LIDAR）。然而，ToF方法不是用窄雷射束掃描環境來構建深度圖像，而是針對整個視場同時確定距離。半導體技術在不斷進步，如今的傳感器設計已經可以實現每個像素都可以向控制電子邏輯提供自己的信號，進而提取出計時信息。

0HHednc

ToF的一個挑戰在於能夠在有意義的範圍內實現精確計時，從而獲得精確的深度信息。光在空氣中的傳播速度約為1ft/ns（c），因此光脈衝必須使用數GHz時鐘，才能分辨小於1ft的尺寸。類似地，傳感器信號必須以亞納秒精度進行測量。但是，這麼短的脈衝所含光子數量有限，也即傳感器接收到的光子數太少，從而導致信噪比（SNR）不佳。

0HHednc

儘管如此，仍有傳感器使用直接時間測量法。Teledyne e2v的1.3MP BORA CMOS圖像傳感器提供距離選通成像，其全局快門開關可使傳感器僅在很短的一段時間內針對特定深度平面收集光子。通過結合多次光照的結果，該傳感器可以建立更強的信號用於處理。若在整個系統範圍內掃描快門計時，該系統就可以在其深度範圍內構建完整的深度圖。

0HHednc

然而，更常見的一種方法是檢測發射信號與反射信號之間的相位差來獲取深度信息。圖5給出了這種方法，反映了反射信號與方波發射脈衝（也可以是其他調製波）之間的關係。物距越大，關聯信號越短，並且信號在多個周期內的積分值越低。由於對信號強度進行積分測量起來會比瞬時計時更加精確，因此這種方法的深度測量精度會比簡單計算信號返回時間更高。目前，Infineon、pmd和TI等公司都提供這類ToF傳感器，其中一些更具有可執行所有深度計算的內置電路。

0HHednc

0HHednc

圖5：ToF通過比較反射信號與發射信號的時序來直接測量距離。

0HHednc

不幸的是，這兩種方法均存在深度混疊的問題。ToF方案中，光源的調製頻率（f）決定了最大不模糊距離，為R = c/2f。假如光脈衝速率是100MHz，則傳感器可以清楚分辨的最大範圍是5ft（10ns往返）。如果一個物體在6ft以外，其相關信號與1ft外的物體別無二致。也就是說，6ft遠的物體對脈衝N的反射光線，其到達傳感器的時間與1ft遠的物體對脈衝N+1的反射相同。

0HHednc

降低調製頻率可增大不模糊距離，但也有不利後果。釋放的光子數較少，會使信噪比變差，或需要增加積分時間。這兩種結果都不可取。

0HHednc

有一種解決方案是通過在光源中混合兩種調製頻率，來實現信號的去混疊。然後，傳感器信號處理可以在對信號進行積分之前分離頻率。其總返回信號較高，可提供良好的信噪比；不同的頻率所混疊的距離不同，有助於解決距離模糊問題。該方案的最大模糊距離為光速除以兩個頻率最大公分母的兩倍。

0HHednc

R = c/2*GCD(f1, f2)

0HHednc

根據需求匹配優勢

上述3D視覺方法各有優劣，開發人員應根據其應用需求進行評估和選擇；了解各種3D視覺技術的含義對於選擇正確的方法也至關重要。例如，立體視覺系統可以使用傳統的攝像頭，並且無需使用集成式光源，所以這種方法成本低廉並且更容易集成到設計中。但是立體視覺系統的深度精度取決於其在多幅圖像中找到對應點所需的計算性能，而且物體距離越遠，深度解析度越差。立體視覺系統在應對光滑表面和重複圖案上也存在問題，這兩者都使找到對應點的任務變得更複雜。

0HHednc

另一方面，結構光方法也使用傳統攝像頭，但只需要一個。其不需要有很強的計算性能，因此有助於降低成本。但其需要使用集成式光源，其強度會影響工作距離。在環境光可控或被濾除的情況下，其效果最佳，例如在封閉空間中。

0HHednc

ToF系統的計算強度最低，由於攝像頭通常直接向系統主機提供深度信息，因此大大降低了計算需求。然而，與結構光一樣，系統需要使用集成式光源，其功率會影響系統的距離，環境光不受控也會導致問題。此外，光源的調製頻率也會影響距離。

0HHednc

無論哪種方法最適合您的應用，為機器人配備視覺引導正變得越來越容易。現貨攝像頭系統和視覺軟體（商用和開源）也使事情變得更簡單。此外，為下一代智慧型手機提供3D視覺功能的研發，有望進一步降低3D視覺的成本和複雜性。0HHednc

本文為《電子技術設計》2019年5月刊雜誌文章。0HHednc

0HHednc