雷鋒網(公眾號：雷鋒網)按：本文作者YY碩，來自大疆工程師。此文一共分上下兩篇，下篇連結在此。
2014年的六月，我在知乎「民用小型無人機的銷售現狀和前景怎麼樣？ - YY碩的回答」這個問題下面發布了一篇科普多旋翼飛行器技術的回答，在知乎上至今獲得了889個贊同、近10萬次瀏覽，並且被幾十家媒體和公眾號轉發。2014年中正是多旋翼飛行器市場爆發前的風口，後來很多朋友告訴我說正是這篇文章吸引他們走入了多旋翼飛行器行業。
兩年來，大疆精靈系列更新了兩代，飛控技術更新了兩代，智能導航技術從無到有，諸多新的軟體和硬體產品陸續發布。同時我們也多了很多友商，現在多旋翼飛行器市場火爆，諸多產品琳琅滿目，價格千差萬別。為了理解這些飛行器的區別，首先要理解這些飛行器上使用的傳感器技術。我覺得現在很有必要再發一篇科普文章，定義「智能導航」這個概念，順便字裡行間介紹一下兩年來大疆在傳感器技術方面的努力。
1. 飛行器的狀態
客機、多旋翼飛行器等很多載人不載人的飛行器要想穩定飛行，首先最基礎的問題是確定自己在空間中的位置和相關的狀態。測量這些狀態，就需要各種不同的傳感器。
世界是三維的，飛行器的三維位置非常重要。比如民航客機飛行的時候，都是用GPS獲得自己經度、緯度和高度三維位置。另外GPS還能用都卜勒效應測量自己的三維速度。後來GPS民用之後，成本十幾塊錢的GPS接收機就可以讓小型的設備，比如汽車、手機也接收到自己的三維位置和三維位置。
對多旋翼飛行器來說，只知道三維位置和三維速度還不夠，因為多旋翼飛行器在空中飛行的時候，是通過調整自己的「姿態」來產生往某個方向的推力的。比如說往側面飛實際上就是往側面傾，根據一些物理學的原理，飛行器的一部分升力會推著飛行器往側面移動。為了能夠調整自己的姿態，就必須有辦法測量自己的姿態。姿態用三個角度表示，因此也是三維的。與三維位置、三維角度相對應的物理量是三維速度、三維加速度和三維角速度，一共是十五個需要測量的狀態。
這十五個狀態都對多旋翼飛行器保持穩定飛行有至關重要的作用。拿「懸停」這件看起來是多旋翼飛行器最基本的能力來說，實際上飛行器的控制器在背後做了一系列「串級控制」：在知道自己三維位置的基礎上，控制自己的位置始終鎖定在懸停位置，這裡的控制量是一個目標的懸停速度，當飛行器的位置等於懸停位置時，這個目標懸停速度為0，當飛行器的位置偏離了懸停位置時，飛行器就需要產生一個讓自己趨向懸停位置的速度，也就是一個不為零的目標懸停速度；飛行器要想控制自己產生目標懸停速度，就需要根據自己當前的三維速度，產生一個目標加速度；為了實現這個目標加速度，飛機需要知道自己的三維角度，進而調整自己的姿態；為了調整自己的姿態，就需要知道自己的三維角速度，進而調整電機的轉速。
讀者可能會想哇為什麼這麼複雜。其實我們身邊的許多工程產品都在簡單的表現背後藏著複雜的過程。比如汽車的油門也是類似的，踩下油門之後，有傳感器測量汽油的流速、控制汽油的流速；然後有傳感器測量發動機的轉速、控制發動機轉速……從踩油門到加速的過程中也有許許多多的傳感器在測量汽車的各個狀態量，並對這些狀態量施加控制。
知道十五個狀態量是多旋翼飛行器做任何動作的基礎中的基礎，但是讓飛行器在任何情況下都準確知道這十五個狀態量是非常困難的事情，因為現在的科技水平還沒有能夠實現讓一個傳感器同時測量這麼多的物理量。幾十年來，人們發展出了一套複雜的技術，叫做組合導航，用GPS加上慣性測量元件、氣壓計和地磁指南針來讓飛行器測量自己的十五個狀態量。
2. 組合導航
慣性測量元件是一種能夠測量自身三維加速度和三維角速度的設備（實際上慣性測量元件有兩種，一種加速度計，一種角速度計，為了行文方便，我們把這兩種元件當做一種，統稱為慣性測量元件）。根據物理學原理，加速度的積分是速度，速度的積分是位置，角速度的積分是角度，理論上單靠慣性測量元件，我們就可以知道十五個狀態量。
人類的科技水平也的確實現了這一點：GPS還沒被發明以前，飛彈上通常都裝著一個精密的慣性測量元件，飛彈打出去以後靠這個裝置測量自己的十五個狀態量，然後控制自己飛越海洋和大洲。然而這種慣性測量元件會在測量的過程中慢慢累積誤差，元件本身的工藝、技術、成本越差，積累誤差的速度就越快。飛彈上價值幾百萬的慣性測量元件飛幾萬公裡後會積累十幾米到幾公裡的誤差，這種水平的飛彈已經非常了不起了，畢竟不是每個國家都可以在背後豎著洲際飛彈和國際社會講道理。
人體內也有慣性測量元件，人的耳蝸充滿液體，人運動的時候這些液體有慣性，可以被耳中的神經感受到，因此測出了運動的加速度。然而人的慣性測量元件非常差，閉上眼睛，也不摸周圍的東西，只靠耳蝸感受的移動，人基本沒法走直線。
而多旋翼飛行器上用的低成本MEMS慣性測量元件，精度就更差了，它測量的速度和位置在幾秒鐘內就會發散到幾十米開外去，完全沒法用來規劃控制自己的飛行路線。
此外，慣性測量元件還會受到溫度、製造工藝的限制，產生一些測量的偏差，比如說有時溫度突然變化之後，一個靜止的慣性測量元件會覺得自己轉動了起來，雖然它靜止著，但是會輸出不為零的角速度。這類測量的偏差需要比較仔細的算法進行修正，而且往往不能單靠慣性測量元件自己的測量完全消除。
地磁指南針是一種測量航向的傳感器。指南針在人們的生活中作用重大，在未知的環境中，不分南北可能寸步難行。飛行器的機身正方向朝南還是朝北這個狀態量用導航的術語來說叫做航向，也就是飛行器姿態的三維角度中的一個，他在組合導航系統中是非常重要的一個狀態量。
地磁指南針能夠指南指北是因為地球表面空間中有看不見的橫貫南北的地磁線，地磁指南針可以測量出穿過自身的地磁強度，從而指出當前自身相對於地磁線的偏轉。同樣地，這個理論雖然非常簡單，但是地磁線的強度非常弱，很容易受到幹擾。比如多旋翼飛行器通用的無刷電機，在運轉的時候就會產生變化的磁場，和地磁場疊加之後，地磁指南針就找不到正確的方向了。地磁指南針的這個特性非常令人惱火，但是早期的多旋翼飛行器開發人員毫無辦法，因為這是唯一的能夠確定飛行器在空間中絕對航向的設備。如果不知道這個航向，就基本沒辦法進行組合導航。
氣壓計的原理最為簡單。因為地球表面海拔越高，空氣越稀薄，氣壓越低，因此氣壓就能夠給出飛行器的海拔高度。不過，不出意料的是，尺寸和重量適合在多旋翼飛行器上使用的氣壓計有很大的缺陷，它的測量值會受到溫度、溼度、空氣流速、光照、振動等因素的影響，單靠氣壓計非常難實現對高度的穩定測量。
組合導航技術結合GPS、慣性測量元件、地磁指南針和氣壓計各自的優缺點，使用電子信號處理領域的很多技術，融合多種傳感器的測量值，獲得較為準確的飛行器十五個狀態量的測量。前面說慣性測量元件的測量容易發散，這個發散可以通過GPS來抑制：GPS可以獲得三維位置也可以獲得三維速度，慣性測量元件可以獲得三維加速度，加速度的積分也是速度。在通過地磁指南針獲得航向的基礎上，兩種速度的觀測就可以融合起來，通過GPS的測量值來發現並抑制慣性測量元件的發散。慣性測量元件的發散被抑制住之後，它也可以更準地測量三維角度和三維加速度。因此GPS和慣性測量元件在這些情況中互相取長補短。除此之外，氣壓計和GPS互相提高了高度測量的精度，地磁指南針、GPS和慣性測量元件一同提高了航向測量的精度，他們都是利用了相同的融合、「互補」的思想。
組合導航技術中傳感器互補的原理直接源於1948年誕生的資訊理論。克勞德-香農總結歸納出的資訊理論提出了信息的概念以及如何從數學上度量信息，資訊理論可以說是現代人類文明的基石之一。解釋清楚信息的本質之後，人們才能夠用數學表示一個樸素而又深刻的原理：信息可以用來估計狀態，越多的信息可以把狀態量估計得越準。
（上圖致敬資訊理論之父，克勞德-香農）
此後，控制論的奠基人諾伯特-維納、魯道夫-卡爾曼以及其他一大批工程師和科學家完善了通過信息進行狀態估計的線性估計理論，進一步提出了傳感器之間「互補濾波」，共同減小誤差的理論。卡爾曼設計的卡爾曼濾波器還被實現在了阿波羅飛船的導航計算機當中，使用星座位置和慣性測量元件互補測量阿波羅飛船的十五個狀態量。
資訊理論、線性估計理論以及卡爾曼濾波器允許人們把多個具有誤差的傳感器通過數學方程融合起來，利用傳感器信息估計特定的狀態量，而且越多傳感器「互補」，可以獲得越好的狀態估計。這樣，數學給工程學指出了發展方向：造更多牛逼的傳感器進行互補，就能獲得更好的狀態估計能力。大疆飛控總工程師魚大人也曾經說過：「最牛逼的工程師都是在搞傳感器。」傳感器技術的重要性可見一斑。
作為一種位置傳感器，GPS具有諸多的問題，GPS信號只有在開闊的空間內才能給出比較好的測量值，因為GPS接收機需要從天上的衛星獲得信號，這些信號要從太空傳入大氣層，這麼遠的距離，信號已經相對來說很微弱，所以必須要求接收機和衛星之間的連線上沒有遮擋，一旦有建築甚至是樹木的遮擋，衛星發下來的信號就有噪聲，GPS接收機就不能給出很好的位置和速度觀測。在室內環境中，GPS甚至完全不能使用。組合導航技術要想進一步發展，就需要尋找其他能夠在GPS不能使用的環境中使用的傳感器。
一種較為簡單的能夠替代GPS測量高度的傳感器是小型超聲波模塊。這種模塊通常有一收一發兩個探頭，一個探頭髮出超聲波，另一個探頭測量回波的時間，能夠算出導致聲波反彈的物體離探頭的距離。現在在淘寶上，只要10塊錢就可以買到一個能夠比較準確測量幾米內物體距離的超聲波模塊，被廣泛用在大學生製作的小機器人上。這種10塊錢的傳感器沒有比氣壓計和MEMS慣性測量元件性能高多少，它發出的聲波容易發散，探測到的物體不一定位於探頭正前方，另外聲波也容易被空氣中的水霧、振動所影響，給出完全錯誤的觀測。因此，超聲波模塊最好的使用場景是對著地面，測量自身和地面的距離。
3. 視覺感知系統
另外一種替代品是視覺感知系統。1970年之後，隨著數字成像技術的發展，相機作為一種傳感器開始被廣泛研究。因為人可以通過自己的視覺估計視野中物體的位置、距離，而相機的原理模擬了人的雙眼，所以研究者們模仿人的特點，利用相機的二維圖像反推圖像中物體的三維信息。這種和二維圖像推算三維信息相關的技術和數學理論發展成了一個獨立的學科——計算機視覺，也被稱作機器視覺。
視覺感知系統是目前世界上最熱門的機器人學和機器視覺領域研究課題。其原理是利用一個或者多個相機構成的視覺傳感器系統，採用複雜的算法，通過二維的相機圖像推算出視野中物體相對與視覺傳感器系統的幾何中心的運動信息，如果假設這些物體都是靜止的，那麼相對運動其實代表了視覺傳感器本身的運動。理論上，計算機視覺技術能夠單憑一個相機就可以準確測量十五個狀態量，但是與其他傳感器類似，相機也有很多的缺陷，包括無法恢復尺度、成像質量有限、計算量消耗巨大等等。幸好，我們還可以把視覺感知系統和其他傳感器結合起來，互相提高測量精度。
聰明的讀者肯定能夠想到，把視覺感知系統和之前說的所有組合導航中用到的傳感器融合起來，GPS信號質量高的時候用GPS組合導航，沒GPS的時候用視覺感知系統替代GPS，不就解決問題了嗎。這確實正是目前工程師和科學家們正在努力解決的問題，也是精靈4上初步實現的技術。在介紹精靈4是如何結合視覺感知系統和組合導航技術之前，我們先簡單介紹兩種已經比較成熟的視覺感知系統：光流測速模塊和視覺裡程計。
光流測速模塊顧名思義，只能測速度。通常一個光流測速模塊由一個相機、一個慣性測量元件、一個超聲波模塊構成，它的主要原理是計算機視覺技術中於1981年被發展出來的「光流追蹤」算法。
「光流」的概念最早在1950年代由心理學家和生物學家提出，指的是一個觀察者和他在觀察的事物發生相對運動時，這些事物在他眼前成的像會產生「運動的模式」，人腦利用這種「運動的模式」能夠更靈敏地感知周圍什麼東西在動。比如下圖中，讀者一看就可以直觀理解「光流」的意義。
後來計算機科學家布魯斯-盧卡斯和金出武雄在1981年發明了Lucas-Kanade算法，通過算法計算出連續拍攝的圖片上的光流，並證明了光流可以反解出相對運動的速度。雖然三十多年來，Lucas-Kanade算法始終被公認為最好的「光流追蹤」算法，但是它有比較大的局限性，它包含很多假設，比如假設連續圖片的平均亮度相同，比如假設圖片中的物體只發生平面運動等等。另外，光流算法算出的速度是沒有尺度的，因為相機圖像的單位是像素，所以光流算法只能給出「你現在的速度是10個像素每秒」，但是沒法算出10個像素是1釐米還是1米。恢復尺度的方式是增加一個超聲波模塊測量平面運動離相機的距離，這樣就能夠把像素運動轉換成真實的運動。最後，如果要讓光流測速模塊在晃來晃去的多旋翼飛行器上也能使用，通過慣性測量元件找出圖像所代表的平面也是必不可少的，這一點需要在算法上進行兩種傳感器很好的配合。
光流算法原理上只可以測三維速度，不能直接測量三維位置。我們同樣可以通過把光流測速模塊測出的三維速度積分獲得三維位置，但是就像慣性測量元件積分會發散一樣，光流測速模塊積分得到的位置也會發散。好在它不會天馬行空地失去控制，和組合導航技術中除了GPS之外的傳感器妥善融合之後，它可以做到懸停時測量的位置不發散。因此可以說光流測速模塊只在有限的條件下能夠替代GPS。
光流測速模塊已經形成了非常標準的解決方案。大疆悟以及精靈3上都裝載了自主研發的光流測速模塊，另外著名的開源飛控產品Pixhawk中包含了一個叫做PX4Flow的光流測速模塊，並且開源了所有的代碼和硬體方案。所以光流測速模塊目前已經廣泛出現在了各大廠商的多旋翼飛行器產品上。
視覺裡程計相比光流測速模塊，增加了直接測量位置的能力，所以才叫「裡程計」。視覺裡程計比光流測速模塊能力更強，性能更好。
讀者可能會問，為什麼聽起來視覺裡程計和光流測速模塊參與的傳感器數量差不多（光流測速模塊甚至還多一個超聲波模塊），但是視覺裡程計能力反而更強呢。這裡的原因不在於傳感器硬體，而在軟體算法上。前面已經說到光流追蹤算法有很多簡化的假設，只能測量平面運動，增加其他傳感器硬體一定程度上是為了把那些為了計算方便而簡化掉的因素重新彌補起來。
而視覺裡程計算法則複雜得多，它不僅要通過圖像反推出視野中物體的平面運動，還要反推出這些物體的三維位置，並且基於這些物體的三維位置做很多次的優化計算，算法複雜度成倍於光流測速模塊。有些視覺裡程計的算法甚至包含完整的光流追蹤的算法，但是僅僅把計算光流作為預處理圖像的步驟。
視覺裡程計能夠直接測量位置，測量值也比較準確，不會像光流測速模塊那樣發散。通常比較優秀的視覺裡程計飛100米之後只會積累十幾釐米到幾十釐米的誤差，這個測量水平比起飛彈上幾百萬的慣性測量元件還是差了不少，但是考慮到視覺裡程計的價格極其低廉，對比起來它的性價比非常高。
視覺裡程計有幾個不同層次的難度，最簡單的是兩個相機構成的雙目立體視覺系統加慣性測量元件，最難的是一個相機構成的單目視覺系統加慣性測量元件。如果視覺裡程計和光流測速模塊硬體一致，那麼這裡的視覺裡程計採用的是單目視覺系統。目前，雙目立體視覺系統加慣性測量元件實現自身狀態觀測已經是比較完善的技術，而單目視覺系統則是活躍的研究方向，世界上做這個研究方向較好的大學有美國的賓夕法尼亞大學、瑞士的蘇黎世聯邦理工學院、英國的牛津大學、我國的香港科技大學和其他一些歐美院校。
單目視覺系統和雙目立體視覺系統兩者對比起來，他們的算法難度差別很大。視覺裡程計的算法關鍵點是前面說的「通過連續的圖像反推出視野中物體的三維位置」。對於和人眼結構類似的雙目立體視覺系統，這一點比較容易，因為一個物體同時出現在左右兩個相機的視野中時左右視野有視差，視差可以幫助解算物體的位置，只需要用簡單的幾何關係就可以實現，這已經是非常成熟的技術。
但是對於單目視覺系統，只有一個相機就沒有視差，沒法做簡單的幾何關係的解算，所以算法必須能智能地在局部範圍內同時估計很多個物體的位置，然後在自身移動過程中通過位置移動產生視差，然後進行多個物體的位置的最大似然估計，從而推算出這些物體比較準確的位置。這個過程包括很多個環節，大部分環節在學術界都沒有公認最優的方案，因此還沒有成熟的技術。
因為原理相對簡單，所以雙目立體視覺系統構成的視覺裡程計在三十年前就開始被研究了。1980年代早期，NASA工程師、著名機器人學家漢斯-莫拉維克就已經製造出了這種狀態測量系統。關於漢斯-莫拉維克的另一個故事，我在知乎問題中「有哪些與控制、機器人等相關的 quotes？ - YY碩的回答」也有提到。
（上圖致敬漢斯-莫拉維克）
在經年累月的優化之後，2004年，NASA成功把視覺裡程計和慣性測量元件構成的視覺定位系統裝在「機遇號」和「勇氣號」火星車主頻僅有20MHz的特製晶片上，送上了火星，它可以幫助火星車通過一對雙目相機非常準確地記錄自己走過的路線。2007年，參與火星探測任務的計算機科學家和工程師們把這個激動人心的過程寫成了一篇論文《計算機視覺在火星》（Computer Vision on Mars），這篇文章吸引了很多計算機視覺研究人員投身視覺裡程計的研究，也極大推動了視覺裡程計在機器人學中的應用。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。