隨著消費級無人機技術的不斷成熟,不斷完善的自動避障系統可以極大的減少因操作失誤而帶來的各項損失,目前避障能力正逐漸成為了無人機自動化或智能化的關鍵點所在。
讓無人機自主避障教學研究邁向更高處slam導航避障算法。根據無人機避障技術的原理和發展趨勢,可以將無人機避障技術分為三重階段：即感知障礙物階段、繞過障礙物和場景建模和路徑搜索。
感知障礙階段
"在開闊場地飛行,儘量避開人群,避免因操作失誤而帶來的安全事故」是目前大部分消費級無人機的使用說明上都會出現的一項標註,因此各無人機開發商為了降低安全事故的發生機率,都將避障技術作為了開發的重點。而如何實現無人機自動避障,首先要實現的是如何精確的測量無人機與障礙物之間的距離，只有先測量出危險範圍內的距離，才可以有時間在撞向障礙物之前停止無人機的前進動作,進而避免事故的發生。就如人類或其他動物在前進的過程中,只有先看見前方的障礙物,並且會大致估算出自己與障礙物之間的距離,才能決定下一步的行為方向,因此雖然看似測距停止的這種思路很簡單粗暴,但在實際應用中還是有一定的存在意義。
而目前的無人機領域被廣泛應用到的障礙物檢測方法有超聲波測距、紅外或雷射測距、雙目視覺、電子地圖等。其中雙目視覺技術更是利用了人眼如何估計視覺的原理,是目前較受無人機開發商青睞的一種技術。超聲波測距其實是一種比較成熟的測距技術,而成本相對較低,目前被大量的應用於家用的汽車倒車雷達上,但是其測量距離較近,而且對反射面有著一定的要求 ,因此常被用來測量無人機與地面之間的距離,而非與障礙物之間的距離。
紅外或雷射測距又稱TOF是利用傳感器發射定頻率的信號，通過計算反射信號與原信號之間的相位差來確定信號的飛行時間,並最終確定的無人機與障礙物之間的距離，該技術一旦達到高等級 ,還可以獲得障礙物的深度圖。
而雙目視覺技術是運用了人眼計算距離的原理,是機器視覺的一種重要形式，主要基於視察原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像，並通過計算圖像對應點之間的位偏差,來確定物體三維幾何信息的方法。雖然該技術的難度較高.但是已經開始逐漸應用到無人機避障技術中來。
電子地圖則是藉助GPS系統、細粒度的數字高程地圖和城市建築3D地圖，比較適用於無人機的禁區功能，不僅可以避免重要建築物受到撞擊，還可實現多種情況下的避障功能。
在看過基本的障礙物測量原理之後，我們可以繼續看無人機的避障功能，最簡單的概況就是通過各項障礙物測量技術，來保障無人機與障礙物之間的距離並且根據距離實行下一步的飛行計劃，然而在遇到障礙物之後就保持距離並進行等待,只能說是無人機避障功能的最初級階段。
繞過障礙階段
當無人機遇到障礙物之後進行懸停等待，等待已經完全不能滿足操作者們的使用需求目標,但是獲取前方障礙物距離容易，獲取精準的障礙物輪廓並繞過去卻是新的技術障礙，而關鍵點則如何精確獲得障礙物的深度圖像。
在自然界中,動物們都知道前方遇到障礙物時該如何繞過去,而不是只在障礙物之前等待,而原因在於動物們可以知道障礙物的大致輪廓,只要找到邊緣處所在,就可以從邊上繞過去,然而看似簡單的做法卻包含著很深的套路。
很簡單的就是目前的測障技術很難滿足障礙物輪廓獲取的需求,當無人機採用超聲波進行測距時,只能大致測出前方的距離,只能獲得二維的數值，而非三維的畫面。
但是目前的TOF和雙目視覺技術則是聲稱可以獲得障礙物深度圖像的技術。也就是說利用這兩種技術來進行障礙物距離測量,只要障礙物沒有充滿整個視覺範圍,其邊緣總會被獲取到,而無人機則可以根據測量的結果繼續選擇下一步的飛行路線。
看似問題已經解決，其實不然。舉例來說，當我們出門想到達一個目的地的時候，如果目的地前方有一座高樓，我們可以通過發現高樓的邊緣從而繞過它來到達目的地,但是我們不可預知的是高樓背後是否有其他的建築物的存在。無人機也是如此，一旦障礙物之後的近距離還有障礙物的存在，那麼依然存在較高的事故發生率。因此如何應對多重障礙物的存在就成為了無人機避障技術下一步需要探討的對象。
場景建模和路徑探索
上文說到無人機的避障功能已經需要一個可以應對多重障礙物的技術出現，也就是說在目前的技術中,如何對飛行場景進行精準建模,實時獲取場景模型,並通過飛控來設置最優避障飛行路徑是重點,這也拉開了無人機避障功能中的場景建模和路徑搜索階段的帷幕。
其實就是基於電子地圖等來源獲取場景模型,利用機載計算機中的算法來得出最優路徑,如果應用在自然界中來說,就是當動物經過一些障礙物時，它們的大腦裡面會存在相關場景的一個地圖,當再一次經過的時候，就會根據上次記憶的場景模型來獲取最佳避障路線。無人機雖然不能通過兩次飛行去獲取記憶的場景模型,但是它可以通過其他的科技手段來獲取,也就是說飛行場地的3D地圖等。
基於該項理論的基礎上，卓翼智能聯合北航專業視覺導航團隊研發出，基於機器視覺無人平臺自主導航避障系統，具有立體視覺、運動估計、稠密重建、Slam導航、路徑規劃、自主避礙等功能。
系統結合目前熱門研究領域與研究方向，集無人機、無人車、雙目視覺、機載AI視覺處理板卡於一體，形成全套的無人平臺控制、通訊鏈路、視覺圖像採集、圖像識別、三維重建、定位解算等軟體算法解決方案。
為各科研團隊、高校實驗室提供硬體完善、功能齊全、開發環境完整、引領行業發展的全系統全功能開發測試環境，讓各科研團隊專注於slam導航避障算法研究。
該系統提供全套的學科教學課程以及示例算法等，可快速展開相關課程設計，進行實際教學應用階段。教科書級專業指導，永葆技術先進性。
整體解決方案
基於機器視覺無人平臺自主導航避障系統組成架構：
硬體組成
基於機器視覺無人平臺自主導航避障系統硬體由：開發工作站、無人機系統、機載雙目視覺、機載圖像處理板、VR三維顯示等組成。
1、開發工作站
開發工作站是系統開發實驗控制平臺，主要用於雙目視覺目標識別訓練系統開發使用，為前期視覺系統控制平臺，當在上位機中控制成功後即可以移植到TX2上進行實時自主控制。
2、無人機平臺
無人機平臺專為基於機器視覺無人平臺自主導航避障系統研發，具有飛行穩定。可通過串口、USB接口、網絡通訊等多種通訊控制接口控制。可搭載超聲波、雷射、光流GPS、PTK等諸多傳感器，適應多種應用環境與系統組合。
3、機載雙目視覺系統
機載雙目視覺系統包括雙目相機、圖傳系統，雙目相機固定於無人機底部，實時採集無人機巡視拍攝信息，發送至TX2機載處理板卡進行避障、跟隨以及slam計算，或下傳至地面圖傳接收機由開發工作站進行處理。機載雙目視覺系統所使用的雙目視覺相機為小覓雙目視覺相機。
採用小覓雙目攝像頭標準版，雙目幀在硬體上同步。以60Hz的頻率採集圖像，解析度達到752×480像素，如圖2.2為小覓雙目標準攝像頭。內置六軸IMU傳感器，頻率可以達到500Hz。雙目基線120mm。採用全局快門，可實現兩個攝像頭的所有像元同時曝光。在高速移動的拍攝場景中，能有效降低圖像畸變，提供更加精準的圖像源。
特點
（1）IMU 六軸傳感器，IMU 與圖像的同步精度高達0.05ms，為 SLAM 算法以及 空間移動算法的研發提供數據校正；
（2）IR 主動光，2顆IR主動光探測器發射的紅外結構光,有效增強白牆和玻璃等物體 的識別精度,適用於完全黑暗環境；
自動白平衡，精準調教的感光元件和鏡頭提供室內外感光的自適應和調節；
（3）雙目幀同步，提供兩顆攝像頭的硬體級幀同步，減小因圖像不同步而導致的誤 差；
（4）全局快門，實現每個像元的同時曝光有效降低高速移動拍攝時的圖像畸變；
（5）灰度鏡頭，提供清晰的黑白視覺研究圖像源，解析度為752x480/60fps；
（6）基線長度，120mm 的基線長度適用絕大多數雙目應用場景；
（7）鋁合金外殼，陽極鋁加工外殼堅固耐用，採用標準 1/4」螺絲接口；
（8）適用於雙目SLAM研究，支持 VINS,OKVIS, ORB_SLAM2,VIORB 等多個開源 VSLAM 項目,並在 SDK 中提供樣例；
（9）CUDA 加速，提供基於 CUDA 加速的實時深度輸出,使 GPU 能夠解決複雜的計算問題；
（10）豐富數據信息，通過 SDK 獲取原始數據/校正雙目圖像、視差圖像、實時深度圖像、實時點雲圖像、IMU 數據等；
（11）多平臺SDK，SDK 適配 Windows、Linux、ROS、Mac、Android、TX1/2 等多種平臺，並提供豐富工具。
4、Jetson TX2機載圖像處理板
Jetson TX2是無人機平臺搭載的深度學習目標檢測算法運行板，為後期將圖像處理移植於機載端進行處理，是深度學習、計算機視覺、圖像處理和GPU計算的優秀系統，非常適合於無人機、自主機器人、移動醫學成像等嵌入式系統應用。
Jetson TX2為2017年3月發布的新一代產品，集成256核NVIDIA Pascal GPU和一個6核64位的ARMv8處理器集群，擁有8GBLPDDR4 128位內存。ARMv8處理器集群包含一個雙核NVIDIA Denver 2以及一個4核ARM Cortex-A57。Jetson TX2模塊大小為50 x 87 mm，重量為85克，典型功耗為7.5瓦。
Jetson TX2基於16納米NVIDIA Tegra 「Parker」 SOC，其效能比Jetson TX1提升2倍，性能表現超過了Intel Xeon伺服器級CPU。
Jetson TX2提供兩種運行模態：一種是MAX Q，能效比能達到最高，是上一代的TX1的2倍，功耗在7.5W以下;另一種是MAX P，性能可以做到最高，能效比同樣可以做到前一代的2倍，功耗則在15W以下。
5、VR眼鏡進可選硬體
VR眼鏡主要應用於三維顯示使用，其圖像來源為圖傳系統，顯示延遲為50ms。
6、可選硬體
可開設課程
雙目立體視覺立體深度解算算法設計與實現
三維空間稠密重建算法設計與實現
無人機自主slam運動狀態估計算法設計與實現
無人機自主slam導航定位算法設計與實現
無人機自主slam導航路徑規划算法設計與實現
無人機自主slam導航避障算法設計與實現
軟體開發與技術支持
1、基於機器視覺無人平臺自主導航避障系統軟體開發體系
基於機器視覺無人平臺自主導航避障系統軟體開發體系由視覺開發平臺、信息交互與任務控制平臺、無人機系統等組成。
雙目攝像頭採集圖像，通過立體匹配技術計算出二維圖像的深度信息，同時利用視覺慣性融合技術估計相機自身的運動姿態，融合多幀深度信息，重建空間環境的體素地圖。由地圖獲取障礙物距離信息，生成可執行路徑。
視覺開發平臺：由視覺開發訓練環境Jetson TX2 視覺處理開發系統等組成、視覺定位平臺、環境重建系統等組成。信息交互與任務控制平臺：由信息交互程序、避障與路徑規划算法、無人機位置導航控制程序等組成。
系統軟體運行架構如下圖所示：
2、技術服務
1）開發環境
提供全套基於機器視覺無人平臺自主導航避障系統軟體開發體系：視覺端開發環境、 Mavros開發環境、飛控開發環境
2）軟體源碼
提供全套基於機器視覺無人平臺自主導航避障系統相關原始碼：
a、視覺系統代碼
立體視覺：
主要是在雙目立體視覺系統中，獲取圖像的深度圖。基於立體匹配的生成概率模型ELAS立體視覺算法，用於快速匹配高解析度圖像。在雙目立體圖像間建立點點對應然後根據對應點的視差計算出深度。用左右圖像的互相推測，來執行左右一致性檢查，消除遮擋區域中的虛假不匹配和視差。
運動估計：
主要用於計算每幀圖像無人機的位姿。通過滑動窗口優化進行實時光流點跟蹤與匹配，視覺和IMU的緊耦合。通過稀疏特徵點提取與跟蹤、IMU預積分與初始化處理、KLT光流法進行後端融合優化、利用共視的特徵點進行閉環檢測等步驟，完成利用視覺慣導融合的定位算法，實現無人機精確定位。
稠密重建：
主要實現單幀深度圖融合，重建出無人機的環境。採用在線實時動態增量式生ESDF算法。ESDF是基於體素網格的方法，每個點包含了該點到最近障礙物的歐幾裡得距離。在計算機圖形和視覺應用中，TSDF近來已經成為一種常用的隱函數表面表示方法。因為TSDF的快速重建和過濾傳感器噪聲，並且可以使用子體素解析度創建人類可讀的地圖網格。
航跡規劃：
根據傳感器的信息來不斷地更新其內部的環境信息，從而確定出機器人在地圖中的當前位置及周圍局部範圍內的障礙物分布情況，並在此基礎上，規劃出一條從當前點到某一子目標點的最優無碰撞路徑。
Mavros程序
Mavros的最底層程序完成Mavros消息發布與訂閱，負責將飛控發來的mavlink消息轉換為ros中的話題，為上層的程序提供消息訂閱，將任務層發出的ros話題轉換為mavlink消息發送給飛控。
b、無人機位置控制程序
位置控制程序包含位置估計程序與位置控制程序，代替了飛控中位置控制程序的一部分功能，然後在這個基礎上藉助命令發布這個話題給上層應用提供了接口，便於上層開發。位置估計做為飛控的位置姿態狀態估計，將雷達定位信息轉成飛控能夠使用的類型發送給飛控進行解算。
c、任務層程序
無人機基本動作控制程序：一鍵起飛、降落、懸停、緊急上鎖、慣性系及機體系下的控制指令等無人機自主控制程序。
組合功能控制程序：自主著陸、自主跟蹤、路逕自主規劃等無人機自主複雜功能控制程序。
3）提供功能示例
利用雙目相機實現無人機自主避障功能及slam路徑規劃。
場景建模和路徑搜索作為無人機避障系統較新研究方向，相信會讓無人機自主避障礙方面的科學研究有更多的技術成果突破。而slam導航避障算法，會幫助更多高校進行最新的無人機自主避障礙教學研究。
該技術團隊由北京航空航天大學、清華大學、哈爾濱工業大學等知名高校畢業的博士和碩士組成，擁有多年教育類無人機系統的研發經驗，卓翼智能公司與多個高校建立重點實驗室合作，與北航、清華大學、浙江大學、哈工大等多所著名高校的飛行控制實驗室建立長期深度合作。數位資歷深厚的北航教授、副教授擔任技術顧問，確保研發環境和設備的先進性及行業技術的前瞻性。在無人機設計開發系統、飛行控制、抗風穩定、slam視覺導航、集群與協同、高精度室內定位系統、無人車等多個領域擁有國內一流的核心技術，擁有國內多項技術專利。