硬核科普,助力產、學、研——光學動作捕捉系統到底是幹嘛用的?

近些年，人工智慧比較火熱，人工智慧分為三大學派，符號主義、連接主義、行為主義。無人機、機器人等智能體屬於連接主義、行為主義範疇，其應用價值也日益凸顯。在智能體算法層面，光學動作捕捉系統能做哪些事情呢？

在未來幾年內無人駕駛會越來越普遍，甚至在不久的將來，道路上的車會有超過一半是無人駕駛汽車；

2.

無人機的應用會越來越普遍，物流、巡查、航測等等；

3.

從掃地機器人開始我們的家庭生活裡智能體的數量會逐漸豐富起來。

以上都可以稱作為智能體，智能體也必將深入我們的生活，成為我們的好幫手。
那麼，智能體在開發階段是如何進行的呢？在算法層面又是否需要一把高精度的尺子呢？

【定義】

它相當於智能體算法層面的一把「尺子」，能夠實時以0.1mm的精度捕捉空間內智能體6DoF位姿信息。有些名詞可能仍然不夠清晰明，後面會進一步進行說明。光學動作捕捉系統依靠一整套精密而複雜的光學攝像頭來實現，它通過計算機視覺原理，由多個高速攝像機從不同角度對目標特徵點進行跟蹤，以完成全身的動作的捕捉。光學動作捕捉系統是一種用於準確測量物體（剛體）在室內三維空間運動信息的設備。具有高精度的室內定位能力，能夠給室內小車、無人機、機器人、機械手臂等智能體提供高精度的空間位置信息。

【工作原理】

精準記錄運動信息：基於計算機視覺原理，光學室內定位系統通過布置在空間中的多個紅外攝像機，捕捉區域內物體上反光標識點的運動信息，並以圖像的形式記錄下來。

實時解算六自由度位姿：利用計算機對捕捉到的圖像數據進行處理，實時地解算出運動物體的六自由度位姿，即三自由度位置（X,Y, Z坐標）和三自由度姿態（俯仰角，偏航角和滾轉角）。

該系統也可以稱為「室內定位系統」或「室內GPS」。

多架相機支持，覆蓋範圍廣：光學室內定位系統採用智能相機，將反光球圖像坐標傳到主機，不同相機數目將產生不同的覆蓋範圍，相機越多，覆蓋範圍越大。

【應用場景】

可以做算法驗證、運動規劃、集群控制、人機互動、軌跡回放、步態分析、智慧沙盤等。

現在大家已經知道了光學動作捕捉系統能夠捕捉哪些數據，以及能有什麼用，那麼下面我來給大家分享一些具體案例先講一下無人機集群控制，在這個案例中光學動作捕捉系統起到的作用是讓無人機知道「我」在哪？「你」在哪？我下一步要做什麼？大家可以看到無人機是飛在空中的，所以我們要捕捉其6DoF信息給到上位機，上位機再把控制指令發送到無人機集群。無人機集群是高速運動的，而且是多架，所以就必須做低延時的反饋效率，要不然無人機就炸機或者相互撞上。
所以光學動作捕捉系統的低延時、捕捉6DoF位姿信息的功能起到了至關重要的作用。大家可以看到這是一個虛實結合的方案，光學動作捕捉系統在實物仿真算法驗證階段起到了「尺子」的作用。
舉例說明，在飛控開發懸停的時候，有一個理論的輸入值和一個實際的輸出真值.這個差值就是算法層面的△P,需要一個高精度能夠捕捉6DoF的尺子,給測量出來驗證算法的準確性進而高效的算法，其他智能體在算法層面亦類似。上圖是基於光學動捕系統無人機單機、集群的整體方案。某高校智慧交通沙盤，有十幾輛小車要求能夠準確的識別路況、周圍環境、變道等。前面有提到智慧交通無人機駕駛在短期的未來會逐漸的普及。大家可以想一下，路上跑無人駕駛汽車都需要具備哪些功能呢？所以咱們這套系統在無人駕駛領域，也有著足夠強大的應用前景。

提到智能體大家或許會想到機械手臂，機械手臂一般是六軸的。

光學動作捕捉系統在機械手IK反向動力學算法中有著很重要的作用。

在空間中機械手要抓取一個細小的零件需要一個高精度6DoF控制信息，和要一個精準的軌跡規劃路徑。

在空間內機械手的第六軸從A點位移到B點需要高精度的「尺子」來驗證其算法的準確性。

光學動作捕捉系統定位精度達0.1mm且可捕捉6DoF位姿數據足以滿足需求。

在老牌自動化相關專業多數都在研究機械手臂。

這個市場的存量和增量都非常可觀，包括基於機械手的人機互動的研究等等。

以無人機機器學習為例，無人機在訓練「黑盒子」的時候，有一個理論的輸入值和一個輸出的真值。這裡的輸出真值需要一個高精度的「尺子」來佐證數據的準確性，為人工智慧—機器學習沉澱大量的數據。

詳細介紹：

前面提到光學動作捕捉系統的定義：實時以0.1mm精度捕捉空間內智能體6DoF位姿信息。那光學動作捕捉系統是怎麼做到這麼低延時，這麼高的精度，以捕捉智能體的6DoF位姿信息呢？因為光學動作捕捉系統肚子裡有一個非常強大的GoKu SoC處理模塊，內置高速目標追蹤算法，可同時捕捉400個目標智能體。它能夠以每秒鐘拍攝並處理360張灰度圖，並以ms為單位把灰度圖轉化為數據坐標給到上位機，這樣就會大大減少了帶寬的需求。光學動作捕捉系統支持被動光和主動光系統。像素達130像素可以滿足絕大部分的用戶需求。且理論上支持無限級聯，覆蓋幾千平米的面積都沒有問題。拆開看看光學動作捕捉相機，大家同樣可以看到強大的SoC模塊，動捕相機的體積非常小巧集成度非常高。即小巧的身軀解決了大問題。介紹了光學動作捕捉相機的內在，我們再來說說多個光學動作捕捉系統部署統一空間內時如何同步標定。首先空間內相機部署完成後第一件事是要用「T型杆」進行掃場時的多個相機同步，告訴這些光學動作捕捉相機他們在同一空間內；第二步是利用「L型杆」以某一個相機為基準，建立整個空間的坐標系。大家可以看一下標定的界面視頻，這是其中的一個課題，大家可以看到有79臺光學動作捕捉相機，場地大小達到了300平米。標定完，空間內坐標系建立完成，那我們就開始在智能體上做些文章了。首先先介紹一下被動光標記，在智能體上搭建一個以反光marker點空間幾何剛體即可，因為空間幾何在空間內位置信息是唯一的。只要這個剛體被兩天以上的相機同時看到，就可以把位姿信息定位出來，原理是光學動作捕捉相機發出850nm紅外光，照到反光球反射回來產生相位差。被動光捕捉已經是世界上比較先進的方法了，下面介紹一下比被動光系統更為先進的方法，主動光自識別頻閃編碼。一組LED燈發出850nm頻閃的紅外光被光學動作捕捉相機直接識別，開放部分API客戶可自行開發，LED燈頻閃相當於1/0的編碼被光學動作捕捉相機識別，其是唯一的，一個智能體上固定3個以上的可編碼LED燈即可，這樣做有幾個優勢：

不用3D列印剛體直接固定在智能體上，避免了損壞，且智能體美觀，操作開發方便。

主動光識別的追蹤距離更遠，在相機部署的數量上有優化的空間。

用戶以往是基於光學動作捕捉系統開發智能體，並進行相關研究和撰寫論文。開放API後會在動捕系統方向做相關研究，但目前此方向研究很少，因而相關專業的碩士博士有很大的論文研究空間。

因為是頻閃所以耗電量極低，因此它不會不影響智能體的正常運作。

光學動作捕捉系統核心技術在算法上，軟體層面也盡最大努力給到用戶最友好的界面。方便好用，省去用戶在光學動作捕捉系統操作應用層面的時間與精力。光學動作捕捉系統所支持的格式與接口，智能體方向用戶最常用的是VRPN格式。因為它可以調動ROS，以適用無人機、機器人等智能體。智能體方向用戶最常用的接口是MATLAB和ROS適用與智能體開發。因為相機是發出的錐形體的光，所以在一個空間內需要部署多個相機來實現全覆蓋，包含上位機、路由器、交換機。這裡說一下POE供電，只需一個六類網線就可以實現相機的供電和信號傳輸。光學動作捕捉相機捕捉空間內智能體，無人機、小車的位姿信息給到上位機，上位機得到信息後經過控制算法給出控制信號，通過無線的方式發給智能體，這樣多智能體就實現了集群控制。

適合用戶：

適合哪些學院呢？

人工智慧學院、機械自動化學院、電子自動化學院、計算機學院、電氣自動化學院、航空宇航學院、電工電子類學院、物聯網學院。

無人機專業、飛行器設計專業、機器人工程專業、智能製造專業、自動化專業、虛擬實境專業、智能科學與技術專業、人工智慧專業等。直白的說就是跟控制類相關的的專業或學院或科技公司都適用。

彩蛋：

為促進高校、科研院所對人工智慧—智能體科研與教學工作。如您有課題、項目需求我們會給予光學動作捕捉系統及相關技術支持。促進產學研，科研與實踐教學起飛。自強則萬強，期待我們能夠共同做出經驗的技術及產品！