科普——光學動作捕捉系統到底有何作用?

2021-01-08 酷扯兒

本文轉載自【微信公眾號:FzoneLab,ID:gh_233f2c9ac072】經微信公眾號授權轉載,如需轉載與原文作者聯繫

近些年,人工智慧比較火熱,人工智慧分為三大學派,符號主義、連接主義、行為主義。

無人機、機器人等智能體屬於連接主義、行為主義範疇,其應用價值也日益凸顯。

在智能體算法層面,光學動作捕捉系統能做哪些事情呢?

我們先設想幾個場景:

1.

在未來幾年內無人駕駛會越來越普遍,甚至在不久的將來,道路上的車會有超過一半是無人駕駛汽車;

2.

無人機的應用會越來越普遍,物流、巡查、航測等等;

3.

從掃地機器人開始我們的家庭生活裡智能體的數量會逐漸豐富起來。

以上都可以稱作為智能體,智能體也必將深入我們的生活,成為我們的好幫手。

那麼,智能體在開發階段是如何進行的呢?在算法層面又是否需要一把高精度的尺子呢?

【定義】

先給光學動作捕捉系統下一個定義:

它相當於智能體算法層面的一把「尺子」,能夠實時以0.1mm的精度捕捉空間內智能體6DoF位姿信息。

有些名詞可能仍然不夠清晰明,後面會進一步進行說明。

光學動作捕捉系統依靠一整套精密而複雜的光學攝像頭來實現,它通過計算機視覺原理,由多個高速攝像機從不同角度對目標特徵點進行跟蹤,以完成全身的動作的捕捉。

光學動作捕捉系統是一種用於準確測量物體(剛體)在室內三維空間運動信息的設備。

具有高精度的室內定位能力,能夠給室內小車、無人機、機器人、機械手臂等智能體提供高精度的空間位置信息。

【工作原理】

精準記錄運動信息:基於計算機視覺原理,光學室內定位系統通過布置在空間中的多個紅外攝像機,捕捉區域內物體上反光標識點的運動信息,並以圖像的形式記錄下來。實時解算六自由度位姿:利用計算機對捕捉到的圖像數據進行處理,實時地解算出運動物體的六自由度位姿,即三自由度位置(X,Y, Z坐標)和三自由度姿態(俯仰角,偏航角和滾轉角)。該系統也可以稱為「室內定位系統」或「室內GPS」。多架相機支持,覆蓋範圍廣:光學室內定位系統採用智能相機,將反光球圖像坐標傳到主機,不同相機數目將產生不同的覆蓋範圍,相機越多,覆蓋範圍越大。

【應用場景】

可以做算法驗證、運動規劃、集群控制、人機互動、軌跡回放、步態分析、智慧沙盤等。

現在大家已經知道了光學動作捕捉系統能夠捕捉哪些數據,以及能有什麼用,那麼下面我來給大家分享一些具體案例

具體案例:

先講一下無人機集群控制,在這個案例中光學動作捕捉系統起到的作用是讓無人機知道「我」在哪?「你」在哪?我下一步要做什麼?

大家可以看到無人機是飛在空中的,所以我們要捕捉其6DoF信息給到上位機,上位機再把控制指令發送到無人機集群。

無人機集群是高速運動的,而且是多架,所以就必須做低延時的反饋效率,要不然無人機就炸機或者相互撞上。

所以光學動作捕捉系統的低延時、捕捉6DoF位姿信息的功能起到了至關重要的作用。

說完多架無人機,我們來說說單架無人機。

大家可以看到這是一個虛實結合的方案,光學動作捕捉系統在實物仿真算法驗證階段起到了「尺子」的作用。

舉例說明,在飛控開發懸停的時候,有一個理論的輸入值和一個實際的輸出真值.

這個差值就是算法層面的△P,需要一個高精度能夠捕捉6DoF的尺子,給測量出來驗證算法的準確性進而高效的算法,其他智能體在算法層面亦類似。

上圖是基於光學動捕系統無人機單機、集群的整體方案。

咱們聊完天上飛的,再聊聊地上跑。

某高校智慧交通沙盤,有十幾輛小車要求能夠準確的識別路況、周圍環境、變道等。

前面有提到智慧交通無人機駕駛在短期的未來會逐漸的普及。

大家可以想一下,路上跑無人駕駛汽車都需要具備哪些功能呢?

高精度的識別、超低延時的反饋。

而且這些無人機駕駛汽車一定是從實驗室裡跑出去的。

所以咱們這套系統在無人駕駛領域,也有著足夠強大的應用前景。

提到智能體大家或許會想到機械手臂,機械手臂一般是六軸的。

光學動作捕捉系統在機械手IK反向動力學算法中有著很重要的作用。

在空間中機械手要抓取一個細小的零件需要一個高精度6DoF控制信息,和要一個精準的軌跡規劃路徑。

在空間內機械手的第六軸從A點位移到B點需要高精度的「尺子」來驗證其算法的準確性。

光學動作捕捉系統定位精度達0.1mm且可捕捉6DoF位姿數據足以滿足需求。

在老牌自動化相關專業多數都在研究機械手臂。

這個市場的存量和增量都非常可觀,包括基於機械手的人機互動的研究等等。

【機器學習】

以無人機機器學習為例,無人機在訓練「黑盒子」的時候,有一個理論的輸入值和一個輸出的真值。

這裡的輸出真值需要一個高精度的「尺子」來佐證數據的準確性,為人工智慧—機器學習沉澱大量的數據。

詳細介紹:

前面提到光學動作捕捉系統的定義:實時以0.1mm精度捕捉空間內智能體6DoF位姿信息。

那光學動作捕捉系統是怎麼做到這麼低延時,這麼高的精度,以捕捉智能體的6DoF位姿信息呢?

因為光學動作捕捉系統肚子裡有一個非常強大的GoKu SoC處理模塊,內置高速目標追蹤算法,可同時捕捉400個目標智能體。

它能夠以每秒鐘拍攝並處理360張灰度圖,並以ms為單位把灰度圖轉化為數據坐標給到上位機,這樣就會大大減少了帶寬的需求。

光學動作捕捉系統支持被動光和主動光系統。像素達130像素可以滿足絕大部分的用戶需求。且理論上支持無限級聯,覆蓋幾千平米的面積都沒有問題。

拆開看看光學動作捕捉相機,大家同樣可以看到強大的SoC模塊,動捕相機的體積非常小巧集成度非常高。即小巧的身軀解決了大問題。

介紹了光學動作捕捉相機的內在,我們再來說說多個光學動作捕捉系統部署統一空間內時如何同步標定。

首先空間內相機部署完成後第一件事是要用「T型杆」進行掃場時的多個相機同步,告訴這些光學動作捕捉相機他們在同一空間內;

第二步是利用「L型杆」以某一個相機為基準,建立整個空間的坐標系。

這兩步完成後就可以開始工作捕捉空間內的智能體了。

理論上級聯沒有上限。

標定完,空間內坐標系建立完成,那我們就開始在智能體上做些文章了。

捕捉智能體分為被動光標記和主動光標記。

首先先介紹一下被動光標記,在智能體上搭建一個以反光marker點空間幾何剛體即可,因為空間幾何在空間內位置信息是唯一的。

只要這個剛體被兩天以上的相機同時看到,就可以把位姿信息定位出來,原理是光學動作捕捉相機發出850nm紅外光,照到反光球反射回來產生相位差。

被動光捕捉已經是世界上比較先進的方法了,下面介紹一下比被動光系統更為先進的方法,主動光自識別頻閃編碼。

一組LED燈發出850nm頻閃的紅外光被光學動作捕捉相機直接識別,開放部分API客戶可自行開發,LED燈頻閃相當於1/0的編碼被光學動作捕捉相機識別,其是唯一的,一個智能體上固定3個以上的可編碼LED燈即可,這樣做有幾個優勢:

不用3D列印剛體直接固定在智能體上,避免了損壞,且智能體美觀,操作開發方便。主動光識別的追蹤距離更遠,在相機部署的數量上有優化的空間。用戶以往是基於光學動作捕捉系統開發智能體,並進行相關研究和撰寫論文。開放API後會在動捕系統方向做相關研究,但目前此方向研究很少,因而相關專業的碩士博士有很大的論文研究空間。因為是頻閃所以耗電量極低,因此它不會不影響智能體的正常運作。

光學動作捕捉系統核心技術在算法上,軟體層面也盡最大努力給到用戶最友好的界面。

一鍵式標定、一鍵式創建剛體、界面全三維展示等。

方便好用,省去用戶在光學動作捕捉系統操作應用層面的時間與精力。

光學動作捕捉系統所支持的格式與接口,智能體方向用戶最常用的是VRPN格式。

因為它可以調動ROS,以適用無人機、機器人等智能體。

智能體方向用戶最常用的接口是MATLAB和ROS適用與智能體開發。

格式和接口都是直接給到用戶,非常的方便實用。

【光學動作捕捉系統的組成】

因為相機是發出的錐形體的光,所以在一個空間內需要部署多個相機來實現全覆蓋,包含上位機、路由器、交換機。

這裡說一下POE供電,只需一個六類網線就可以實現相機的供電和信號傳輸。

基於空地聯動集群描述一下其工作原理:

光學動作捕捉相機捕捉空間內智能體,無人機、小車的位姿信息給到上位機,上位機得到信息後經過控制算法給出控制信號,通過無線的方式發給智能體,這樣多智能體就實現了集群控制。

相關焦點

  • 光學動作捕捉系統是什麼?它能在自動駕駛、無人機、機器人中起什麼...
    在智能體算法層面,動作捕捉是自動駕駛、無人機、機器人、安防等涉及電子運動學中最重要的技術和算法,而光學動作捕捉處於這門算法學科的最前端。那麼光學動作捕捉系統到底能做哪些事情呢?gwMednc本文由柒DoF原創發表在EDN電子技術設計,通過通俗易懂的方式介紹了光學動作捕捉系統的原理、應用場景和基本算法等。
  • 動作捕捉系統發展與應用
    為了自動完成這一過程,動畫師們開始使用動作捕捉。西蒙弗雷澤大學生物動力學研究員Tom Calvert開創性地發明了機械動捕服。有一家公司開發了「Waldo」面部和肢體捕捉設備,同時,麻省理工開發了基於LED的「圖形木偶」,這也是首批光學動作跟蹤系統。這一系統的早期動畫典例便是Kleiser-Walczak製作的臭名昭著且令人毛骨悚然的MV《Don’t Touch Me》。
  • 認識動作捕捉系統 淺談三種主流解決方案
    VR是一場交互方式的新革命,人們正在實現由界面到空間的交互方式變遷,這樣的交互極其強調沉浸感,而用戶想要獲得完全的沉浸感,真正「進入」虛擬世界,動作捕捉系統是必須的,可以說動作捕捉技術是VR產業隱形鑰匙。目前動作捕捉系統有慣性式和光學式兩大主流技術路線,而光學式又分為標定和非標定兩種。
  • VR裡的慣性式動作捕捉系統究竟是什麼?
    VR是一場交互方式的新革命,人們正在實現由界面到空間的交互方式變遷,這樣的交互極其強調沉浸感,而用戶想要獲得完全的沉浸感,真正「進入」虛擬世界,動作捕捉系統是必須的,可以說動作捕捉技術是VR產業隱形鑰匙。 目前動作捕捉系統有慣性式和光學式兩大主流技術路線,慣性式雖然後於光學式出現,但以其超低廉成本和簡便成熟的處理流程,以及完全實時的數據計算和回傳機制,成為了更加炙手可熱的技術。
  • VR利器慣性動作捕捉系統原理及優缺點解析
    目前動作捕捉系統有慣性式和光學式兩大主流技術路線,慣性式雖然後於光學式出現,但以其超低廉成本和簡便成熟的處理流程,以及完全實時的數據計算和回傳機制,成為了更加炙手可熱的技術。目前國際上最富代表性的產品是荷蘭Xsens公司研發的Xsens MVN慣性式動作捕捉系統以及美國Innalabs公司研發的3DSuit慣性式動作捕捉系統,國內則有諾亦騰、國承萬通等公司。  那麼慣性式動作捕捉系統是如何正確運用在虛擬實境中的呢?本文將對慣性動捕的工作原理、優勢,及其存在的缺點進行解析,希望能與業內人士共同探討。
  • 動作捕捉系統在裝配機器人(即機械臂)方向中的應用
    演示編程是由機器人系統從人的操作演示中提取理解有效信息,進而將該信息轉化為機器人的程序和參數,使機器人完成相應操作。由於3C組裝過程的組裝動作具有工作空間相對較小,精度高,運動複雜的特點,此外,3C裝配線上的大多數工人都是非專業操作員,他們對工業機器人知之甚少。因此,在裝配工作中能夠在不影響人工自然組裝運動的前提下獲取工人的手部運動數據是非常重要的。
  • 不同原理動作捕捉類型與應用現狀
    動作捕捉技術現階段可以分為以下幾種:光學式,慣性式,機械式,聲學式,電磁式。光學式動作捕捉顧名思義,是通過光學原理來完場物體的捕捉和定位的。是通過光學鏡頭捕捉固定在人體或是物體上面的marker的位置信息來完成動作姿態捕捉。
  • 動作捕捉面部表情系統方案
    只有真實、流暢的肢體動作配上逼真、生動的面部表情,二者有機結合,才能呈現出更完美的虛擬角色,實現現代角色動畫製作的最高水準。在當今角色動畫發展的主流趨勢下,搭載一套面部表情捕捉系統配合動作捕捉系統使用,從而製作出一個面部表情與肢體動作協調一致、生動、完整的高水準三維角色是十分必要和有益的。
  • 一款基於傳感器的動作捕捉系統
    打開APP 一款基於傳感器的動作捕捉系統 李倩 發表於 2018-09-21 09:06:19 Rokoko製作了一個SmartSuit
  • Perception Neuron系統,讓動作捕捉技術不再高冷
    動作捕捉技術的出現,大大豐富了動畫、遊戲等的視覺效果。特別是在《阿凡達》等眾多電影中的應用,更是帶來了酷炫的視覺狂潮。無論是細微的面部表情,還是複雜的肢體動作,都能表現的淋漓盡致。不過,儘管有這些震撼效果的誘惑,但面對每套設備動輒上百萬的費用,大多的開發者也只能望而興嘆。
  • 新式無痕動作捕捉系統:無需穿特製衣服
    Organic Motion今天發布了新一代的動作捕捉系統「OpenStage」來獲取人類在運動中精準的三維數字表現。這項新技術將會創建一個多人實時表現的精確的數字克隆,可在遊戲和電腦動畫中使用曾經演員需要穿著黑色的帶白球的衣服這樣相機才好抓拍到他們在舞臺上的動作,而有了無痕跡動作捕捉之後,演員們不需要再穿著那些該死的衣服。
  • 慣性動作捕捉系統FOHEART·X全新亮相
    【編者按】孚心科技今日推出全新慣性動作捕捉系統FOHEART·X全新亮相的動捕">慣性動捕FOHEART·X硬體具有以下幾大特性:·支持跑動 跳躍·高 精 度 孚心科技今日推出全新慣性動作捕捉系統FOHEART·X全新亮相的動捕">慣性動捕FOHEART
  • 天美是如何將動作捕捉運用到遊戲中的?
    應用難度和數據精度的性價比平衡點以全球頭部動捕系統Vicon品牌為參考系,光學動作捕捉技術發展已經有30年。不得不承認,從動作捕捉剛起步的時候,到2008年左右,動作捕捉系統都是屬於比較難操作、需要長時間培訓的工種,捕捉條件也受到各種客觀條件的約束。
  • 天文臺選址有何講究?首先需考慮氣象因素
    天文臺通常分為光學天文臺、射電天文臺和空間天文臺等。  光學天文臺的裝備主要為天文望遠鏡等各種光學天文儀器,天文學家通過地球大氣的光學窗口,觀察、測量、研究光學波段,從而探索和了解天體與宇宙;射電天文臺則是以射電天文為主業的天文臺,裝備主要為射電望遠鏡;空間天文臺和上文提到的兩種傳統地基天文臺有著本質區別,它是運載天文望遠鏡或其他天文觀測儀器的飛行器的統稱,配備有各種先進的光學觀測系統。
  • 開啟醫療新探索,虛擬動點OptiTrack動作捕捉系統與增強現實手術...
    醫生佩戴好3D眼鏡後,骨骼的呈現變得立體且有空間感,在透明顯示屏鏡中所處位置與病人實際骨骼位置相同,做到虛擬圖像在實際空間中完全與病人真實骨骼覆蓋,從而便於醫生進行實時手術操作。得益於OptiTrack空間定位技術,顯示屏鏡中的虛擬骨骼可以和病人真實骨骼精準地重合,同時手術器械、顯示設備等也被實時定位,實現了虛擬與現實的統一。
  • 從咕嚕到隔空取物 動作捕捉技術讓遊戲超乎想像
    這個漫威宇宙的反派角色是安迪-瑟金斯少見的真人出鏡的表演角色之一,他過往所參與的演出基本上都是採用動作捕捉技術+虛擬角色的模式,比如《指環王》中的咕嚕,《猩球崛起》中的凱撒,有「全球動作捕捉第一人」的美稱。從誕生至今,動作捕捉已經成為電影製作中必不可少的技術手段,成為真實化虛擬角色的重要「推手」。 此外,該項技術也廣泛應用於遊戲行業,鮮活角色,增進虛擬遊戲體驗。
  • 四旋翼無人機和動作捕捉系統能碰撞出哪些火花?
    悟空TM光學動捕系統工作原理如圖6,悟空TM光學動捕系統軟體界面如圖7。圖7 悟空TM光學動捕系統軟體界面悟空TM光學動捕系統一般使用6臺以上的相機,相當於15(c62)對雙目。光學動捕系統是一種最常見的外部視覺傳感器,它是基於計算機視覺原理,依靠安裝在無人機機身上的特殊紅外標誌物,通過外部環繞場地排列的多個攝像頭來測量運動物體在空間的運動狀態。今年來,多所高校在光學動捕系統的環境下,展開了一系列的研究,並取得了豐碩的成果,代表性高校有瑞士聯邦理工學院、賓夕法尼亞大學、麻省理工大學和楊百翰大學等。
  • 動作捕捉術讓猩猩變成表演藝術家
    一路擔任幕後表演功臣的動作捕捉表演第一人安迪·瑟金斯在《猩球崛起》中扮演的猩猩凱撒細膩到眼神都有戲,技術部門數字動畫做出來的猩猩形象以假亂真,同時攝製組還實現了「戶外實景多人同時捕捉技術」,這一切都是《猩球崛起》之前很多電影不敢想的。
  • 在《猩球崛起3》裡演個猩猩有多難?揭秘關於動作捕捉技術的那些事兒
    這次《猩球崛起3》中的凱撒和他的一眾夥伴造型上區別度更高,表演形式上更加細緻,不論是猩猩的毛髮或是皮膚,在不同光線中呈現的色調都不盡相同,究竟何為動作捕捉技術?如何飾演一隻惟妙惟肖的猩猩?如何在技術的鋪墊下發揮精湛的演技?新京報對話主演瑟金斯,並獨家揭秘闡釋《猩球崛起3》背後的技術奧秘。
  • 《猩球崛起3》上映 揭秘影片動作捕捉拍攝奧秘
    這次《猩球3》中的凱撒和他的一眾夥伴造型上區別度更高,表演形式上更加細緻,不論是猩猩的毛髮或是皮膚,在不同光線中呈現的色調都不盡相同,究竟何為動作捕捉技術?如何飾演一隻惟妙惟肖的猩猩?如何在技術的鋪墊下發揮精湛的演技?新京報對話主演瑟金斯,並獨家揭秘闡釋《猩球3》背後的技術奧秘。