導讀:
一年一度的ROS開發者大會ROSCon於2019年10月31日至11月1日在中國澳門康萊德酒店如期舉行。作為ROS開社區的全球盛會,ROSCon已經連續舉辦十屆,旨在為全世界所有級別的ROS開發人員提供學習交流的平臺。本屆ROSCon熱度爆棚,吸引了來自全球眾多行業頂尖企業雲集、展示和分享其在機器人開發領域的成果與建樹。
作為ROS 2技術指導委員會(TSC)成員之一,英特爾公司一直致力於ROS 2項目核心功能的開發,在英特爾硬體平臺上的集成和性能優化,以及在業界推動ROS 2的產品化落地的工作。英特爾對於ROS 2項目開發工作的主要貢獻包含:
英特爾機器人開發套件(Robot Development Kit)
移動機器人核心功能模塊navigation2的開發
基於神經網絡加速的工業機器人視覺抓取及手眼標定
英特爾平臺硬體對ROS 2的集成支持及性能優化
其它依賴包的移植及ROS 2安全性和軟體質量相關問題的修復
在ROSCon 2019上,作為ROS 2社區的重要貢獻者及ROSCon的贊助方之一,英特爾公司應邀為社區開發者帶來兩個技術講座:
Navigation2 Overview
OpenVINO Acceleration for Intelligent Robots
Navigation2 Overview
OpenVINO Acceleration for
Intelligent Robots
作為移動型機器人最核心的功能模塊之一,Navigation軟體在ROS 2的開發及移植工作,對ROS 2核心功能的完善以及商業產品的應用都非常關鍵。英特爾的開發人員從2017年底就開始了Navigation模塊在ROS 2上的預研工作。之後經過6個多月的研發及測試工作,全新版本的Navigation2完成了在ROS 2 Crystal Clemmys版本上的集成測試,並且成功地實現了對模擬器及Turtlebot3的支持。如今Navigation2正緊密跟隨ROS 2各個版本的發布,持續完善並創新更多重要功能。
Navigation2創新性地引入了有限元狀態機Behavior Tree,靈活、高效地將路徑規劃、智能避障、狀態恢復等功能模塊組織在一起,能夠充分適應機器人對導航的各種需求。
基於Behavior Tree的導航模塊拓撲
同時,相較於ROS版Navigation,Navigation2也在設計上對模塊功能邊界做了更有意義的封裝,保證了Navigation2對未來需求的應變能力,例如對不同地圖格式、機器人本體以及路徑與避障算法等等的支持。
Navigation2的接口封裝與功能擴展性
目前,Navigation2得到了來自於ROS 2開源社區的更多的支持,在軟體的穩定性、產品化以及複雜場景的支持等方面正按計劃優化與完善。雲跡科技公司「心得」機器人的成功商業化,就是一個明顯的佐證。
OpenVINO
Acceleration for Intelligent Robots
基於深度學習卷積神經網絡(Converlutional Neural Network, CNN)的人工智慧算法越來越多地應用於智慧機器人。然而,CNN推理通常要求千兆FLOP的計算能力,引進一到幾秒的延遲,消耗一個甚至兩個CPU內核的工作負載。而智慧機器人在考慮安全性以及生產效率方面的應用中,對時間延遲有嚴格的要求。
英特爾的OpenVINO(Open Visual Inference & Neural network Optimization)技術提供在英特爾平臺上的CNN加速。英特爾的機器人軟體開發團隊率先把OpenVINO技術應用在工業機器人領域,實現了ROS2智能視覺抓取方案(https://github.com/intel/ros2_grasp_library)。
這一方案運行在英特爾Core平臺上,採用Realsense實感攝像頭,在真實的UR5機械臂和環境中測試。這一方案利用OpenVINO技術,對美國東北大學開發的抓取手勢檢測模型(Grasp Pose Detectionhttps://github.com/atenpas/gpd)在英特爾平臺進行優化和加速,使得模型推理性能在2018年得到3~4倍提升,在2019年得到6~8倍提升,並且可以將計算負載靈活地部署在各種設備上,例如CPU,GPU,或者Movidius VPU。
進一步地,這一方案對接目前工業機器人開源社區最流行的開放框架MoveIt項目,提供GraspPlanning插件,手眼標定,以及支持模擬調試的高級應用例程(https://github.com/ros-planning/moveit_example_apps)。這使得支持MoveIt項目的100多款工業機器人可以很快地應用該方案。
在本次的ROSCon上,英特爾還向ROS社區的開發者推出了基於英特爾平臺的機器人開發套件(Robot Development Kit:https://github.com/intel/robot_devkit)。開發套件不僅包含了機器人開發必不可少的功能模塊,比如機器視覺,建圖導航,路徑規劃,性能和參數調試工具,文檔例程,可視化工具,模擬工具等,還包括一鍵安裝和分步安裝腳本,使得開發環境的搭建變得簡單,開發者可以更加關注滿足實際使用場景的需求和高級應用程式的開發。隨著開發套件的不斷完善,相信基於ROS 2和Intel平臺的開發將更加簡單,極大縮短產品研發和上市時間。
英特爾機器人開發套件基本架構
同時,英特爾還致力於ROS 2產品化推廣的工作,並與英特爾的機器人生態合作廠商一起努力將ROS 2及基於英特爾平臺的機器人開發套件應用於自主移動機器人(Autonomous Mobile Robot)和智能的工業協作機器人(Collaborative Robot)產品。在本次的ROSCon上,英特爾攜手雲跡科技及日本電裝(Denso),展示了基於機器人開發套件的雲跡「心得」送餐機器人和Denso Cobotta協作機器人產品。
雲跡「心得」是一款可以雙向移動的送餐機器人,外觀新穎,載重能力強,可以分擔餐廳送餐、收盤等單一、重複的勞動,節省人力成本,提升運營效率。雲跡「心得」機器人產品的核心功能主要包括:
Semantic Mapping**, multi-storey support
Navigation2**
Intelligent collision avoidance with pedestrian detection and path prejudgment**
Real-time object detection, localization and tracking**
Cloud multi robot scheduling
Elevator IoT communication
在研發基於ROS 2技術的「心得」機器人的過程中,雲跡科技對於ROS 2在商業產品上的應用投入了大量的研發工作,同時也藉助英特爾的機器人開發者套件,在「心得」機器人上進一步性能優化及開啟更多的智能應用場景。
首先,貢獻了機器人移動技術方面的經驗、優化了ROS 2的代碼、添加了雙向移動、多傳感器融合避障等功能;
其次,在積累多年的自主SLAM技術中也不斷加入多維度的視覺元素,並充分考慮視覺技術的實時性要求,在端上部署視覺深度學習模型,包括目標檢測、語義分割、場景識別;
最後,不斷推進Intel Movidius Neural Computer Stick 2、OpenVINO、Realsense Camera、Robot Development Kit等技術的場景落地和功能完善。
雙方在推進通用機器人作業系統ROS 2商用場景落地的過程中互助共贏,攜手同行。
Denso Cobotta是日本電裝公司推出的一款輕便型的6軸協作機器人 (Collaborative Robot)產品,特別適合3C市場、化妝品、能源、汽車乃至生命科學等諸多領域中小型零部件的裝配。同時,電裝Cobotta機器人具有對人友好的外形構造和易於搬運的小型化設計,便於快速實現自動化工作的部署。另外Cobotta還具有如下特點:
操作簡便,支持直接示教功能,可實現直觀操作的GUI (圖形用戶界面),編程工作也更簡便。並且,無需專業化知識,應用簡便。裝載選配件相機後,可用過相機實現示教工作。
具備開放式內嵌式控制器,同時開放Cobotta控制用API (應用程式編程接口),開發者可在OSS版本上通過自由的開發環境進行原生應用的開發工作。
在本次展會上,電裝和英特爾合作展示了基於OpenVINO加速的隨機分揀應用。該應用集成英特爾Realsense攝像頭進行深度感知生成待抓取物點雲,利用OpenVINO加速的AI抓取算法生成抓取位姿,並利用部署於Cobotta內嵌控制器的MoveIt進行抓取運動規劃和壁障。未來,雙方還將基於Cobotta靈活的開發能力和英特爾機器人開發套件中豐富的視覺開發工具,探索更多工業場景下的智慧機器人應用。
ROSCon2019已經落下帷幕。未來,英特爾公司希望能夠進一步加強與ROS社區及機器人產業界的合作,共同推進ROS 2的研發以及產品化落地工作,賦能機器人行業的智能化及可持續發展。