英特爾機器人開發套件助力ROS 2產品化落地

2020-12-24 騰訊網

導讀:

一年一度的ROS開發者大會ROSCon於2019年10月31日至11月1日在中國澳門康萊德酒店如期舉行。作為ROS開社區的全球盛會,ROSCon已經連續舉辦十屆,旨在為全世界所有級別的ROS開發人員提供學習交流的平臺。本屆ROSCon熱度爆棚,吸引了來自全球眾多行業頂尖企業雲集、展示和分享其在機器人開發領域的成果與建樹。

作為ROS 2技術指導委員會(TSC)成員之一,英特爾公司一直致力於ROS 2項目核心功能的開發,在英特爾硬體平臺上的集成和性能優化,以及在業界推動ROS 2的產品化落地的工作。英特爾對於ROS 2項目開發工作的主要貢獻包含:

英特爾機器人開發套件(Robot Development Kit)

移動機器人核心功能模塊navigation2的開發

基於神經網絡加速的工業機器人視覺抓取及手眼標定

英特爾平臺硬體對ROS 2的集成支持及性能優化

其它依賴包的移植及ROS 2安全性和軟體質量相關問題的修復

在ROSCon 2019上,作為ROS 2社區的重要貢獻者及ROSCon的贊助方之一,英特爾公司應邀為社區開發者帶來兩個技術講座:

Navigation2 Overview

OpenVINO Acceleration for Intelligent Robots

Navigation2 Overview

OpenVINO Acceleration for

Intelligent Robots

作為移動型機器人最核心的功能模塊之一,Navigation軟體在ROS 2的開發及移植工作,對ROS 2核心功能的完善以及商業產品的應用都非常關鍵。英特爾的開發人員從2017年底就開始了Navigation模塊在ROS 2上的預研工作。之後經過6個多月的研發及測試工作,全新版本的Navigation2完成了在ROS 2 Crystal Clemmys版本上的集成測試,並且成功地實現了對模擬器及Turtlebot3的支持。如今Navigation2正緊密跟隨ROS 2各個版本的發布,持續完善並創新更多重要功能。

Navigation2創新性地引入了有限元狀態機Behavior Tree,靈活、高效地將路徑規劃、智能避障、狀態恢復等功能模塊組織在一起,能夠充分適應機器人對導航的各種需求。

基於Behavior Tree的導航模塊拓撲

同時,相較於ROS版Navigation,Navigation2也在設計上對模塊功能邊界做了更有意義的封裝,保證了Navigation2對未來需求的應變能力,例如對不同地圖格式、機器人本體以及路徑與避障算法等等的支持。

Navigation2的接口封裝與功能擴展性

目前,Navigation2得到了來自於ROS 2開源社區的更多的支持,在軟體的穩定性、產品化以及複雜場景的支持等方面正按計劃優化與完善。雲跡科技公司「心得」機器人的成功商業化,就是一個明顯的佐證。

OpenVINO

Acceleration for Intelligent Robots

基於深度學習卷積神經網絡(Converlutional Neural Network, CNN)的人工智慧算法越來越多地應用於智慧機器人。然而,CNN推理通常要求千兆FLOP的計算能力,引進一到幾秒的延遲,消耗一個甚至兩個CPU內核的工作負載。而智慧機器人在考慮安全性以及生產效率方面的應用中,對時間延遲有嚴格的要求。

英特爾的OpenVINO(Open Visual Inference & Neural network Optimization)技術提供在英特爾平臺上的CNN加速。英特爾的機器人軟體開發團隊率先把OpenVINO技術應用在工業機器人領域,實現了ROS2智能視覺抓取方案(https://github.com/intel/ros2_grasp_library)。

這一方案運行在英特爾Core平臺上,採用Realsense實感攝像頭,在真實的UR5機械臂和環境中測試。這一方案利用OpenVINO技術,對美國東北大學開發的抓取手勢檢測模型(Grasp Pose Detectionhttps://github.com/atenpas/gpd)在英特爾平臺進行優化和加速,使得模型推理性能在2018年得到3~4倍提升,在2019年得到6~8倍提升,並且可以將計算負載靈活地部署在各種設備上,例如CPU,GPU,或者Movidius VPU。

進一步地,這一方案對接目前工業機器人開源社區最流行的開放框架MoveIt項目,提供GraspPlanning插件,手眼標定,以及支持模擬調試的高級應用例程(https://github.com/ros-planning/moveit_example_apps)。這使得支持MoveIt項目的100多款工業機器人可以很快地應用該方案。

在本次的ROSCon上,英特爾還向ROS社區的開發者推出了基於英特爾平臺的機器人開發套件(Robot Development Kit:https://github.com/intel/robot_devkit)。開發套件不僅包含了機器人開發必不可少的功能模塊,比如機器視覺,建圖導航,路徑規劃,性能和參數調試工具,文檔例程,可視化工具,模擬工具等,還包括一鍵安裝和分步安裝腳本,使得開發環境的搭建變得簡單,開發者可以更加關注滿足實際使用場景的需求和高級應用程式的開發。隨著開發套件的不斷完善,相信基於ROS 2和Intel平臺的開發將更加簡單,極大縮短產品研發和上市時間。

英特爾機器人開發套件基本架構

同時,英特爾還致力於ROS 2產品化推廣的工作,並與英特爾的機器人生態合作廠商一起努力將ROS 2及基於英特爾平臺的機器人開發套件應用於自主移動機器人(Autonomous Mobile Robot)和智能的工業協作機器人(Collaborative Robot)產品。在本次的ROSCon上,英特爾攜手雲跡科技日本電裝(Denso),展示了基於機器人開發套件的雲跡「心得」送餐機器人Denso Cobotta協作機器人產品。

雲跡「心得」是一款可以雙向移動的送餐機器人,外觀新穎,載重能力強,可以分擔餐廳送餐、收盤等單一、重複的勞動,節省人力成本,提升運營效率。雲跡「心得」機器人產品的核心功能主要包括:

Semantic Mapping**, multi-storey support

Navigation2**

Intelligent collision avoidance with pedestrian detection and path prejudgment**

Real-time object detection, localization and tracking**

Cloud multi robot scheduling

Elevator IoT communication

在研發基於ROS 2技術的「心得」機器人的過程中,雲跡科技對於ROS 2在商業產品上的應用投入了大量的研發工作,同時也藉助英特爾的機器人開發者套件,在「心得」機器人上進一步性能優化及開啟更多的智能應用場景。

首先,貢獻了機器人移動技術方面的經驗、優化了ROS 2的代碼、添加了雙向移動、多傳感器融合避障等功能;

其次,在積累多年的自主SLAM技術中也不斷加入多維度的視覺元素,並充分考慮視覺技術的實時性要求,在端上部署視覺深度學習模型,包括目標檢測、語義分割、場景識別;

最後,不斷推進Intel Movidius Neural Computer Stick 2、OpenVINO、Realsense Camera、Robot Development Kit等技術的場景落地和功能完善。

雙方在推進通用機器人作業系統ROS 2商用場景落地的過程中互助共贏,攜手同行。

Denso Cobotta是日本電裝公司推出的一款輕便型的6軸協作機器人 (Collaborative Robot)產品,特別適合3C市場、化妝品、能源、汽車乃至生命科學等諸多領域中小型零部件的裝配。同時,電裝Cobotta機器人具有對人友好的外形構造和易於搬運的小型化設計,便於快速實現自動化工作的部署。另外Cobotta還具有如下特點:

操作簡便,支持直接示教功能,可實現直觀操作的GUI (圖形用戶界面),編程工作也更簡便。並且,無需專業化知識,應用簡便。裝載選配件相機後,可用過相機實現示教工作。

具備開放式內嵌式控制器,同時開放Cobotta控制用API (應用程式編程接口),開發者可在OSS版本上通過自由的開發環境進行原生應用的開發工作。

在本次展會上,電裝和英特爾合作展示了基於OpenVINO加速的隨機分揀應用。該應用集成英特爾Realsense攝像頭進行深度感知生成待抓取物點雲,利用OpenVINO加速的AI抓取算法生成抓取位姿,並利用部署於Cobotta內嵌控制器的MoveIt進行抓取運動規劃和壁障。未來,雙方還將基於Cobotta靈活的開發能力和英特爾機器人開發套件中豐富的視覺開發工具,探索更多工業場景下的智慧機器人應用。

ROSCon2019已經落下帷幕。未來,英特爾公司希望能夠進一步加強與ROS社區及機器人產業界的合作,共同推進ROS 2的研發以及產品化落地工作,賦能機器人行業的智能化及可持續發展。

相關焦點

  • 機器人作業系統從ROS升級到ROS2 部署不再是難題
    機器人領域之所以快速增長,有一部分原因是得益於開源開發和機器人作業系統ROS或ROS2的發展。本文引用地址:http://www.eepw.com.cn/article/201810/393104.htm  關於ROS和ROS2的發展狀況,英特爾物聯網軟體技術副總裁Greg Burns和ADLINK物聯網技術總監Joe Speed做了詳細分析。
  • 機器人課程系列:如何安裝ROS(Robot Operating System,機器人操作...
    維基上ROS的定義如下,ROS(機器人作業系統,RobotOperating System),是專為機器人軟體開發所設計出來的一套電腦作業系統架構。之前的課程裡分享了很多機器人的專案,很多夥伴也都有做各種不同的機器人,例如:雙足機器人、教育型機器人或是Arduino的關節型機器人。這些機器人有些沒有作業系統,且硬體設計都不一樣,如果在新的項目只是想用之前設計的一部分的話,代表要重複製作,才有辦法使用到別人早就做過的東西。
  • 百度飛槳適配英特爾®NUC,助力AI產業落地
    百度飛槳適配英特爾®NUC,助力AI產業落地 2020年12月18日 14:18作者:網絡編輯:王動 AI產業軟硬體結合新方案:百度飛槳和神州數碼強強聯手
  • 百度飛槳適配英特爾NUC,助力AI產業落地
    AI產業軟硬體結合新方案:百度飛槳和神州數碼強強聯手,完成百度飛槳全流程開發工具與英特爾NUC(Next Unit of Computing)的兼容性適配,為AI產業落地提供高性能軟硬一體的解決方案。Paddle X提供了圖像化開發界面和Python API兩種開發形式,覆蓋了機器視覺領域的圖像分類、目標檢測、實例分割、語義分割四大任務,提供了質檢、安防、遙感、人像分割等豐富的行業實踐能力。得益於Paddle X的能力,英特爾NUC的用戶可以更快速獲得優質的AI算法開發體驗,快速完成AI項目落地。
  • 基於Arduino和ROS來創建更智能的機器人系統
    但是,由於板載計算能力和軟體有限,開發人員常常無法升級到更複雜的機器人。通常,隨著開發人員變得越來越有經驗,他們會尋專用於機器人的軟體,因為Arduino僅提供部分控制項。 在本篇文章中,我們主要介紹了中間件軟體框架Robot Operating System(ROS),並引導您通過Arduino設置和使用ROS來創建更智能的機器人系統。 什麼是ROS?
  • 英特爾的AI抗疫之路:從輔助決策到落地消毒機器人
    疫情爆發以來,醫療資源供需不平衡、地區不平衡的問題格外尖銳,許多科技公司推出了AI解決方案,英特爾也不例外。4月23日,英特爾以線上方式舉辦了「因AI而生,疫不容辭」主題沙龍,分享人工智慧抗疫經驗。匯醫慧影、上海鈦米機器人、第四範式、匯川技術等公司代表現身分享,從產品視角介紹了AI技術在抗疫過程中的應用。
  • 機器人應用部署——ROS簡介
    ROS概述ROS.org將機器人作業系統(ROS)定義為「一套幫助開發者構建機器人應用程式的軟體庫和工具——從驅動程序到最先進的算法。憑藉強大的開發工具, ROS擁有助力您開發下一個機器人項目所需要的一切,而且這一切都是開源的。」ROS推動形成標準化,向開發協作、互操作機器人應用邁出了重要的一步。
  • ROS 2 Crystal Clemmys版本上線,歡迎廣大工程師試用並反饋
    由於具體功能與用例要求不同,請閱讀特性說明信息頁:https://index.ros.org/doc/ros2/Features/與ROS 2產品路線圖:https://index.ros.org/doc/ros2/Roadmap/,確定ROS 2是否可用於你的應用程式或者你是否可以從ROS 1切換至ROS 2。
  • 「破局」AI規模化落地,英特爾至強的七重助力
    以第二代英特爾至強可擴展處理器上的 VNNI 深度學習加速指令為例,過去卷積神經需要三條指令,而現在的話一條指令就可以了,通過在底層的軟硬體協同優化,可根據不同深度學習框架將推理性能加速 2-3 倍甚至更多。
  • 控制伺服機運轉順暢的ROS程序設計
    ROS(Robot OperatingSystem)是開源的機器人系統平臺。使用這個之後,機器人就可以看見東西、測繪、導航,或是以最新的算法作用於周圍的環境當中。假如想要製造複雜的機器人,已經準備好的ROS程序代碼就能派上用場。ROS能在最低限度下運用。這可以透過Raspberry Pi等級的計算機安裝。做為ROS的入門篇我們來看看如何控制伺服機。伺服機的缺點是會儘快遵照指令運轉,因此頭部常常會突然活動,以至於失去平衡。不過使用ROS之後,就可以進行正弦曲線運動,讓機器人保持穩定。
  • 英特爾邊緣軟體中心重磅發布一站式資源供給為應用開發創新賦能
    依託英特爾開源的OpenVINO工具套件在異構計算平臺的智能邊緣推理加速效能,目前「英特爾邊緣軟體中心」已可為視覺、工業、零售領域提供相對應的一站式邊緣洞見軟體包,幫助企業開發降本增效,提升用戶體驗,賦能行業技術創新。
  • 機器人開發框架項目匯總
    項目官網:http://cylonjs.comGithub代碼託管:https://github.com/hybridgroup/cylon/簡介:一個機器人JavaScript開發框架,可使用Node.js進行機器人開發和物理計算;它提供了一個簡單但強大的方法來解決同一時間處理不同硬體設備的問題。
  • 為什麼我選擇並且推崇用ROS開發機器人?
    我必須說明下,進程間通信並不是ROS能夠佔領機器人開發環境的主要原因。在2010年,我們開發一款類似Atlas的大型人形軍用機器人的時候,就用到了進程間通信工具IPC。IPC就是Inter ProCESs Communication,開發者是CMU的Reid Simmons,應該是出現在2000年左右。
  • 除了ROS ,機器人自主定位導航還能怎麼做?
    Willow Garage PR2 機器人平臺ROS大致每年發布一個版本,值得一提的是,ROS的設計者考慮到各開發者使用的開發語言不同,因此ROS的開發語言獨立,支持C++, python等多種開發語言。因此,除了官方提供的功能包之外,ROS還聚合了全世界開發者實現的大量開源功能包,如思嵐科技(SLAMTEC)就發布了針對其自主研發的雷射雷達RPLIDAR的ROS功能包rplidar_ros。這些開源功能包與ROS一起構成了強大的開源生態環境。
  • 構建長期共贏生態圈 英特爾至強平臺加速人工智慧落地
    英特爾與匯醫慧影合作,進行AI醫學影像解決方案優化,藉助集成英特爾深度學習加速技術的第二代英特爾至強可擴展處理器與OpenVINO工具套件,匯醫慧影Dr. Turing AI平臺的推理性能大幅提升,為醫療機構提供更精準的診斷輔助。隨著雲、大數據、物聯網、5G等技術的成熟及普及,人工智慧應用也在更多場景落地。
  • 華為海思推出首批 HiSpark 開發套件,全面支持鴻蒙 2.0
    IT之家9月17日消息 上海海思與合作夥伴打造了 HiSpark 系列開發套件,包括硬體開發板、SDK 包、參考工程、說明文檔等。它寓意為向廣大開發者散播智能終端的星星之火,迎接人工智慧時代的到來。首批 HiSpark 開發套件將覆蓋感知計算、智慧聯接領域,支持多作業系統,並全面支持 HarmonyOS 2.0。
  • 微軟宣布Windows支持ROS機器人開發
    微軟通過宣布Windows對機器人作業系統(ROS)的支持並加入一個工業聯盟,展示了對機器人技術的更大承諾。ROS是一個靈活的框架,使開發人員能夠編寫用於高級機器人行為的軟體。雖然工具,庫和約定的集合歷史上只有Linux上的官方支持,但開發人員現在可以使用Windows 10中的工具。
  • 華為海思推出首批HiSpark開發套件 全面支持HarmonyOS 2.0
    上海海思與合作夥伴打造了 HiSpark 系列開發套件,包括硬體開發板、SDK 包、參考工程、說明文檔等。首批 HiSpark 開發套件將覆蓋感知計算、智慧聯接領域,支持多作業系統,並全面支持 HarmonyOS 2.0。HiSpark 開發板是基於海思晶片開發平臺,分別為:HiSpark WiFi IoT、HiSpark AI Camera、HiSpark IPC DIY 三款智能硬體開發套件,均由潤和軟體與海思技術團隊自主聯合研發。
  • 飛槳Master模式閃耀WAVE SUMMIT+ 四大產業應用開發套件加快智能化...
    本屆峰會,飛槳(PaddlePaddle)全新發布和重要升級21個產品方向,包括面向產業應用場景的四大端到端開發套件、融合數據和知識的預訓練結合遷移學習的飛槳Master模式、端側推理引擎Paddle Lite 2.0、EasyDL專業版、前沿技術工具組件等。可以看到飛槳的易用性全面提升,極大降低開發門檻的同時,面向產業應用的支撐能力更強。
  • 華為海思發布HiSpark智能家居開發套件:全面支持鴻蒙2.0
    現在,華為旗下對外的上海海思與潤和軟體合作,打造了HiSpark系列開發套件,包括硬體開發板、SDK包、參考工程、說明文檔等,首批覆蓋感知計算、智慧聯接領域,支持多作業系統,尤其是全面支持鴻蒙2.0!HiSpark WiFi IoT智能家居開發套件的核心是海思晶片的一款2.4GHz Wi-Fi SoC模組,集成802.11b/g/n模組和RF射頻電路,搭載於一片只有大約2×5釐米的開發板,支持OpenHarmony、Huawei LiteOS和第三方組件,支持無感配網、Mesh自組網等。