3D雙目立體視覺在機器人視覺的應用

2020-11-26 電子工程世界

隨著自動化程度越來越高，機器視覺扮演著越來越重要的角色，傳統的2D定位無法解決產品的空間坐標信息，而3D雙目立體視覺可提供較高精度的定位。在汽車行業，汽車後底板的抓取搬運主要交給工業機器人完成，這面臨一大難題：每一塊後底板的平面坐標XYR和空間坐標ZWP都相差較大，而機器人夾具的兩個尖削必須精確的插入後底板兩孔位，才能進行搬運。


慧眼自動化科技（廣州）有限公司具有專業的機器視覺系統研發技術，為此開發了一套3D雙目視覺軟體系統，該系統搭載兩個工業相機，精確的計算出後底板的六個空間坐標XYZWPR，並將坐標發送給機器人，成功為客戶解決了這一難題。


2、3D雙目立體視覺系統安裝及原理


2.1安裝方式：


工業相機及光源安裝於機器人法蘭面兩端。


2.2 原理


第一步：通過標定板標定校正，建立圖像、相機、機器人三者簡的坐標系關係。


第二步：對後底板三個不同位置拍照，分別進行特徵匹配，通過視差原理計算各匹配特徵的坐標XYZ。


第三步：根據以上獲取的匹配特徵坐標，計算得到後底板的空間坐標XYZWPR，如圖3右界面顯示。


第四步：通過TCP/IP協議，將XYZWPR坐標發送給機器人。


3、前景展望


3D雙目立體視覺系統使機器人擁有了一雙眼睛，為機器人提供了精確的定位，完成2D定位不能實現的功能，大大提高了生成效率，降低勞動力。並可應用於零件識別、碼垛等工業應用，隨著工業機器人越來越廣泛的應用，3D雙目立體視覺將具有更廣闊的應用前景。

關鍵字：機器視覺 編輯：王磊 引用地址：http://news.eeworld.com.cn/gykz/article_2018020411186.html 本網站轉載的所有的文章、圖片、音頻視頻文件等資料的版權歸版權所有人所有，本站採用的非本站原創文章及圖片等內容無法一一聯繫確認版權者。如果本網所選內容的文章作者及編輯認為其作品不宜公開自由傳播，或不應無償使用，請及時通過電子郵件或電話通知我們，以迅速採取適當措施，避免給雙方造成不必要的經濟損失。

推薦閱讀

超低延時4K時代來臨！米爾發布VECP邊緣視覺套件

「人們常說眼睛是心靈的窗戶，帶著你我看清現實世界。」在工業發展中，工業智能化替代了人類的手腳，而機器視覺就是智能化的眼睛，讓其更精準的解決工業場景需求。同時智能化物聯網時代不斷發展的今天對機器視覺產生了更高的要求。面對市場的挑戰，米爾推出了可定製化專業視覺計算平臺 VECP（Vision Edge Computing Platform）邊緣視覺套件 MYD-CZU3EG-C-ISP，4k 級視頻處理技術+超低延時，面向工業、IOT、醫療、機器視覺等應用。該套件具有如下特點：基於 ARM&FPGA 融合處理器 Xilinx Zynq UltraScale+ MPSoC   採用 SONY imx334

發表於 2020-04-26

Lytx推出增強型機器視覺與AI風險探測技術 助於安全駕駛

據外媒報導，當地時間2月24日，Lytx啟動了年度用戶小組會議（User Group Conference），並推出了旨在解決分心駕駛問題的下一代技術：增強型機器視覺以及人工智慧驅動風險探測。（圖片來源：Lytx）在美國，每天都有1000多人因為分心駕駛受傷，9人死亡。為了幫助應對此種廣泛流行的駕駛行為以及其他高風險駕駛行為，Lytx改進了其機器視覺和人工智慧（MV+AI）驅動技術，以近實時地了解駕車發簡訊等高危行為。Lytx是全球領先的視頻遠程信息處理技術解決方案供應商，主要為商業、公共部門和現場服務車隊等服務。該項前沿技術就像一名「副駕駛員」（co-pilot），能夠不斷監控道路和駕駛員，探測危險駕駛行為，並觸發短視

發表於 2020-04-08

AIoT 智聯網領域的獨角獸們迎來了一波即上市的熱潮

晶片及加速卡，並且為這三個產品線所有產品研發了統一的基礎系統軟體平臺。  目前，「AI 晶片」成了中國創新市場最受矚目的賽道之一。中國已有超過 30 家新創 AI 晶片設計企業，吸附了一級市場大量資金。  通用層：基於基礎設施開發出的通用性人工智慧技術和產品，如計算機視覺算法、機器人系統等，主要分為兩大部分：以感知計算和認知計算技術為代表的軟體通用技術，和無人機、機器人等軟硬一體化通用產品。  得益於深度學習技術的快速發展，在過去幾年中，語音識別和機器視覺等通用性人工智慧技術「超越」了人類的水平，快速登上歷史舞臺。  作為裡程碑事件，2015 年微軟

發表於 2020-04-07

全自動化機器視覺，成就手機玻璃瑕疵高效檢測

手機屏幕是決定手機外觀質量的主要部件，如今曲面屏、摺疊屏、劉海屏、打孔屏成為手機屏幕的主流，層出不窮的創新給手機玻璃的質量控制再來了諸多挑戰。 面臨問題：人工檢測主觀因素幹擾  在手機屏幕玻璃的生產過程中，會出現拋光痕、過拋、凹點、白點、壓傷、刀紋等諸多的問題。手機屏幕缺陷種類較多且複雜，傳統的人工檢測依靠人眼來進行檢測識別，質檢員需要在強光下通過不同的光線和視覺角度，捕捉玻璃的各類缺陷，這種方法局限性高，不能滿足大批量快節拍生產，而且長時間的肉眼檢測過程容易引起視覺疲勞，再加上主觀認定和訓練水平，已經遠遠無法滿足生產的需要。 解決方案：智能全自動檢測設備 為了適應手機行業的快速

發表於 2020-03-25

華為安防更名華為機器視覺，將開啟一個新時代

每個時代，都有主角，若一個企業的率先發聲最終成為大眾共識，那就開啟了一個全新時代。 2020 是新十年開頭之年，或將開啟一個新的時代。這個時代下，擁抱數位化轉型，邁向智能世界，正在描繪出萬物感知、萬物互聯、萬物智能的美妙圖景。2020 年 2 月 25 日這個時間節點，毫無徵兆下，華為安防官宣：從「華為安防」更名為「華為機器視覺」。一句簡單發聲，卻激起千層浪，引發行業諸多猜想。那華為此舉，意欲何為，帶來那些改變，更名後戰略方向和做安防的決心如何？都是焦點所在。 從華為安防到機器視覺，因何更名？業界猜測華為此舉有諸多聲音：品牌傳播，衝出賽道，拓展資源，去安防化，跳出安防，獲得公司更多層面支持等。千人千面，這些都不

發表於 2020-03-03

中國已逐漸成全球第三大機器視覺應用市場

　　機器視覺檢驗相對人工視覺檢測具有較大優勢　　機器視覺就是用機器來代替人眼做測量和判斷的系統，它通過光學裝置和非接觸傳感器自動獲取目標對象的圖像，並由圖像處理設備根據所得圖像的像素分布、亮度和顏色等信息進行各種運算處理和判別分析，以提取所需的特徵信息或根據判別分析結果對某些現場設備進行運動控制。機器視覺系統中的圖像處理設備一般都採用計算機，所以機器視覺有時也稱為計算機視覺。　　一個典型的機器視覺系統包括：光源、鏡頭、相機(CCD或COMS相機)、圖像採集卡、圖像處理軟體等。　　機器視覺用機器代替人眼來做測量和判斷，是將圖像處理應用於工業自動化領域進行非接觸檢測、測量，提高加工精度、發現產品缺陷、進行自動分析決策的一項技術

發表於 2019-12-16

相關焦點

  • INDEMIND雙目視覺慣性模組助力立體視覺應用升級
    近年來，機器人、深度學習、姿態檢測、自動駕駛等前沿領域的高速發展為計算機視覺領域拓展了巨大增量，創造了新的千億級市場，與此同時，這些不斷高速發展的「推手」也對計算機視覺提出了新的需求，開始倒逼計算機視覺技術升級進步。
  • 無人機雙目立體視覺實現自動避障
    在無人機領域，雙目立體視覺已經成為一種極其有價值的應用，它可以輔助無人機更快更好地識別周圍場景，通過雙目立體視覺識別來實現自動避障。 雙目立體視覺（Binocular Stereo Vision）是基於視差原理的機器視覺的一種重要形式，它利用成像設備從不同的位置獲取被測物體的兩幅圖像
  • 人加智能CEO李嘉俊:雙目立體視覺感知技術及應用創新|公開課預告
    ，在安防、零售、自動駕駛、機器人等領域得到了廣泛的應用。不過在實際應用過程中，雙目立體視覺也面臨著諸多難點與挑戰，比如算法複雜度高、算力需求大、測量精度會隨著距離的增加而下降，另外容易受環境光線的影響，增大特徵匹配的難度。要打造一個高精度、高魯棒性、低計算需求的雙目立體視覺成像系統並非易事，需要軟硬體協同優化，比如相機的選型與標定、算法的設計、晶片的選型及適配調優等。
  • 人加正式發布雙目立體視覺模塊 — 司眸TM
    人加HUMAN+正式發布司眸TM 雙目感知系統，提供一站式機器人深度視覺（Depth Perception）解決方案。「司眸TM系列產品是人加HUMAN+自主研發的雙目立體視覺感應解決方案的核心，集成了成像系統、ISP實時計算引擎、深度實時計算引擎、標定方案、在線升級和功能可重構等模塊算法，目前主要應用於無人機，掃地機器人和移動增強現實等消費級產品和農業植保、石油管道巡檢等無人機的行業級應用。」
  • 元橡科技雙目立體視覺 全視全知全行業賦能
    據了解，機器視覺產業將迎來黃金髮展期，2023年中國市場規模或將達到197億元，CAGR達14％。在人工智慧帶來的諸多產業升級價值中，基於視覺交互的智能解決方案在智能化體系中佔比80%以上。雙目立體視覺作為機器視覺的關鍵之一，越來越成為人工智慧交互的重要力量。
  • 雙目立體視覺不止車載 元橡科技賦能無限可能
    攝像頭，作為智能電子設備上的重要傳感器之一，不止在車載領域發光發熱，在機器人、無人機、消費電子、教育交互、軌道交通等多個領域也均有廣泛應用。多年來，相機視覺技術始終處在迅猛發展的過程中，產品技術迭代更新速度快，行業競爭尤其激烈。
  • 結構光、立體視覺、ToF 3D傳感原理是啥?ams 3D傳感助力應用落地
    基於雙目立體視覺的深度相機類似人類的雙眼，和基於ToF、結構光原理的深度相機不同，它不對外主動投射光源，完全依靠拍攝的兩張圖片（彩色RGB或者灰度圖）來計算深度，因此有時候也被稱為被動雙目深度相機。雙目立體視覺是基於視差，由三角法原理進行三維信息的獲取，即由兩個攝像機的圖像平面和北側物體之間構成一個三角形。一直兩個攝像機之間的位置關係，便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特徵點的三維坐標。所以，雙目視覺系統一般由兩個攝像機構成。
  • 元橡科技:雙目立體視覺走「芯」 賦能行業萬「橡」更新
    據了解，機器視覺產業將迎來黃金髮展期，2023年中國市場規模或將達到197億元，CAGR達14％。在人工智慧帶來的諸多產業升級價值中，基於視覺交互的智能解決方案在智能化體系中佔比80%以上。雙目立體視覺作為機器視覺的關鍵之一，越來越成為人工智慧交互的重要力量。
  • 研發國內首款智能雙目立體視覺晶片
    研發國內首款智能雙目立體視覺晶片 2019-07-12 16:14日 16:14　來源：重慶晚報 參與互動　 　　仙桃國際大數據谷落地項目成績不俗　　研發國內首款智能雙目立體視覺晶片
  • 與結構光及雙目立體視覺相比,ToF技術有何優勢?
    9m1ednc飛行時間ToF（Time of Flight）與結構光(Structured Light)、雙目視覺技術(Stereo Vision)一起，共同組成了當前3D成像與傳感的三條主流技術路線。其中3D結構光方案最為成熟，並被大規模應用於工業3D視覺，ToF則憑藉自身優勢成為在移動端較被看好的方案。
  • 如何提高雙目立體視覺系統的精度？
    來源：3D視覺工坊雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基於視差原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法1。
  • 3D人臉識別智能鎖成新風口 3D結構光、TOF、雙目立體視覺三種技術...
    據悉，目前市場上所使用的3D人臉識別根據攝像頭成像原理，主要分為3D機構光、TOF、雙目立體視覺三種。那麼，他們之間有何不同呢？基於3D結構光的人臉識別已在一些智慧型手機上實際應用，如國外使用了超過10億張圖像（IR和深度圖像）訓練的FaceId；國內自主研發手機廠商的人臉識別。
  • 和「RFID」說分手, 幫團「雙目立體視覺」重新定義無人店
    「麥叮叮X1」基於幫團多項自主研發專利技術打造，採用了全球領先的雙目立體視覺技術、傳感器融合、智能認知及語言交互等最前沿的AI技術。其中，雙目立體視覺技術的加持不僅使其具備高精度的視覺分辨力和快速的認知能力，還能不斷增強其自主認知學習能力。「麥叮叮X1」的購物流程簡單便捷：當顧客停留並選擇商品時，置於貨架上的雙目攝像頭會實時跟蹤、判斷顧客的購物行為（是否將商品拿出、或拿出又放回原處）。當顧客將購買的商品從機器中拿出並關上門後，系統會自動記錄顧客購買的商品，為其出具電子帳單並進行扣款。
  • 東和邦泰:「商用車豎向雙目立體視覺智能限高防碰撞系統」
    深圳東和邦泰科技有限公司作為優秀企業應邀參會，並憑藉「商用車豎向雙目立體視覺智能限高防碰撞系統」榮獲2019年度汽車電子科學技術獎突出創新產品獎。但是在自動駕駛汽車領域，對於對前方障礙物的探測，國外在橫向雙目視覺的應用已經日趨成熟，在寶馬、奔馳、特斯拉等高配汽車中，使用橫向雙目視覺技術用於實現汽車自動駕駛的重要一環。雖於如此，國外市場環境由於沒有對限高防碰撞需求，因此也就還沒有對豎向雙目視覺用於測高探測研究，在國內該技術領域更是空白。
  • ...Fellow Alberto Broggi 教授:雙目立體視覺路線與自動駕駛廣闊...
    和大多數的自動駕駛晶片公司不一樣， 安霸在技術路線上選擇兩條腿走路，既開發了高性能的CVflow以運行高效率的神經網絡，又支持高性能的雙目立體視覺，兩種來源不同的視覺技術可以互為補充。業內普遍認為雙目立體攝像頭頗是一條充滿著爭議且艱難的路線，安霸如何要用產品充分證明雙目的可行性呢？
  • 3D視覺「走勢圖」
    從2014年開始，中國市場上颳起了一股3D視覺之風，相比於之前的2D平面視覺，3D視覺成像更立體、更精準，解決的場景也更豐富。這也是國內企業真正的優勢所在，例如機器人運動算法、應用工藝包（拆碼垛、分揀等）。 這也從側面印證了目前國內的3D視覺企業主要集中在應用層。應用層中，工業場景中視覺的應用主要體現在引導定位、檢測、高精度測量以及圖像識別等幾方面，其中外觀檢測、識別等應用，2D視覺完全可以滿足，例如讀碼器、外觀檢測等等。
  • 基於雙目視覺的自動駕駛技術
    其實雙目視覺主要問題是立體匹配和視差計算，最新的討論見：https://zhuanlan.zhihu.com/p/65130734；另外，目標檢測的雙目視覺技術討論如下：https://zhuanlan.zhihu.com/p/87074244。 單目視覺是Mobileye（ME）的看家法寶，其實當年它也考慮過雙目，最終選擇放棄（：。
  • HALCON高級篇:立體視覺
    立體視覺立體視覺的基本原理是對象點的3D坐標是由兩個或者多個從不同角度同時獲取的圖像決定的，HALCON提供了兩種立體視覺方法：雙目立體視覺和多視角立體視覺。雙目立體視覺用兩個相機，返回差異圖，距離圖，或者3D坐標。下圖展示了一個板子的立體圖像對和板子部件的結果高度圖。雙目立體視覺的基本原理，頂部：立體圖像對；底部：高度圖多視角立體視覺也可以用超過兩個相機，其要麼被用來重構作為3D物體模型被返回的表面，或者去重構單獨的點。
  • 3D視覺成像的下一站 淺析TOF 3D立體攝像頭技術
    然而，如今的人們已經不再滿足於「屏幕內的視界」，除了需要拍攝更具立體感的照片，更安全的面部識別/支付、3D試妝、AR裝潢、AR遊戲、體感遊戲、全息影像交互等需要「3D視覺成像」技術支撐的應用環境（圖1），才是智慧型手機未來的發展趨勢。
  • 機器視覺學習筆記:一個雙目測距的簡單實例
    1.實例目標學習OpenCV也一月有餘了，遂想進行一個雙目測距的簡單實驗，先解決從無到有，再解決錦上添花。可以看出綠線並沒有包含稜，結果較好距離檢測結果 實際距離是74.5mm左右，絕對檢測誤差為1.15mm，相對誤差為1.5%，此時物體距離相機1134mm左右相機標定誤差為0.3mm，所以測量結果還是比較準確的4.總結本實例背景較為簡單，只能適用於固定場合的零件檢測，水果品質檢測等基本的幾何知識是必要的，例如求直線的交點，一元函數的線性回歸雙目測距基本就是這個流程