2D相機與3D相機的機器視覺

2020-11-28 電子發燒友

2D相機與3D相機的機器視覺

新機器視覺 發表於 2020-11-27 09:46:03

1.前言無論2D相機還是3D相機，提到相機不可避免地涉及到機器視覺。 機器視覺與計算機視覺並沒有一個明顯的定義去劃分。但在實際應用中，應用於工業檢測的時候更多地被稱為機器視覺而非計算機視覺。這時候，機器視覺更多地偏向或者專指以圖像傳感器為採集軟體，輔助以光源，PLC甚至機器人等外部設備，以實現特定的檢測或定位等特定目的。如果你從事的是機器視覺行業則避免不了PCL，機器人，編碼器，光柵尺，光源，鏡頭等這些圖像之外的硬體設備打交道。

       另外還有一些領域，圖像識別，物體檢測和跟蹤，自動文檔分析，面部檢測和識別，計算攝影，增強現實，3D重建以及醫學圖像處理等也會被稱為機器視覺。 這篇文章所講述的內容更多地以工業檢測領域的機器視覺的角度出發。2.2D視覺回顧在以往的機器視覺領域通常是指2D的視覺系統即通過攝像頭拍到一個平面的照片然後通過圖像分析或比對來識別物體，從而應用缺陷、瑕疵，位置、OCR，條形碼等。 以2D視覺檢測為例，一個典型的基於2D相機的機器視覺檢測系統通常如下組成：

機器視覺系統組成 其中，屬於視覺部分的部件主要有：相機，鏡頭，光源，採集卡。 在機器視覺領域，每一個部件都是一門學問，例如對光源的選擇上，常見的光源形狀有環光，條光、面光等；從顏色上劃分，則可以分為單色光源和RGB光源。從打光方式上刻有正面打光、側面打光、背面打光等方式。 不同的樣件和不同的目的決定了哪一種光源和打光方式合適，如何選擇合適的打光方案既依賴於經驗，例如對於金屬件，可能藍光最好，如果要檢測邊緣，則紅色背光效果最佳，也依賴於實際效果的對比，對於一個具體的視覺檢測項目，最佳的打光效果要靠實際進行打光的效果來進行判斷和確定。

       但即便2D視覺是一門如此高深的學問，它在應用上也有很大的局限。這種局限很大一部分來源於，真實世界的物體在經過鏡頭的透視投影后，相機能夠捕捉到的只有2D的平面信息。對於一些涉及到3D信息的處理，它是無能為力的，因此3D相機和3D視覺的出現和發展便是大勢所趨。3.3D相機與2D相機的區別3D相機與2D相機的最大區別在於，3D相機可以獲取真實世界尺度下的3D信息，而2D相機只能獲取像素尺度下的2D平面圖像信息，以下面的兩幅圖為例：

上面的左圖是圖像處理人員都知道的Lena，這種圖片是2D相機獲取的一張RGB圖像。而右圖是一張由深度相機獲取的深度圖。儘管看起來黑乎乎的一片，但我們依然可以看出圖像的形狀。 可能有的小夥伴看到這裡，心中的疑惑更大了。這不還是一張2D圖嗎。的確，這還是一張2D圖像，但這種圖像上存儲的不是由光照決定的灰度信息，而是由距離決定的深度信息。 眾所周知，世界坐標系下可以由（X,Y,Z）三個軸來表示，空間中的任何一個點都可以由(x,y,x)來表示。實際上作為一個合格的3D相機，它傳輸給你的必然是X,Y,Z方向的真實信息，例如，有的3D相機會得到X,Y,Z圖。其中，Z圖便是我們所謂的深度圖，而其它兩張圖分別存儲著X,Y方向的真實信息。 如果只有一張深度圖，那麼其它兩個軸方向的信息也必然可以由某個公式給出。這便是被稱為3D相機的原因。我們以一款工業3D相機Gocator為例：

Gocatro生成的深度圖

3D相機Gocator的X,Y，Z數據的獲取 Gocator的深度圖可以直接獲取，而X,Y方向的信息與行和列按一定的公式進行生成。值得注意的是，這個公式一般由生產該3D相機的廠商決定，並不通用。我們再以民用級別的深度相機kinect為例，它的X,Y方向的信息可以按以下公式來獲取

其中，d為深度圖存儲的信息，(u,v)為像素坐標，()為相機內參，相機內存均可標定得知。在實際使用中，廠商會提供標定好的參數或者現成的API。

Kinect的API參數，用於生成X,Y,Z圖 通過3D相機得到的數據，我們可以還原出被測量物體的三維信息，進而用於後一步的處理。

4.3D相機的應用 隨著科技的發展和檢測需求的提高，3D視覺越來越在機器視覺行業佔有重要的地位，與傳統的2D相機相比，3D相機能獲取三維信息，可以實現2D視覺無法實現或者不好實現的功能，例如檢測產品的高度、平面度、體積等和三維建模等。

輪胎劃痕很紋理檢測

體積檢測

路面系統檢測

缺陷檢測 

責任編輯：xj

原文標題：3D相機及其工業應用

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請註明出處。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 工業相機八問,機器視覺工程師必知
    打開APP 工業相機八問，機器視覺工程師必知 發表於 2019-01-11 18:03:05 工業相機八問，機器視覺工程師必知
  • FLIR機器視覺相機助力開啟人工智慧的新視界
    打開APP FLIR機器視覺相機助力開啟人工智慧的新視界 火花 發表於 2020-11-19 14:00:00 ,成立了機器視覺(Machine Vision)部門,成功拓展了菲力爾的業務版圖。 關於Point Grey Research Inc. 原加拿大Point Grey公司成立於1997年,是一家世界領先的創新、高性能數位相機設計和製造商。
  • 康耐視推出3D和多相機視覺系統
    全球領先的機器視覺公司康耐視公司今日宣布推出一個全套的機器視覺解決方案，使 3D 和多相機 2D 應用的開發、部署和維護比以往更加簡單。另外，簡單易用的 Cognex Designer?軟體、強大的 VC5 視覺控制器、3D 雷射位移傳感器和全新康耐視工業相機 (CIC) 模式能夠滿足最苛刻的 3D 輪廓和高性能多相機應用的需求。　　VC5 視覺控制器預安裝了 Cognex Designer 軟體，這是處理視覺任務配置、工廠通信和運行時用戶界面設計的全套環境開發。拖放連結圖形界面有助於輕鬆配置康耐視業界領先的 2D 和 3D 視覺工具庫。
  • 視覺必備知識點:工業相機的幀率與曝光的關係
    工業相機是機器視覺系統的重要組成部分之一，在機器視覺系統中有著非常重要的作用。工業相機已經被廣泛應用於工業生產線在線檢測、智能交通，機器視覺，科研，軍事科學，航天航空等眾多領域。 工業相機的主要參數包括：解析度、幀率、像素、像元尺寸、光譜響應特性等。
  • 這款相機可用於無人駕駛、人臉識別、機器視覺等領域
    導讀據美國哈佛大學約翰·保爾森工程與應用科學學院官網近日報導，該校研究人員開發出一種高度緊湊、便攜的相機，它可在一次拍攝中對偏振成像。這種小型相機可安裝到無人駕駛車輛、飛機或衛星的視覺系統中，用於研究大氣化學或者檢測偽裝物。
  • 人眼還是機器「眼」?機器視覺在工業檢測領域大有可為
    機器視覺上遊有光源、鏡頭、工業相機、圖像採集卡、圖像處理軟體等軟硬體提供商，中遊有集成和整機設備提供商，行業下遊應用較廣，主要下遊市場包括電子製造行業、汽車、印刷包裝、菸草、農業、醫藥、紡織和交通等領域。
  • 計算機視覺將用來處理相機圖像
    得到一些數據以及判斷,然後推斷應該怎麼工作,這其中包括對人的數據進行分析,包括性別,年齡,籍貫等等,也包括對機器的運算發送指令給人工,使用代碼來進行循環.然後在人工智慧的背後,一個重要的單位就是計算機視覺,它們主要負責識別,分類,檢測,填充,分割.首先計算機視覺可以幫助我們更好的了解自己的眼睛,也就是我們的眼睛,視覺的作用在於生物可以更好的了解周圍的世界。
  • 工業相機的定義及其穩定性分析
    但伴隨著市場火爆，與此形成鮮明對比的卻是總體上國內工業相機價格的慘烈競爭、機器視覺行業從業人員的艱辛、尤其是技術主導型視覺公司，其工程師不是在客戶處調試，就是在去客戶調試的路上，如此付出與回報真的成比例嗎？如此，從事機器視覺行業，那還真的是「我猜到了開頭，卻沒有猜到這樣的結局」。當然，現在說結局還太早，正火著呢！ 火歸火，但馬克思老早就教育我們「要透過現象看本質」。
  • 機器視覺的定義!機器視覺的優勢究竟有哪些?
    打開APP 機器視覺的定義！機器視覺的優勢究竟有哪些？機器視覺主要用計算機來模擬人的視覺功能，從客觀事物的圖像中提取信息，進行處理並加以理解，最終用於實際檢測、測量和控制。機器視覺技術最大的特點是速度快、信息量大、功能多。 什麼是機器視覺？ 機器視覺的定義：機器視覺就是使用光學非接觸式感應設備自動接收並解釋真實場景的圖像以獲得信息控制機器或流程。
  • 創科視覺:開創國內3D機器視覺新高度
    在3C電子行業，機器視覺的應用越來越普遍，無論是零部件的檢測還是整機產品的檢測，機器視覺都起到了重要作用。而作為自動化設備的「眼睛」，機器視覺對企業進行智能化轉型升級也尤為重要。而作為國內最早投身視覺軟體開發的企業之一，創科在機器視覺領域可謂積累深厚。
  • 計算機視覺 vs 機器視覺
    計算機視覺和機器視覺通常被認為是同一個行業，其實它們是重疊技術的不同術語。計算機視覺廣義上是指圖像分析的捕獲和自動化，並著重於在廣泛的理論和實際應用中的圖像分析功能。傳統上，機器視覺是借鑑參考了計算機視覺技術，在某些工業或實際應用中根據視覺系統完成圖像分析的某些功能或結果。視覺系統使用軟體來識別預編程的功能，該系統可根據發現結果觸發各種設定的「動作」。例如，在食品和飲料行業的裝瓶廠中，視覺系統可用於識別多個物體。它可以驗證空瓶本身沒有損壞和異物。
  • 機器視覺系統設計的關鍵技術
    機器視覺系統的具體應用需求千差萬別，視覺系統本身也可能有多種不同的形式，但都包括以下過程： 圖像採集 利用光源照射被觀察的物體或環境，通過光學成像系統採集圖像，通過相機和圖像採集卡將光學圖像轉換為數字圖像，這是機器視覺系統的前端和信息來源。 圖像處理和分析 計算機通過圖像處理軟體對圖像進行處理，分析獲取其中的有用信息。
  • 面陣相機的工作原理及其應用
    工業相機是機器視覺系統必不可少的核心組件，根據不同的類別有不同的分類標準。比如按傳感器的結構特性分類，可分為面陣相機與線陣相機兩種。其中，面陣相機是以面為單位來進行圖像採集，可以一次性獲取完整的目標圖像，並能及時進行圖像採集的相機。在目標物體的形狀、尺寸，位置等方面的應用上發揮著至關重要的成像作用。
  • OpenCV-Python 相機校準|四十九
    目標在本節中，我們將學習由相機引起的失真類型，如何找到相機的固有和非固有特性如何根據這些特性使圖像不失真基礎一些針孔相機會給圖像帶來明顯的失真。兩種主要的變形是徑向變形和切向變形。切向畸變的量可以表示為：簡而言之，我們需要找到五個參數，稱為失真係數，公式如下：除此之外，我們還需要其他一些信息，例如相機的內在和外在參數。內部參數特定於攝像機。它們包括諸如焦距(f_x,f_y)和光學中心(c_x,c_y)之類的信息。焦距和光學中心可用於創建相機矩陣，該相機矩陣可用於消除由於特定相機鏡頭而引起的畸變。
  • 深視智能SSZN雷射3D相機手機中框內輔料檢測案例
    深視智能SSZN雷射3D相機手機中框內輔料檢測案例項目背景　　隨著信息化時代的發展，手機的使用量逐年攀升，手機廠商為了適應市場的需求 開始大規模生產手機。手機中框是手機中的一重要模塊，而手機中框輔料又是手機中框上的重要組成部分。而手機中框輔料檢測是否達標，很大程度上決定了手機質量的優劣。
  • 2D轉3D,在《流浪地球》中感受太空漂浮,愛奇藝推出「會動的海報」
    機器之心報導參與：蛋醬在深度學習技術的加持下，每一張平面圖像都能轉換為效果驚豔的3D圖像？我突然有一個大膽的想法……相比於 2D 內容，能產生身臨其境感的 3D 內容仿佛總是會更吸引人。隨著近年來 5G 技術的落地，VR 行業也將迎來新的突破，眾多遊戲玩家和電影觀賞者也會因此獲得更加新奇的視覺體驗。但 VR 場景裡 3D 內容的缺乏一直是行業內的一個痛點。以 3D 電影製作為例，在現階段，每一部 3D 電影的後期製作都需要投入巨大的資金和人力成本，這些現實條件嚴重阻礙了 3D 內容的豐富發展。
  • 俄羅斯「蛇眼視覺」相機能隔障礙識物
    使用該技術可以讓相機像蛇和蚊子一樣「看見」紅外線區域，因此形象地稱為「蛇眼視覺」技術。莫斯科國立電子技術學院量子物理與納米電子學教研室副教授弗拉基米爾·埃戈爾金表示，由於獵物與寒冷的背景形成鮮明對比，蛇、蚊子和魚這類動物的眼睛可以讓它們在黑暗或寒冷的水域中成功捕獲獵物。
  • 每秒1000億幀的超高速3D視覺相機，有望破解更多物理學謎團
    加州理工學院光學成像實驗室汪立宏（Lihong Wang）教授領導的研究小組，之前開發了一種被稱為壓縮超快攝影（CUP）的動態成像技術，該技術不使用任何機械或光學掃描機制，而是利用一種條紋相機進行快速二維成像。
  • CCD與CMOS哪個更能推動工業相機市場的發展
    工業相機是機器視覺系統的核心部件，其本質功能完成是將光信號轉變成電信號的過程，相比於普通相機來說，具有更高的傳輸力、抗幹擾力以及穩定的成像能力。
  • 3D視覺「走勢圖」
    機會：上遊OR下遊 2019年至2020年第一季度，機器視覺領域發生過44起的融資案例，其中，千萬元級別融資29筆，過億元融資6筆，約87%的被投公司屬於中下遊集成商領域。