HALCON高級篇:立體視覺

2020-12-03 老白說圖像

立體視覺

立體視覺的基本原理是對象點的3D坐標是由兩個或者多個從不同角度同時獲取的圖像決定的,HALCON提供了兩種立體視覺方法:雙目立體視覺和多視角立體視覺。

雙目立體視覺用兩個相機,返回差異圖,距離圖,或者3D坐標。下圖展示了一個板子的立體圖像對和板子部件的結果高度圖。

雙目立體視覺的基本原理,頂部:立體圖像對;底部:高度圖

多視角立體視覺也可以用超過兩個相機,其要麼被用來重構作為3D物體模型被返回的表面,或者去重構單獨的點。例如,下圖展示了多視角立體相機系統的圖像被用來重構導管接頭的表面和結果的3D物體模型。

左:多視角立體相機系統圖像;右:導管接頭被重構表面

立體視覺的優勢是任意形狀物體表面的3D信息可以用圖像來決定。立體視覺可以和其他視覺方法相結合,例如將blob分析作為處理步驟,其能夠從深度圖像中提取特定物體或者物體組件,或者用於基於表面的3D匹配,其能夠在重構的3D模型表面中定位物體。

基本概念

立體相機系統3D信息的獲取主要由4個主要步驟組成:

獲取標定圖像

一些立體標定圖像被獲取,每張圖像中展示了不同位置和方向的HALCON標定板。

標定立體相機系統

用先前獲取到的標定圖像,立體相機系統被標定。為此,標定標識點的圖像坐標必須從標定圖像中提取到,然後,立體設置的參數將被決定。

對於雙目立體視覺,參數則可以用來針對立體圖像矯正創建一個矯正映射。

對於多視角立體視覺,一個所謂的立體視覺模型被創建,其包含了相機參數和更多的信息。

獲取立體圖像

立體圖像在標定立體相機系統同時也被獲取,它們展示了應該被重構3D信息的物體。

矯正圖像

對於雙目立體視覺,立體圖像必須被矯正,這樣對應的點(共軛的點)在兩個矯正的圖像就位於相同的行。為此,上面已經得到的矯正映射就必須被用到。

重構3D信息

現在,3D信息可以被重構了。

藉助雙目立體視覺,對於第一張被矯正圖像的每一個點,在第二張矯正圖像中的共軛點被匹配被決定(立體匹配)。對於這些點,要麼相對立體相機系統的差異,或者距離被計算,並返回一個灰度值圖像,這些距離相對的參考平面可北改變。如果知道差異值,也是有可能獲取被選取點的距離或者3D坐標的。還有,3D坐標可以從每一對共軛點的圖像坐標中直接決定。

藉助多視角立體視覺,你可以重構完整的表面或者被選點的3D坐標。在重構表面的時候,你首先應該用set_stereo_model_param去設置重構的參數,然後用set_stereo_model_image_pairs去定義哪個相機建立一對;最後,你用reconstruct_surface_stereo去重構表面。當重構物體的被選點時候,你首先從立體圖像中提取到對應的點,然後你積累所有相機拍攝物體相對應的信息,最後,你用reconstruct_points_stereo去重構點。

相關焦點

  • HALCON高級篇:機器人視覺
    機器人視覺支持的配置HALCON的手眼標定支持不同的配置,例如多種類的機器人,傳感器,和運作方式,傳感器是增加的。下面,我們將簡單討論一下這些配置。圖2:不同種類的傳感器:(a)有HALCON標定板的相機(b)具有3D物體的3D傳感器值得注意的是,儘管下面僅有單相機的系統被描述,當然你也可以用立體相機系統。這樣,你標定僅僅是機器人相對於多個相機之一的關係,因為相機之間的關係被立體標定所決定。
  • 3D電影與立體視覺的關係
    3D電影越來越多,很多人都想體驗一下震撼的視覺效果,但並不是所有人都適合看3D電影,雙眼立體視覺功能差的患者戴上3D眼鏡也看不到立體效果,或者立體感很差,而且時間長了還容易出現眼睛疲勞、頭痛等症狀。那什麼是雙眼立體視覺呢?
  • 立體視覺的重要性與如何恢復?
    立體視覺是雙眼觀察景物能分辨物體遠近形態的感覺,是較為獨立的一種具有三維空間的視覺功能。也是我們三維世界中一個重要的過程,它是基於投射到雙眼視網膜上的圖像的視差而產生的深度感知。立體盲和立體視異常,常常是因兒童斜視或弱視引起的,如果不儘早發現,斜視和弱視可能會導致立體視恢復困難或無法恢復。
  • 後天訓練可恢復立體視覺
    「3至9歲是立體視覺建立的敏感期,預防幼兒立體視覺功能異常尤為重要」。眼科專家、北京嘉鋮視欣近視防治研究中心副主任、眼科門診主任劉生榮說,「通過後天訓練,可以恢復立體視覺。」  劉生榮說,立體視覺是人類感知前後、高低、深淺的能力,是人類後天獲得的一種高級視覺功能,是人類從事精細化工作不可缺少的。
  • 立體視覺技術讓無人機有了動態智慧眼
    【深圳商報訊】(記者 王海榮)立體視覺是計算機視覺領域的一個重要課題,其目的在於重構場景的三維幾何信息。目前火遍全球的虛擬實境技術,也屬於立體視覺領域的研究範疇。王好謙透露,首先是針對立體視覺高精度三維建模問題,構建了球形攝像陣列的光場採集平臺,發明了光度立體多視角配準和全局顏色校準方法,突破了複雜動態場景的高完整度、高精度立體建模。
  • 眼球震顫、斜視、弱視可導致立體視覺喪失
    其中,缺乏立體視覺,看東西沒有立體感,是較容易被家長忽視的。一旦立體視覺喪失,孩子看到的世界是不完全、不真實的,不僅影響正常學習和智力發育,還可能給孩子帶來心理傷害。 立體視覺 立體視覺是視覺器官對三維空間各種物體的遠近、前後、高低、深淺和凸凹的感知能力,是人特有的一項高級視覺功能。
  • 立體視覺介紹
    立體視覺雙眼單視包括有:同時視、感知性融像能力、運動性融像能力、立體視覺、深度覺。
  • 淺談立體視覺
    淺談立體視覺 2020-10-23 16:41 來源:澎湃新聞·澎湃號·湃客
  • 立體視覺是怎麼產生的?
    立體視是指三維空間中對物體立體深度和遠近距離的判斷,也被稱為深度感知。 人類和動物都經常在環境中活動。
  • 我國第三代裸眼化《立體視覺檢查圖》出版 躋身國際前列
    、國內資深眼科專家,海軍總醫院眼科顏少明教授創製的第三代升級版《立體視覺檢查圖》已由人民衛生出版社精心組織出版,為眼科學和視覺學科精準智能、高效快捷檢測高級立體視覺功能搭建了新平臺,三維立體視覺檢查徹底告別3D眼鏡的諸多束縛困擾,邁入裸眼化、智能化、電子化的歷史性快車道時代。
  • 從立體視覺的建立談主視眼
    人眼的最高一級視功能為運動立體視覺,保證立體視覺建立的有三大機能和三級視功能。
  • 3D雙目立體視覺在機器人視覺的應用
    隨著自動化程度越來越高,機器視覺扮演著越來越重要的角色,傳統的2D定位無法解決產品的空間坐標信息,而3D雙目立體視覺可提供較高精度的定位。在汽車行業,汽車後底板的抓取搬運主要交給工業機器人完成,這面臨一大難題:每一塊後底板的平面坐標XYR和空間坐標ZWP都相差較大,而機器人夾具的兩個尖削必須精確的插入後底板兩孔位,才能進行搬運。
  • 計算機視覺方向簡介 | 多視角立體視覺MVS
    作者: 黃浴https://zhuanlan.zhihu.com/p/73748124本文已由作者授權,未經允許,不得二次轉載多視角立體視覺(Multiple View Stereo,MVS)是對立體視覺的推廣,能夠在多個視角(從外向裡)觀察和獲取景物的圖像,並以此完成匹配和深度估計。
  • 光電3D傳感合輯重磅上線,4節課帶你搞懂ToF、立體視覺、結構光及DOE
    目前,3D成像技術主流實現路徑包括立體視覺、結構光、ToF三種,並且已經在金融、手機、無人機、AR/VR、機器人、自動駕駛、安防等領域得到了廣泛的應用。其中:9月4日,光鑑科技首席科學家呂方璐將以《如何利用多域調製技術提升iToF 3D感知性能》為主題,從不同3D感知技術原理、ToF技術的實現路徑及挑戰,結合光鑑科技mToF多域調製技術,為我們帶來深度講解;9月10日,人加智能CEO李嘉俊將以《雙目立體視覺感知技術及應用創新》為主題,從雙目立體視覺技術原理、硬體構成、相機的選型、相機標定方法、產品化實現,及其在智能空間人流分析中的應用創新等方面進行系統講解
  • 無人機雙目立體視覺實現自動避障
    打開APP 無人機雙目立體視覺實現自動避障 發表於 2018-05-29 09:01:00 在無人機領域,雙目立體視覺已經成為一種極其有價值的應用,它可以輔助無人機更快更好地識別周圍場景,通過雙目立體視覺識別來實現自動避障。
  • ...Fellow Alberto Broggi 教授:雙目立體視覺路線與自動駕駛廣闊...
    和大多數的自動駕駛晶片公司不一樣, 安霸在技術路線上選擇兩條腿走路,既開發了高性能的CVflow以運行高效率的神經網絡,又支持高性能的雙目立體視覺,兩種來源不同的視覺技術可以互為補充。業內普遍認為雙目立體攝像頭頗是一條充滿著爭議且艱難的路線,安霸如何要用產品充分證明雙目的可行性呢?
  • 視覺檢測之產品瑕疵檢測(1)汙點檢測
    dyn_threshold(OrigImage, ThresholdImage : RegionDynThresh : Offset, LightDark : )有關動態閾值可以參考下面的貼子:Halcon學習(4-6)Region處理:動態閾值,分水嶺視覺檢測之焊點檢測(三):從幹擾背景中提取焊點視覺檢測之焊點檢測
  • 邁向嶄新立體視覺時代!3D立體顯示技術原理與遊戲應用歷程簡介
    邁向嶄新立體視覺時代!」可說是近來娛樂產業相當熱門的話題,不但有好萊塢推出《阿凡達》等賣座 3D 立體電影,全球各大家電廠商也積極佈局準備推出一系列支援 3D 立體顯示的播放機與電視機等家電產品,NVIDIA 也推出支援 3D 立體顯示的 PC 繪圖卡與周邊,甚至連 SCE 與任天堂也陸續發表 PS3 與 NDS 後繼機種的 3D 立體顯示支援。
  • 不健康立體視覺產生的原因及解決方法
    標籤:立體方式 立體視覺本文引用地址:http://www.eepw.com.cn/article/165107它們之間每一幀圖像中物體大小與位置都有明顯改變時分式(快門式眼鏡)的立體方式原理是利用人眼的視覺殘留特徵,將左右圖順序先後進入左右眼,以達成立體影像。
  • 立體矢量圖—窗戶竟然可以進行視覺訓練!
    在今天的文章中,我們來討論關於立體矢量圖訓練的策略。訓練環境如果你的視覺訓練室有一扇窗戶,你會發現,把立體矢量圖貼在窗戶上,BI(發散)會更容易實現。在我看來,使用立體矢量圖在窗戶上練習BI(發散)能力,能幫助你將在訓練室獲得的技能轉移到真實空間中,因為對患者來說看起來更真實。BO(會聚)在矢量圖燈架上完成更好,因為白色塑料板提供一些必要的空間和視覺基礎等等。