高速視覺傳感器可捕獲快速移動物體,以每秒1000幀的速度進行檢測和...

2021-01-09 電子發燒友
打開APP
高速視覺傳感器可捕獲快速移動物體,以每秒1000幀的速度進行檢測和跟蹤

工程師黃明星 發表於 2018-07-23 10:36:00

如果說機器視覺是全球智能的「慧眼」,那麼視覺傳感器就是機器視覺的「眼球」。視覺傳感器雖然出現於50年代後期,但由於其精準性、易用性、功能豐富及成本合理的特點,發展十分迅速,被廣泛地被應用於機器人視覺領域,是機器人中最重要的傳感器之一。

原理與結構

視覺傳感器是整個機器視覺系統信息的直接來源,其主要功能就是獲取足夠的機器視覺系統要處理的最原始圖像,再將其與內存中存儲的基準圖像進行比較,以做出分析,為後面的智能系統提供視覺判斷依據。

視覺傳感器能夠從一整幅圖像捕獲光線的數以千計的像素,圖像的清晰和細膩程度通常用解析度來衡量,以像素數量表示。部分視覺傳感器能夠捕獲的像素值很高,無論距離目標數米或數釐米遠,傳感器都能「看到」十分細膩的目標圖像。在捕獲圖像之後,視覺傳感器將其與內存中存儲的基準圖像進行比較,以做出分析,判斷其與標準圖像是否相同。

視覺傳感器原理圖

如上圖所示,視覺傳感器的基本結構與人眼接受、處理圖像的過程類似,主要有照明、相機、控制器三部分組成。工作時首先照明部分將物體照亮,然後相機部分將物體的反射光轉化為電子信號,再由控制器部分對電子信號進行分析處理。

高速視覺傳感器

近年來,隨著人工智慧的高速發展,機器視覺系統行業也開始取得了許多創新性的突破。為了打破現有視覺傳感器無法捕獲快速移動的物體或現象和只能重複特定動作的局限,日前出現了一種全新高速視覺傳感器,該傳感器可以每秒1000幀的速度對物體進行檢測和跟蹤,可能讓機器人能夠實時快速地對運動中的對象作出反應,讓視覺傳感器也變的更加智能。

從結構來看,高速視覺傳感器為堆疊式構造,具有背照式像素陣列和信號處理電路層。電路層配有影像處理電路和可編程列並行處理器,可進行高速目標檢測和跟蹤。基於背照式像素陣列,這種構造可實現高靈敏度成像,檢測和跟蹤目標的速度為每秒1000幀。

在此之前,裝有30fps處理的影像傳感器系統並不總是能夠捕獲快速移動的物體或現象。在1,000fps下,視覺傳感器成像速度比傳統晶片快約33倍,可以捕獲快速移動的物體,並從影像信息中檢測物體,同時使用高速處理功能提取質心、力矩和運動矢量等信息。

傳統的工業機器人一般通過使用程序的既定運動坐標來工作,反饋較慢。如果在檢測工廠和其它地方生產線異常或故障時發生延誤,可能會產生致命的結果。高速視覺傳感器所具備的高速跟蹤功能,能夠瞬間捕獲異常或故障,處理結果從傳感器逐幀輸出,以比傳統方法更快的時間反饋到系統,從而讓系統做出判斷。甚至視覺傳感器內部晶片本身可以自行處理圖像,所以人們無需過分地將圖像發送到單獨的計算機內進行處理,實現機器人的實時反饋、自主操作。

在傳統系統中,用於檢測和跟蹤目標的影像處理必須用電腦等其它設備後期執行,而將傳送影像數據、檢測目標和跟蹤影像處理等功能集成在一枚晶片上的全新視覺傳感器,改變了這一點。高速視覺傳感器不但使後期設備變得更緊湊小巧、降低系統整體能耗,還通過消除某些物理限制,從而擴展了新系統的開發潛力。

這項技術可能會改善未來攝像機的AF系統方面發揮作用。此外如果把這項傳感器技術用在工業機器人的實時反饋系統上,利用高速視覺傳感器的高速跟蹤功能,實現自主機器人響應移動和狀態的操作,這有助於機器人工作更有效率。

打開APP閱讀更多精彩內容

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 每秒4.4萬億幀!這樣的高速攝影太恐怖-高速攝影,4.4萬億幀,每秒...
    而CMOS和CCD一樣都是可用來感受光線變化的半導體,但它屬於互補性金屬氧化物半導體,可細分為被動式與主動式兩種。總的來說,高速攝影是一種拍攝速度很快,曝光時間很短的一種攝影方法,再依靠「快攝慢放」的技術,最終將快速變化的運動過程放慢到人眼的視覺的時間分辨程度,使人能夠得以觀察。而這也就意味著在高速攝影時,其拍攝頻率(幀/秒)必須與物體運動變化的速率達到同步,變化越快的運動會要求越高的拍攝頻率。
  • 新AI相機:通過光子時間差構建3D圖像,單像素成像、每秒可達1000幀
    例如,新系統取像會非常快,可能以每秒 1000 幀的速度工作;而且這種粗略而快速的 3D 成像可能具有多種應用,如用作自動駕駛汽車的攝像頭,以提高尋路的準確性和應急速度,以及用於行動裝置和健康監視器發展 360° 感知能力;最重要的是
  • 每秒1000億幀的超高速3D視覺相機,有望破解更多物理學謎團
    超快成像是一個傳感器性能和創造性光學設計都在不斷突破的領域,其最新進展已使人們能夠以皮秒級解析度對瞬態光學事件進行三維捕捉。加州理工學院光學成像實驗室汪立宏(Lihong Wang)教授領導的研究小組,之前開發了一種被稱為壓縮超快攝影(CUP)的動態成像技術,該技術不使用任何機械或光學掃描機制,而是利用一種條紋相機進行快速二維成像。
  • 深度乾貨:詳解基於視覺+慣性傳感器的空間定位方法 | 雷鋒網公開課
    對比之下,陀螺儀識別出來的是角速度的值,因為物體在旋轉時會產生離心力,陀螺儀就是把離心力的大小輸出出來了。本質上陀螺儀和加速度計識別的都是受力,等價於加速度。它的好處包括:通過IMU可以減小圖像匹配的搜索範圍,在VR環境下頭快速旋轉時可以達到每秒180度的速度,如果沒有IMU的話,相鄰圖像裡邊搜索的範圍可能會很大,比如當前這個點在圖像的最左邊,下一幀可能就移動到圖像最右邊了;可以在很少或沒有特徵點時繼續跟蹤;Tango一個比較好的性能就是,在沒有特徵點,比如掃過一面白牆時,也能夠基本正確地跟蹤一兩秒的時間。
  • 高速CMOS圖像傳感器的各種類型及應用介紹
    在廣闊的市場上,高速CMOS圖像傳感器有幾種類型,即通用用途、高端或定製的高速攝像機。這些攝像機用於科學研究,撞擊測試,高速掃描,機器視覺和軍事研究等,所有用途中都要求高幀率運動捕獲。 這些傳感器的解析度從VGA到10M像素,某些可以達到每秒10000全幀。傳感器的架構有兩個半分,四分儀或者一個像素陣幾種。
  • INDEMIND雙目視覺慣性模組助力立體視覺應用升級
    INDMEIND雙目視覺慣性模組是目前業界首款可連續輸出200幀圖像及IMU數據的雙目慣性相機,用戶可自行調節1280*800解析度下25/50/100FPS、640*400解析度下25/50/100/200FPS不同圖像輸出,可為三維重建、深度解算、視覺SLAM等應用研發提供更精準、豐富的環境圖像信息。
  • 視覺傳感器CCD視覺檢測顏色
    LED照明集成型視覺傳感器全景快門方式最小化圖像失真獨有技術可減少光學幹擾並提高光學性能憑藉鏡頭蓋防護技術,可在振動或衝擊的環境中使用各種檢測功能位置補償,亮度,對比度,面積,邊緣,長度,角度,直徑,對象數量,顏色識別,顏色區域,顏色對象計數可通過模擬器實現測試功能設置32個獨立的作業組(每個作業組包含64個檢查項目)FTP伺服器數據存儲
  • 肇觀電子視覺晶片每秒最快可計算181幀(張)視頻/圖片
    肇觀電子視覺晶片每秒最快可計算181幀(張)視頻/圖片—— AI視覺晶片創造智慧生活「在保證精度情況下,每秒最快能計算181幀(張)視頻/圖片,並且人工智慧也就是說,名義算力並不是衡量智能視覺處理器的最終標準,晶片的利用率才是關鍵指標。晶片利用率具體體現在哪裡?馮歆鵬解釋,在做圖片運算時,既要保證圖片精度(準),又要保證運算速度(快)。以基於人臉識別AI技術製作的智能門鎖為例,如果識別不準,門鎖會把家庭成員拒之門外,或者對陌生人敞開大門;如果識別不快,會讓人在門外等很久,降低用戶體驗效果。
  • 圖像傳感器運行神經網絡!實現納秒級時間內圖像分類,或將推進邊緣...
    近日,奧地利維也納工業大學光子學研究所 Lukas Mennel 博士等人研發的一種超高速機器視覺設備——自帶神經網絡的圖像傳感器,將圖像處理速度提升了幾十萬倍。所謂機器視覺,就是用機器代替人眼來做測量和判斷。但機器視覺並非只是人眼的簡單延伸,它還有人腦的一部分功能一一從圖像中提取、處理、理解信息,從而用於實際的測量和控制。就機器視覺技術本身而言,其主要流程是——相機逐行掃描像素,然後將視頻幀轉換為數位訊號,再將其傳輸到計算機中進行分析。
  • 媲美人眼 佳能發布全球首款100萬像素SPAD傳感器
    近日,佳能發布了全球首款100萬像素SPAD(全稱為SinglePhotonAvalancheDiode,即單光子雪崩二極體)圖像傳感器
  • ldc1000傳感器是什麼_ldc1000怎麼用
    ldc1000的應用領域 檢測所有磁性物體的速度、位置、齒輪的位置、轉速、角度等等。目標應用包括工業、汽車、消費類、醫療、計算與行動裝置、通信領域。具體應用範圍從簡單的按鈕、旋鈕及開關到高解析度心率監視器、渦輪流量計以及高速電機/齒輪控制器,無所不包。
  • ToF相機傳感器在無人機上的10大出色應用
    提取距離數據後,物體檢測也是一個簡單的過程,因為算法不會受到物體圖案的幹擾。 速度 飛行時間3D攝像機可以單次測量整個場景中的距離。由於攝像頭每秒可達到160幀,因此非常適合在實時應用中使用。
  • 可用於自動駕駛 史丹福大學研究人員開發出超級視覺系統
    原因在於,在肉眼看不到的情況下,一個大功率雷射器對該研究人員進行了掃描,而掃描之後反射回牆壁上的單個光粒子被攝像頭的先進傳感器和處理算法捕捉,隨後重建了該研究人員的一舉一動。研究人員表示,保持新系統的實用性是重中之重,因此他們選擇的硬體、掃描和圖像處理速度以及圖像的風格已經在自動駕駛汽車視覺系統中很常見。
  • PerceptIn研發立體視覺感知模塊 可探測千米遠物體
    蓋世汽車訊 據外媒報導,當地時間1月17日,普思英察(PerceptIn)宣布推出一個可探測遠處1000米處物體的視覺感知模塊,該模塊專為半自動駕駛高速列車研發,而且可以調整以探測300米範圍內的物體,實現物流卡車等工業和商業自動駕駛車輛的部署。
  • 什麼是ToF傳感器?ToF傳感器怎麼工作?
    使用ToF傳感器生成和捕獲的數據非常有用,因為它可以提供行人檢測,基於面部特徵的用戶身份驗證,使用SLAM(同時定位和映射)算法的環境映射等等。此外,然後使用雷射返回時間和波長的差異來進行目標的精確數字3D表示和表面特徵,並在視覺上繪製出其各個特徵。
  • 歐洲科學界新突破,全新磁驅動軟體機器人面世,可進行高速移動
    近日,據英國媒體報導稱,歐洲科學家成功研製出新型高速磁驅動軟體機器人。研究報告中表示,該機器人可在陸地與水中進行超快速移動,同時也可以進行活體蒼蠅的精準捕捉。因此,歐洲科學界將在生物學領域對該軟體機器人進行應用。對於機器人來說,模仿高速運動是一件困難的事,尤其是傳統機械式機器人。
  • 圖像感知:創新產品與技術貼近視覺的要求
    現代圖像傳感器的創造者安森美半導體傳承40多年的成像經驗,擁有豐富的成像專知、寬廣的傳感器陣容、2000多項成像專利、強大的供應鏈和卓越的品質,以「創造超越人眼的新視覺」為使命,可根據應用需求匹配相應的技術,幫助使這三個領域的概念成為現實。
  • 基於tms320vc5416和圖像傳感器0v7620的足球機器人設計
    該方法無法獲得主板和配套板卡的硬體原理圖和主板 BIOS、板卡驅動程序等詳細資料,因此不但體積大,而且由於硬體和驅動軟體的限制很難達到足球機器人的最佳速度要求,同時可靠性也不高。而自行開發足球機器人全套控制系統的底層硬體和底層控制軟體,雖然其自由度和靈活性高,但工作量很大。本文介紹了基於 0v7620圖像傳感器的足球機器人視覺系統。
  • CMOS圖像傳感器推動機器視覺技術系統軟體的發展
    如果以前只規定精緻多彩的成像,現在規定快速捕捉(高幀率)、不可見變化(全局快門速度)、不可見光下成像(近紅外光譜儀提高技術)。畢竟這個服務項目的目標從人變成了設備。GS的引入是一大創新。它促使CMOS傳感器被曝光,以無損地拾取健身物體的圖像,這對機器視覺技術行業具有積極的意義。
  • 另類的《霍比特人》:富有爭議的48幀電影
    我們都知道,電影被稱之為「24 幀的藝術」,但《霍比特人》系列卻採用了每秒48 幀的技術來拍攝和放映。48 幀版的《霍比特人》能帶給觀眾什麼?會有更多的電影採用每秒48 幀的技術來拍攝和放映嗎?回答這兩個問題前,我們先說說電影中的幀率和刷新頻率。