如何理解圖像定位和跟蹤技術

2020-11-23 電子發燒友

如何理解圖像定位和跟蹤技術

與非網 發表於 2019-10-12 15:25:41

在科學技術日新月異的今天,人們對機器設備的智能性、自主性要求也越來越高,希望其完全替代人的角色,把人們從繁重、危險的工作任務中解脫出來,而能否像人一樣具有感知周圍環境的能力已成為設備實現智能化自主化的關鍵。

廣義的「圖像跟蹤」技術,是指通過某種方式(如圖像識別、紅外、超聲波等)將攝像頭中拍攝到的物體進行定位,並指揮攝像頭對該物體進行跟蹤,讓該物體一直被保持在攝像頭視野範圍內。狹義的「圖像跟蹤」技術就是我們日常所常談到的,通過「圖像識別」的方式來進行跟蹤和拍攝。

因為紅外、超聲波等方式,都受環境的影響,而且要專門的識別輔助設備,在實際應用中已經逐步被「圖像識別」技術所替代。「圖像識別」是直接利用了攝像頭拍攝到的圖像,進行NCAST圖像差分及聚類運算,識別到目標物體的位置,並指揮攝像頭對該物體進行跟蹤。

圖像跟蹤系統採用特有的NCAST目標外形特徵檢測方法,被跟蹤者無需任何輔助設備,只要進入跟蹤區域,系統便可對目標進行鎖定跟蹤,使攝像機畫面以鎖定的目標為中心,並控制攝像機進行相應策略的縮放。系統支持多種自定義策略,支持多級特寫模式,適應性強,不受強光、聲音、電磁等環境影響。

目標物體的邊緣檢測

物體的形狀特徵在大多數情況下變化不多,基於目標形狀輪廓的跟蹤方法與基於區域的匹配方法相比,可以更精確的分割目標。

邊緣是運動目標的最基本特徵,表現在圖像中就是指目標周圍圖像灰度有階躍變化或屋頂變化的那些像素集合,它是圖像中局部亮度變化最顯著的部分。

邊緣檢測就是採用某種算法來定位灰度不連續變化的位置,從而圖像中目標與背景的交界線。圖像的灰度變化可以用灰度梯度來表示。

梯度算子

梯度也即一階導數,梯度算子對應一階導數算子,一階導數也即梯度可以表示為:

圖像經過邊緣檢測之後,還要經過輪廓追蹤和輪廓表達。輪廓跟蹤的目的是得到邊緣像素的集合邊緣表。輪廓表達則是通過對邊緣表做一些處理,如擬合、統計及逼近等,得到目標形狀特徵的直觀表達,為後續匹配提供模板信息。

輪廓跟蹤的思想是:

1、根據提取的圖像邊緣,找出輪廓上的像素;

2、根據這些像素的特徵用一定的「跟蹤準則」找出物體上的其他像素;

3、其跟蹤效果的好壞主要取決於起始點和跟蹤準則的選取兩個因素。

跟蹤準則:

按起始點選取準則找到最左下方位的邊界點後,以其為起始點,定義左上方為初始搜索方向,若該方向的點為黑點(特徵點),則判其為邊界點,否則沿順時針方向旋轉搜索方向45度,依此類推,直到搜索到第一個黑點(特徵點)為止,然後再把該黑點(特徵點)作為新的邊界點,逆時針方向旋轉當前搜索方向90度,用相同的方法繼續搜索下一個黑點(特徵點),直到找到初始邊界點為止。若用箭頭表示搜索方向,那麼該輪廓跟蹤算法可以用圖表示。

通過上述算法得到物體的邊緣表後,可以用其作為輪廓表達,也可以對其進行處理,用處理後的信息形式來表達輪廓。目前常用的輪廓表達有以下三種:逼近擬合曲線法、內插擬合曲線法、統計特徵法。

目標圖像顏色檢測

為了對豐富多樣的色彩進行表達,人們用表示顏色的三個參數所構成的三維空間來對圖像的顏色進行描述,這個三維空間就是所謂的顏色空間。

如:RGB格式(紅、綠、藍三基色模型)、HSV格式(色度、飽和度、亮度模型)

RGB格式是工業界的一種顏色標準,是通過對紅(R)、綠(G)、藍(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的,RGB即是代表紅、綠、藍三個通道的顏色,這個標準幾乎包括了人類視力所能感知的所有顏色,是目前運用最廣的顏色系統之一。

HSV格式:H參數表示色彩信息,即所處的光譜顏色的位置。該參數用一個角度量來表示,紅、綠、藍分別相隔120度。互補色分別相差180度。純度S為一比例值,範圍從0到1,它表示成所選顏色的純度和該顏色最大的純度之間的比率。S=0時,只有灰度。V表示色彩的明亮程度,範圍從0到1。有一點要注意:它和光強度之間並沒有直接的聯繫。

例如:採用直方圖來表達圖像的顏色分布特徵:1、對顏色進行量化;2、計算顏色落在各個小區間內的像素數量;3、對其進行直方圖投影就可以得到圖像的顏色概率分布圖像。

圖像濾波及形態學處理算法

運動目標提取時,為了消除相機採集的圖像中的噪聲、改善圖像質量,使圖像變得更清晰,需要對圖像進行濾波。幾種常見噪聲:高斯噪聲、加性噪聲及椒鹽噪聲等。

為了消除噪聲影響和突出圖像的一些特徵,目前常用的方法有:鄰域均值濾波、中值濾波法等。

運動目標提取完成後,得到的二值化圖像可能含有許多空洞和孤立的噪聲點,為了更好地對目標進行定位和跟蹤,需要對得到的檢測結果進行形態學處理。

形態學處理主要思想是:採用一個特定的結構元素作為工具來度量和提取圖像特徵(形狀、輪廓等),具體為看該結構元素是否可以適當有效地放入圖像內部。目前常用的形態學運算有:膨脹、腐蝕、開啟和閉合操作。

圖像匹配

圖像匹配是指在多幅圖像之間尋找對應關係的過程,具體為在一幀圖像中尋找與給定目標最相似的圖像區域或在一批圖像中尋找與目標最相似的圖像。

利用圖像匹配技術不僅可以檢測出搜索圖像中是否有目標圖像,還可以獲得目標在圖像中的相對位置信息。

匹配算法概括起來可以分為兩類:基於區域的匹配方法和基於特徵的匹配方法。

基於區域的匹配方法

根據整幅圖像的灰度值信息,建立目標模板和待匹配目標圖像之間的相似性度量,然後採用相應的搜索算法,尋找待匹配目標圖像中相似性度量值最大的地方。

基於特徵的匹配方法

提取圖像的特徵,如特徵點、邊緣、顏色、紋理等,對提取的特徵進行加工處理將其表達成特定的形式(向量、直方圖),對加工後的圖像特徵採用一定的相似性度量準則進行匹配以建立目標模板和待匹配圖像之間的對應關係。

圖像跟蹤技術的應用領域

目前,目標跟蹤技術主要應用於以下領域:

1、智能視頻監控:基於運動識別(基於步法的人類識別、自動物體檢測等),自動化監測(監視一個場景以檢測可疑行為);交通監視(實時收集交通數據用來指揮交通流動);

2、人機互動:傳統人機互動是通過計算機鍵盤和滑鼠進行的,為了使計算機具有識別和理解人的姿態、動作、手勢等能力,跟蹤技術是關鍵;

3、機器人視覺導航:在智慧機器人中,跟蹤技術可用於計算拍攝物體的運動軌跡;

4、虛擬實境:虛擬環境中3D交互和虛擬角色動作模擬直接得益於視頻人體運動分析的研究成果,可給參與者更加豐富的交互形式,人體跟蹤分析是其關鍵技術;

5、醫學診斷:跟蹤技術在超聲波和核磁序列圖像的自動分析中有廣泛應用,由於超聲波圖像中的噪聲經常會淹沒單幀圖像有用信息,使靜態分析十分困難,而通過跟蹤技術利用序列圖像中目標在幾何上的連續性和時間上的相關性,可以得到更準確的結果。
來源;傳感器技術

打開APP閱讀更多精彩內容

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 蘋果曝光的一種定位跟蹤技術. 意味著什麼
    但是,到目前為止,對該技術的實際應用還知之甚少。不過,還是多虧了社交媒體,最近因為美國的暴亂,多個城市的蘋果商店的手機被搶劫的事被爆出。蘋果高層和其他高端零售商,看到了這些客戶的產品被搶劫的事情,並已採取行動。手機掠奪者會被告知「該設備被重置,已被禁用,正在跟蹤,信息將向地方當局發出警報。」
  • 基於FPGA的移動目標實時定位跟蹤系統
    打開APP 基於FPGA的移動目標實時定位跟蹤系統 工程師3 發表於 2018-04-20 15:50:00 1 背景知識 如圖
  • 車怎麼定位跟蹤
    車怎麼定位跟蹤 發布時間:2020-03-10 21:00:25 原創 來源:中華網 閱讀:5007
  • 機器視覺和智能圖像處理技術之間的關係
    一般認為機器視覺「是通過光學裝置和非接觸傳感器自動地接受和處理一個真實場景的圖像,通過分析圖像獲得所需信息或用於控制機器運動的裝置」,可以看出智能圖像處理技術在機器視覺中佔有舉足輕重的位置。 智能圖像處理是指一類基於計算機的自適應於各種應用場合的圖像處理和分析技術,本身是一個獨立的理論和技術領域,但同時又是機器視覺中的一項十分重要的技術支撐。
  • 創想智控:kuka實時焊縫跟蹤技術
    kuka實時焊縫跟蹤技術,該技術是克服示教回放kuka焊接機器人在焊接控制過程中所必需的。該技術可以獲取清晰穩定的焊接圖像。通過分析焊接圖像的特徵,和使用一種改進的算法,可以用於檢測焊縫和熔池邊緣,提取焊接圖像的特徵參數等。
  • 基於視覺傳感的焊縫跟蹤技術簡介
    CCD 攝像機和送絲嘴都固定在焊槍上, 也就是焊槍、鎢極、送絲嘴在圖像平面投影的相對位置是不變的, 同時在試驗前已經將CCD 攝像機的軸心、焊槍軸心以及焊縫調節到了同一個平面上, 如此, 焊槍的軸線在圖像平面上的投影為一條水平線, 為後續的跟蹤提供了便利條件。
  • 定位跟蹤器
    定位跟蹤器 地圖導航 大小: 14.02M
  • NVIDIA技術大咖親授!教你30分鐘實現基於Python的路況目標跟蹤系統...
    其融入了社會生活的各個領域,改變著人們的生活和工作方式,起著不可忽視的作用。  目標跟蹤是對攝像頭視頻中的移動目標進行定位的過程,而目標跟蹤技術是智慧交通的核心技術之一,有著非常廣泛的應用。許多計算機視覺應用基於目標跟蹤技術做監控、用戶感知,增強現實、視頻壓縮以及輔助駕駛,為生活和工作帶來很大便利。
  • 定位關閉還能跟蹤嗎
    很多人肯定都會經歷過手機丟了之後,定位被關了,找不回來,那麼手機定位關閉還能跟蹤嗎,下面小編就為大家講解一下。 定位關閉還能跟蹤嗎  1、我們平常所說的手機定位技術分為兩種:一種是基於專用GPS模塊的定位,另一種是基於服務商的基站定位
  • 以點代物,同時執行目標檢測和跟蹤,這個新方法破解目標跟蹤難題
    選自arXiv作者:Xingyi Zhou等機器之心編譯參與:小舟、Jamin、魔王近日,來自德克薩斯奧斯汀分校和英特爾研究院的研究人員提出一種基於點的同時檢測和跟蹤方法,該方法比當前最優技術更加簡單、快速、準確。傳統的跟蹤是在時空中跟隨興趣點。隨著強大深度網絡的興起,情況發生了變化。
  • 高效低成本的室內外精確定位和AR導航已經到來
    展覽館、博物館、商場、交通樞紐等大型室內場景環境複雜,規模巨大,並存在很多無紋理空間區域和視覺歧義區域,地圖數據的採集、製作及表達是一大難點。同時,伴隨光照、視點變化,用戶如何精準快速地實現重定位也是一項挑戰。稀疏點雲地圖構建採用運動恢復結構(Structure from Motion,簡稱SfM)技術。
  • 【新智元乾貨】計算機視覺必讀:目標跟蹤、圖像分類、人臉識別等
    本文以計算機視覺的重要概念為線索,介紹深度學習在計算機視覺任務中的應用,包括網絡壓縮、細粒度圖像分類、看圖說話、視覺問答、圖像理解、紋理生成和風格遷移、人臉識別、圖像檢索、目標跟蹤等。網絡壓縮(network compression)儘管深度神經網絡取得了優異的性能,但巨大的計算和存儲開銷成為其部署在實際應用中的挑戰。
  • 外媒揭秘蘋果、谷歌和Facebook如何跟蹤用戶位置
    網易科技訊 1月2日消息,國外媒體Fast Company近日撰文詳述了三大科技巨頭蘋果、谷歌和Facebook如何及為何在線上線下對用戶實施位置跟蹤,並談到了一些防備方法。但鮮少人知道位置跟蹤的發生頻率有多高——它甚至在這些時候發生:不必要時,在他們的應用沒有在使用的時候,以及用戶連手機都沒有拿起來的時候。當然,跟蹤你的位置,並不總是為了改善用戶體驗,而是為了更好地理解你是誰,該向你展示推送什麼樣的廣告。例如,如果一家公司知道你剛剛進入他們的門店,那他們可能就會開始向你推送推銷廣告。推銷是好是壞不好爭論,但位置跟蹤會引發各種各樣的隱私擔憂。
  • 關於AR和VR中的預測性追蹤定位的原理分析和應用
    理解預測跟蹤 在「增強現實」和「虛擬實境」系統的背景下,預測跟蹤是指預測未來方向或一個物體的位置或身體部分的過程。 為什麼預測跟蹤有用? 關於預測追蹤一個常見的應用就是減少明顯的「光子運動」延遲,即運動之間的時間和運動反映在繪製的場景。由於運動之間有延遲和更新顯示(如下所示),使用可預估的方向和位置作為數據應用於更新顯示,可以縮短延遲。 雖然許多注意力一直集中在虛擬實境應用程式的預測跟蹤上,它對於增強現實技術方面也是非常重要的。
  • 商湯科技:高效低成本的室內外精確定位和AR導航已經到來
    雖然,自1967年衛星導航技術開放民用以來,經過50多年的發展,導航定位已經廣泛應用於交通物流、地理信息、高精度測量等行業,提高了現代社會的運行效率,給個人生活和旅行帶來了極大的便利。導航定位技術在室外場景中已經非常流行,但室內導航的應用還沒有得到很好的發展。
  • 深度乾貨:詳解基於視覺+慣性傳感器的空間定位方法 | 雷鋒網公開課
    這些攝像頭的作用,其實是用來實現空間定位的,在Oculus Rift CV1上,空間定位系統需要通過一套外部傳感器來實現,這顯然不適合移動方案。許多人都說VR一體機是未來,而移動VR要真正移動起來,就需要擺脫外部空間定位基站的束縛。那麼如何用另一種方案來擺脫有線VR通常使用的Outside-in空間定位方案呢?
  • GPS跟蹤定位器如何使用
    打開APP GPS跟蹤定位器如何使用 發表於 2018-01-19 10:30:40 GPS跟蹤器用途 用於兒童和老人的行蹤掌控,公路巡檢,貴重貨物跟蹤,追蹤與勤務派遣,私人偵探工具,個人財物跟蹤,寵物跟蹤,野生動物追蹤,貨運業,汽車防盜,自行車防盜,電動車防盜,摩託車防盜,銀行運鈔車,軍警演習操控,檢調追蹤,公務車管理等。
  • 計算機視覺(圖像)技術:視覺圖像搜索綜述
    比如從簡單的以圖搜圖、車牌識別,到人臉識別、植物或寵物的識別,人體或車輛的跟蹤,無人機、無人汽車的自動駕駛,智慧機器人等領域,都離不開計算機視覺搜索技術,這也是此次谷歌開源基於 TensorFlow 的物體檢測代碼的意義所在。
  • 谷歌:無線定位追蹤技術已破解,發熱問題仍待解決
    Tango是一種軟體/硬體解決方案,能夠幫助智慧型手機和其他行動裝置探測到他們在3D空間中的位置,並將該信息轉換為強大的應用或程序。在Johnny Lee看來,這項技術或許能夠解決新興虛擬實境產業中的最大問題——無線VR頭顯的位置跟蹤。
  • 無需標註數據集,自監督注意力機制就能搞定目標跟蹤
    就這兩類跟蹤算法而言,VOT 通過重新定位視頻序列中的目標邊界框來實現目標跟蹤,而 Semi-VOS 通過像素級分割掩碼實現更細粒度的目標跟蹤。在 medium 的一篇博客中,數據科學家和視覺計算研究者 Rishab Sharma 為讀者重點講述 Semi-VOS 算法背後的最初構想,即稠密光流估計,以及這種跟蹤方法是如何通過自監督注意機制實現的。