基於Nios II的視頻運動目標檢測跟蹤系統設計

2021-01-15 電子產品世界

　　摘要：文章是以Nios II處理器為中心的視頻運動目標檢測跟蹤系統，通過CMOS圖像傳感器採集視頻圖像信息，採用幀間差分法檢測運動目標，形心跟蹤算法對目標進行跟蹤，最後在VGA顯示器上顯示視頻中運動物體。實驗結果表明，該系統可達到運動目標檢測跟蹤的理想結果。

本文引用地址：http://www.eepw.com.cn/article/249784.htm

　　0 引言

　　運動目標檢測跟蹤就是將運動的目標從視頻圖像序列中檢測出來，對其進行跟蹤。在計算機視覺領域和智能視頻監控系統中，目標檢測與跟蹤系統是一個最要的研究內容，該系統在很多領域中經得到廣泛的應用，例如在家庭住宅小區、智能交通、銀行、超市等場所都設有視頻監控系統，起到了不需要人為的作用，就可以對採集來的視頻圖像信號進行處理，並對監控系統進行控制。視頻監控與監視系統VSAM是由美國國防部研製出來的，其作用是對整個場景進行監控，該系統可以自動地調多個圖像傳感器無縫接入，主要應用在戰爭、危險場合的監控。馬裡蘭大學研製出的W4實時監控可以在夜晚或者光線較差的環境下對出現的人定位和分割，主要應用在智能交通、家居服務等。視頻運動目標檢測與跟蹤系統對檢測目標的準確性和實時性要求很高。SOPC是嵌入式微處理器可編程片上系統，可在FPGA晶片上實現。本文採用SOPC(在FPGA嵌入NiosII軟核)作為視頻處理核心器件的方案，與傳統的採用DSP和ARM晶片的方案相比，具有成本更低、設計更靈活，而且能達到軟硬體協同工作、處理速度更快、容易升級。系統採用Altera公司的CycloneII EP2C35F672C6作為核心處理晶片，NIOSII軟核處理器為核心對運動目標實時準確地檢測與跟蹤。

　　1 系統組成及框圖

　　本文是基於FPGA的視頻運動目標檢測跟蹤系統，主要分為四個模塊：圖像採集模塊、存儲模塊、目標檢測跟蹤模塊和VGA顯示模塊。

　　1.1 圖像採集模塊

　　圖像採集模塊的作用是接收CMOS圖像傳感器採集到的視頻圖像。本系統採用的是友晶公司提供的TRDB—D5M攝像頭開發套件，使用的是CMOS圖像傳感器，它是將光學圖像轉化成電子信號的有源像素傳感器，是利用CMOS半導體而製成的。TRDB—D5M作為一款攝像頭套件，有很多攝像方面的優勢;高幀率、優秀的低亮度性能、微弱的暗電流、全局復位解除(使所有像素點同時開始曝光)、可編程控制幀率、幀規模、曝光時間，片上鎖相環、自動黑面校準等。

　　1.2 存儲模塊

　　本設計在硬體系統中使用一片SDRAM作為圖片緩存的存儲器，在軟體系統中，備用一片SDRAM存儲幀圖片，使用一片SRAM存儲軟體代碼和軟體處理過程的中間數據。

　　1.3 目標檢測跟蹤模塊

　　系統中大部分模塊是由Verilog HDL設計的，使用硬體來完成實際的功能，此模塊是在基於NiosII IDE集成開發工具使用C語言實現的，我們在EP2C35中嵌入NIOS II軟核，控制連接在外部總線上的SDRAM和SRAM。在整個模塊中，FPGA是綜合了NIOS II處理器、SDRAM控制器、SRAM控制器、攝像頭等許多模塊的最主要的部分。

　　1.4 VGA顯示模塊

　　VGA輸出接口晶片採用的是美國AD公司的ADV7123，它是一款單晶片包含3路高速、10位輸入的視頻D/A轉換器、行場同步信號、行場消隱信號、時鐘信號。ADV7123對RGB視頻數位訊號進行D/A變換成VGA需要的RGB模擬信號。最後將運動目標檢測跟蹤結果顯示到PC顯示器上。運動目標檢測跟蹤系統的總體框圖如圖1所示。

　　

 

　　運動目標檢測是目標跟蹤的前提，其作用就是當視頻圖像序列中有運動目標出現，通過檢測算法將目標從背景圖像中提取出來。根據監控場景是運動的還是固定的，可以分為背景是固定的運動目標檢測和背景是運動的運動目標檢測。本系統是對背景運動的運動目標檢測，目前，運動目標檢測主要有三種方法：背景差分法、光流法和幀間差分法。背景差分法和光流法與幀間差分法相比，具有精度高定位準的優點，但算法的複雜性較高，難以在硬體平臺上實現實時處理，因此，本系統採用的是幀間差分法。

　　幀間差分法是對連續視頻序列圖像中相鄰兩幀作差，從而得到運動目標的方法。通常選取相鄰的兩幀或三幀圖像進行差分運算，設t時刻當前幀圖像為Fk(x，y)，t-1時刻的前一幀圖像為Fk-1(x，y)，兩幀進行相減運算如下：

　　

 

　　其中，T為閾值，如果相鄰兩幀差分後的像素灰度值大於T，則二值化圖像Bk(x，y)像素點為1表示運動目標區域，若為0表示背景區域。幀間差分算法基本流程如圖2所示。

　　

 

　　1.5 目標跟蹤

　　目標跟蹤有很多算法，本系統選用的是形心跟蹤法。形心就是運動目標的中心，對於準確定位出目標具有重要的意義。本文形心的獲取主要是通過幀間差分法檢測到運動目標後，對檢測到的所有動態點橫坐標和縱坐標進行統計，然後算出所有動態點橫坐標和縱坐標的中值，這個中值即為運動目標的中心。當運動目標較小時，若採用模板匹配法，由於所取模板與背景類似，目標特徵不夠明顯，比較容易產生錯誤的匹配，因此，比較適合採用形心跟蹤法進行跟蹤和測量。二值化後的圖像，其形心坐標計算公式為：

　　

 

　　形心跟蹤得到運動目標的坐標後，統計運動目標的像素點，再根據形心坐標將運動目標用矩形框跟蹤，進而得出運動物體軌跡，NiosII處理器作出相應的控制信號，驅動雲臺進行跟蹤運動目標。

　　2 實驗結果

　　本論文是基於SOPC的視頻運動目標檢測跟蹤系統，使用Altera公司DE2多媒體開發板完成的。

c語言相關文章:c語言教程

鎖相環相關文章:鎖相環原理

相關焦點

  • 基於FPGA的移動目標實時定位跟蹤系統
    打開APP 基於FPGA的移動目標實時定位跟蹤系統 工程師3 發表於 2018-04-20 15:50:00 1 背景知識 如圖
  • 目標檢測與行為跟蹤 智能分析三大應用
    1目標檢測技術　　傳統視頻監控系統只提供視頻的捕獲、保存、傳輸、顯示畫面等功能，而視頻內容的分析識別等需要人工實現，工作量巨大且容易出錯。智能監控系統是指在特定的監控區域內實時監控場景內的永久或是臨時的物體，通過對視頻傳感器獲取的信息進行智能分析來實現自動的場景理解、預測被觀察目標的行為以及交互性行為。
  • 目標檢測與跟蹤概述
    隨著信息技術的發展，基於視覺的運動目標的檢測與跟蹤已逐漸滲透到人們生活的方方面面，其重要性日益突出，吸引著越來越多的國內外學者和研究機構參與在這個領域的研究。目前，基於視覺的運動目標檢測與跟蹤已廣泛應用於視頻監控、虛擬實境、人機互動、行星探測、行為理解等領域。
  • 融合視頻目標檢測與單目標、多目標跟蹤,港中文開源視頻感知平臺
    該框架基於 PyTorch 寫成，支持單目標跟蹤、多目標跟蹤與視頻目標檢測，目前已開源。GitHub 地址：https://github.com/open-mmlab/mmtrackingMMTracking 效果展示。據介紹，MMTracking 具備以下主要特性：1.
  • 基於Otsu分割算法和Nios II軟硬體實現實現實時目標成像跟蹤研究
    打開APP 基於Otsu分割算法和Nios II軟硬體實現實現實時目標成像跟蹤研究 李堅,王新賽, 賀明 發表於 2021-01-15 10:01:33
  • ILSVRC2016目標檢測任務回顧——視頻目標檢測(VID)
    由於視頻中存在運動模糊，遮擋，形態變化多樣性，光照變化多樣性等問題，僅利用圖像目標檢測技術檢測視頻中的目標並不能得到很好的檢測結果。如何利用視頻中目標時序信息和上下文等信息成為提升視頻目標檢測性能的關鍵。ILSVRC2015新增加了視頻目標檢測任務（Object detection from video, VID），這為研究者提供了良好的數據支持。
  • ...檢測與單目標、多目標跟蹤,港中文開源一體化視頻感知平臺MM...
    新年伊始，香港中文大學多媒體實驗室（MMLab）OpenMMLab 又有新動作，發布了一款一體化視頻目標感知平臺 MMTracking。該框架基於 PyTorch 寫成，支持單目標跟蹤、多目標跟蹤與視頻目標檢測，目前已開源。GitHub 地址：https://github.com/open-mmlab/mmtracking
  • 教你30分鐘實現基於Python的路況目標跟蹤系統...
    目標跟蹤是對攝像頭視頻中的移動目標進行定位的過程，而目標跟蹤技術是智慧交通的核心技術之一，有著非常廣泛的應用。許多計算機視覺應用基於目標跟蹤技術做監控、用戶感知，增強現實、視頻壓縮以及輔助駕駛，為生活和工作帶來很大便利。　　那麼目標跟蹤測系統是怎樣應用於無人駕駛、醫院中的健康和安全監控、零售中的自助檢驗和分析、製造廠中的組件缺陷檢測的呢？
  • 深蘭ACM MM 2020視頻目標檢測挑戰賽冠軍 助機器理解視頻級別目標身份和動態
    該數據集包含10,000個從YFCC100M[2]數據集中篩選的視頻（98.6小時），80個類別的目標（例如成人、狗、玩具）和50個類別的關係（例如旁邊、觀看、保持）標註；同時舉辦Video Relation Understanding[1]競賽，該競賽同時是ACM Multimedia 2020 Grand Challenge中的競賽任務。
  • 基於深度學習的多目標跟蹤(MOT)技術一覽
    最近做了一些多目標跟蹤方向的調研，因此把調研的結果以圖片加文字的形式展現出來，希望能幫助到入門這一領域的同學。也歡迎大家和我討論關於這一領域的任何問題。相關方向這些是我所了解的多目標跟蹤（MOT）的一些相關方向。
  • 基於壓電薄膜傳感器的肘部運動檢測系統設計
    單片機的桌球運動檢測系統，利用DT1-028K壓電薄膜傳感器感知肘部運動，輸出電壓信號經過放大，利用單片機完成數字濾波、參數測量和數據顯示。實驗驗證了穿戴式柔性傳感器在運動檢測方面應用的可行性。引言　　可穿戴技術的研究和市場化發展迅猛，多用於健康監測和運動檢測等。根據市場分析公司CCS Insight的調查報告，健身和活動跟蹤設備2015年銷售較2014年增長了2倍[1]。
  • 基於協方差矩陣的目標特徵提取與跟蹤
    摘要: 如何在較複雜環境下對視頻中的運動目標進行有效跟蹤，是目前研究的熱點問題。本文提出了基於協方差矩陣建模的改進跟蹤中心點的確定方法。該方法在確定融合了LBP紋理特徵的目標特徵向量基礎上，建立目標區域協方差矩陣作為模板矩陣，並從下一幀中提取協方差矩陣，與模板矩陣進行矩陣相似性度量，形成相似度矩陣，使用閾值進行矩陣元素的選擇，並計算剩餘元素的權值，再按重心公式確定跟蹤中心點。實驗結果表明：在較複雜環境中，可以對目標的旋轉、遮擋和形狀變化進行具有更高準確度的跟蹤，驗證了該方法的有效性。
  • 以點代物,同時執行目標檢測和跟蹤,這個新方法破解目標跟蹤難題
    然而，如果沒有角點（corner）和峰強度這樣的強大低級線索，跟蹤是很容易失敗的。隨著高性能目標檢測模型的出現，一個強大的替代方案誕生了：檢測-跟蹤法（更準確地說是「基於檢測的跟蹤」）。這些模型依賴給定的準確識別率來識別目標對象，然後在另一個階段中將它們按時間順序關聯起來。基於檢測的跟蹤利用基於深度學習的目標檢測器，是目前主流的目標跟蹤範式。
  • 基於MEMS加速度計的GPS終端系統設計
    為了解決GPS便攜終端的功耗問題，根據實際應用場景以及定位跟蹤目標體的特徵，當目標移動時需要定位，不移動可以不定位，保持上一次的定位數據即可。本設計採用MEMS加速度計，檢測目標體的移動或靜止狀態，當目標移動時，GPS模塊工作並上報定位數據信息，當目標體不移動時，GPS模塊不工作，也不上報數據。
  • 智能視頻監控系統及其在Blackfin處理器上的應用
    目標跟蹤可分為5個步驟，包括運動檢測、目標分類、目標(類型)跟蹤、行為分析和目標(個體)跟蹤。例如對人體的跟蹤：首先從實時圖像序列(即視頻)中檢測出運動物體，再判定運動物體中的人體，然後跟蹤人體的運動軌跡，並分析和選定有異常行為的人，如在車站，機場等遺留包裹的人，最後對行為異常的人進行持續跟蹤。　　運動檢測是從圖像序列中將變化區域從背景圖像中提取出來。
  • 基於DSP+FPGA的紅外圖像小目標檢測系統設計
    近年來，紅外探測系統因其具有隱蔽性，抗幹擾性，全天候工作等特點，在現代戰爭中具有重要的作用，而紅外圖像中小目標的檢測將直接影響制導系統的有效作用距離及設備的複雜程度
  • 使用PyTorch實現目標檢測與跟蹤
    本文將展示如何使用預訓練的分類器檢測圖像中的多個對象，並在視頻中跟蹤它們。 圖像中的目標檢測 目標檢測的算法有很多，YOLO跟SSD是現下最流行的算法。在本文中，我們將使用YOLOv3。
  • 太陽能跟蹤系統的設計
    為了更充分、高效地利用太陽能, 現普遍採用跟蹤太陽的方式以最大限度地獲得輸出功率。本文介紹了太陽跟蹤系統的控制原理、系統硬體組成和控制算法。在此基礎上設計了一種跟蹤精度高、結構簡單、控制可靠的雙軸太陽能跟蹤系統,有效地提高了太陽能的利用率。並通過試驗驗證了此太陽能跟蹤系統在晴朗的氣候條件下，比固定式至少提高發電量25%。
  • 基於RCNN的多層次結構顯著性目標檢測方法
    在現有的基於傳統特徵的自動駕駛中，目標識別是核心任務之一，其包括道路及道路邊沿識別、車道線檢測、車輛識別、車輛類型識別、非機動車識別、行人識別、交通標誌識別、障礙物識別與避讓等等。目標識別系統利用計算機視覺觀測交通環境，從實時視頻信號中自動識別出目標，為實時自動駕駛，如啟動、停止、轉向、加速和減速等操作提供判別依據。
  • 一種基於服務機器人的視覺系統設計
    它處理的是二維圖像，是基於對無遮擋物體顏色和形狀的識別以及3D目標物體的平動跟蹤。本文引用地址：http://www.eepw.com.cn/article/201612/332358.htm　　視覺系統是一個非常複雜的系統，它既要做到圖像的準確採集還要做到對外界變化反應的實時性，同時還需要對外界運動的目標實時跟蹤。因此，視覺系統對硬體和軟體系統都提出了較高的要求。