基於FPGA的司機眼球跟蹤疲勞檢測報警系統

2021-01-07 電子產品世界

摘要：

本文引用地址：http://www.eepw.com.cn/article/189550.htm

本系統是針對現有市場上銷售的車輛多注重於事故發生時對人身安全的保障(如安全氣囊等)，忽略了防範事故於未然的考慮而提出的。基於FPGA的司機眼球跟蹤疲勞報警系統可以很好的解決上述問題，且相較於傳統的DSP實現具有集成度高、處理速度快、功能更強大、方便改進內部設計等諸多優點。

1、研究意義

視頻實時跟蹤作為一個應用性研究方向，其應用愈加廣泛，如軍事、航空、防盜、視頻會議等場合，特別是重要場合的安檢系統成為新的應用領域。本系統將視頻實時跟蹤應用於對疲勞駕駛的司機報警，以避免交通事故的發生。「交通事故猛於虎」。近年來，國民擁有私家車的數量不斷提高，與此同時交通事故的發生率也不斷上升，車輛與安全問題已成為社會關注的熱點。而其中疲勞駕駛引發的交通事故佔事故總數的20%左右，佔特大交通事故的40%以上;日本的一項事故調查統計顯示，因疲勞產生的事故約佔1%~1.5%;法國國家警察總署事故報導，因疲勞瞌睡而發生車禍的，佔人身傷害事故的14.9%，佔死亡事故的20.6%;美國國家公路交通安全管理局保守估計，每年因為疲勞駕駛而導致的車禍大約有10萬起。可以說疲勞已成為安全行車的大敵。

現有市場上銷售的車輛多注重於事故發生時對人身安全的保障(如安全氣囊等)，忽略了防事故於未然的考慮。司機眼球跟蹤疲勞報警系統的設計可以很好的解決上述問題。傳統的視頻跟蹤的圖像處理過程採用DSP實現，首先在外圍設備的設計上具有很高的布線複雜度，且測量精度受布線影響較大，其次設計調試具有很高的難度，在實際車內空間內往往需要更改某些參數設計等，這在實際使用中會受到較大的限制。為了克服以上缺點，急需研製一種功能強大、集成度高、方便更新內部器件的電路設計系統。

司機眼球跟蹤疲勞報警系統應用視頻實時跟蹤原理，實時跟蹤捕捉司機眼球(通過臉部圖像跟蹤和眼球識別)，分析司機眼睛的睜閉情況並計算閉合時間，以此判斷是否提出報警。本系統由攝像頭及視頻解碼模塊、顯示器、LCD顯示模塊、開發板四部分組成。在系統設計過程中，我們以FPGA器件作為硬體基礎，運用Xilinx的MicroBlaze嵌入式軟核處理器，結合圖像處理和動態目標識別算法，輔以必要的外圍電路完成整個系統的搭建。為了提高系統處理速度，所有的主要處理過程都通過硬體方式實現，其中包括視頻圖像的實時採集、中值濾波器與FIR濾波器、相關圖像處理算法等很多內容。

本設計主要適用於經常需要長途開車的司機，也可以面向各品牌的汽車製造商或一些交通安全保障部門。

2、系統原理

系統可分為四個模塊：圖像採集、特徵提取、數據存儲、人機互動界面

(1)面部圖像數據的實時採集

通過攝像頭獲得的視頻流經過外部的一個視頻解碼晶片，實現模擬視頻信號向數字視頻信號的轉換，使其能夠送入到FPGA內部做進一步的處理。

(2)圖像處理功能

實現眼部特徵的提取是本設計的核心算法部分，根據獲得的眼部特徵判斷眼睛的閉合狀態。利用MicroBlaze強大的運算能力，大部分算法由此軟核運行C代碼實現 。

(3)數據存儲

FPGA內部的用戶自定義模塊可以將眼睛閉合時間超過設定門限值時的視頻信息存儲到CF卡中，在發生交通意外的情況下這些數據可以作為分析事故原因的重要資料。用戶還可以通過選擇，將存儲在CF卡中視頻信息在顯示器中顯示出來。

(4)人機互動界面

設計中使用高解析度彩色LCD屏，實現可視化操作界面，根據用戶需要，在發生報警時可以顯示提示信息。同時利用觸控屏，對界面進行功能選擇，例如控制視頻數據的存儲等。

3、技術特點

(1)順應時勢的功能設計。隨著社會生活的日益改善，汽車已經成為人們必備的出行工具，伴隨而來的是交通事故頻發，人員傷亡時有發生。而疲勞駕駛是交通事故的重要誘因之一。因此，設計出能夠實時監測司機疲勞程度的檢測器，當發現司機疲勞過度時報警，避免發生交通意外，防患於未然，通過這種方式來減少交通事故的發生。

(2)開發的周期短，可以很快的投入使用。利用MicroBlaze處理器的平臺實現一種司機眼球疲勞跟蹤系統，從設計理念上來說，利用軟體實現必要的硬體連接，不僅在工作穩定性上有所提高，減少硬體連接，而且可移植能力增強，便於更快開發。

(3)實時的檢測能力。因為汽車的速度往往是很快的，一旦檢測到司機疲勞，需要迅速作出反應並報警提醒司機。系統利用MicroBlaze的強大數據處理能力，設計出具有很好的實時性的監測跟蹤系統。

(4)高度的集成性。相比其他的視頻跟蹤系統，基於Xilinx公司FPGA的 MicroBlaze處理器內部具有豐富的外圍設備，因此在晶片外部只需要很少的外圍晶片即可。一方面可以降低成本，降低了開發和調試的難度，另一方面系統的體積也可以大大縮小，甚至可以做成單晶片系統，大大方便攜帶和使用。

(5)成本低，功耗小。由於MicroBlaze處理器的強大功能，可以減少很多外圍晶片的使用，一方面可以減少產品的成本，另一方面可以降低功耗，這對需要一直「在線」的設備來說是很重要的。

(6)即時地大量數據存儲。實時視頻跟蹤過程中會有大量的數據需要保存下來，利用MicroBlaze軟核處理器的優勢，引入CF卡可以方便地對這些視頻數據進行存儲，在司機沒有及時對報警作出反應而導致發生交通意外的情況下，這些數據可以作為分析事故原因的重要證據。

圖1 系統功能圖

圖2 基於MicroBlaze的系統硬體框圖

fpga相關文章:fpga是什麼


相關焦點

  • 不用攝像頭:方向盤就能檢測司機疲勞度
    據外媒報導，駕駛員疲倦駕駛是車禍的主要原因之一，因此許多廠商試圖通過眼球追蹤攝像頭、反應測試設備，或者谷歌眼鏡等這些硬體來監測駕駛員。日前，一個來自美國斯波坎市華盛頓州立大學的團隊開發了一個低成本檢測司機疲倦程度的系統，即通過檢測方向盤的動作來判斷司機疲勞程度。
  • 基於FPGA的八通道超聲探傷系統設計
    摘要：文中提出了一種基於FPGA的八通道超聲探傷系統設計方案。該系統利用低功耗可變增益運放和八通道ADC構成高集成度的前端放大和數據採集模塊；採用FPGA和ARM作為數位訊號處理的核心和人機互動的通道。
  • 基於FPGA的移動目標實時定位跟蹤系統
    打開APP 基於FPGA的移動目標實時定位跟蹤系統 工程師3 發表於 2018-04-20 15:50:00 1 背景知識 如圖
  • 眼球運動檢測裝置
    ■我有技術所屬領域：新一代信息技術單位名稱：重慶市科學技術研究院成果簡介：該實用新型在光線充足或者暗黑的條件下均能精確檢測眼球的運動情況，對眼球運動的幹擾較少，並且能夠直觀地查看眼球的運動方向。眼動技術即眼球運動跟蹤技術，眼動技術用以準確、可靠的識別眼球並跟蹤眼球的運動，可應用於人的因素、行為研究、市場研究、醫學研究、公路工程研究、駕駛員訓練和評價、儀錶盤設計評價和閱讀研究等方面；利用眼動技術實現視線追蹤是目前國際熱點研究方向，視線追蹤技術分為視線特徵參數提取和視線估計模型建立兩個組成部分，它利用眼球技術獲得眼球位置變化特徵，然後通過幾何模型或映射模型獲取視線方向。
  • 基於視覺導航的交通標誌檢測和障礙物檢測的車輛駕駛輔助系統
    FaceLAB是基於眼部特徵的駕駛員狀態檢測技術的代表，該技術通過檢測駕駛員頭部姿態、眼瞼運動、凝視方向、瞳孔直徑等特徵參量，進行多特徵信息融合，實現對駕駛員疲勞狀態的實時檢測，系統採用眼睛睜閉和注視方向檢測方法，解決了在暗光照、頭部運動和駕駛員佩戴眼鏡條件下的視線跟蹤問題。
  • 新科技 通過眼球運動監測疲勞程度: 智能眼鏡Meme
    智能眼鏡Meme通過跟蹤眼球運動以判斷人們體力和腦力的疲勞程度，並在疲勞的臨界值到來之前發出警告，避免疲勞累加，從而提高工作效率。近日，日本眼鏡製造商Jins出品了一款智能眼鏡Meme，能夠跟蹤眼球運動以判斷人們體力和腦力的疲勞程度。這款眼鏡還可以監測穿戴者的健康以及坐姿。
  • 基於腦電的駕駛疲勞檢測系統設計與實現,包括原理圖、電路圖等
    有關汽車駕駛員的疲勞檢測問題,隨著高速公路的發展和車速的提高，目前已成為汽車安全研究的重要一環。國外的許多國家都比較重視疲勞駕駛檢測的研究工作。尤以美國的研究發展較快，目前具有代表性的有：美國研製的打瞌睡駕駛員偵探系統，方向盤監視裝置，日本研製的DAS2000型路面警告系統，日本研製的電子「清醒帶」。對於國內，我國的疲勞駕駛檢測系統研究起步較晚，目前比較成型的系統很少。
  • 大貨車總是疲勞駕駛?且看交警蜀黍怎樣科技「防治」!
    疲勞駕駛是一種常見的交通違法行為，並且出現這一行為的駕駛人，大多數是需要長途駕駛的客貨車司機或危化品運輸車司機。 而基於領先的深度學習技術，兼具司機駕駛行為分析、異常駕駛行為預警功能的DSM駕駛行為檢測預警系統則正好是這一問題的
  • 老齡化社會催生的跌倒檢測報警系統的設計
    為了老年人更健康地生活，研究設計一個老年人的跌倒檢測與報警系統具有十分重要的研究價值和實際意義。 　　目前，研究開發人體跌倒檢測系統方面的技術有很多種，最常見的是圖像分析和加速度分析法。文獻［4-6］都是基於視頻圖像分析的室內跌倒自動檢測系統，這種技術準確性高，人體動作清晰可見，但需要多部攝像機同時工作，且暴露了用戶的個人隱私，監測範圍有限，受環境的影響也很大。
  • 基於Arm 單片機的車載兒童報警系統設計
    朱  琳，蔣美琪，楊  興，曾  誠摘  要：本設計是一種基於STM32單片機和GSM通訊模塊的車載兒童安全報警系統，主要是由信號採集模塊、 單片機STM32F103為核心的控制模塊、SIM900A為核心的GSM/GPRS通訊定位模塊和客戶端組成。
  • 不受硬體限制，基於AI的眼球追蹤系統誕生
    而在非近眼的眼球追蹤領域，例如手機、平板、電腦、汽車等更多場景中，眼球追蹤可以發揮不同的作用，例如給PC遊戲提供新的交互玩法，在智慧型手機或PC進行視頻通話時，可以進行眼球視角的糾正；在汽車場景中，實現疲勞駕駛提醒等。
  • 一名司機卸載了車上的定位系統,結果卻變成這樣!
    通過定位能對車輛的位置和行為進行跟蹤，一旦出現危險或緊急情況，相關管理部門能及時了解到車輛的位置給出指示或救援，並迅速報警。規定已經說得非常明確，由於危險品運輸的特殊性，需要對車輛進行實時監控，如果車輛偏離規定區域或路線，也會自動報警，車輛出現問題及時處理。目前的道路交通法律法規中有明確提到，只要是營運車輛的定位系統用戶，不允許破壞定位系統，也不能私自拆掉和故意關閉定位系統，否則會有相應的處罰。
  • 基於非接觸心率檢測的疲勞駕駛監測技術
    疲勞駕駛造成的交通事故的頻頻發生，對駕駛員和行人的生命財產安全構成了巨大的威脅，然而對於疲勞駕駛至今仍然缺乏有效的預防和治理措施。什麼是疲勞駕駛？在疲勞狀態下駕駛車輛稱之為疲勞駕駛，當駕駛人員在長時間內持續駕駛而沒有得到足夠休息時，其生理機能和心理機能將會逐漸失調，對車輛的控制能力、注意力以及面對突發事件時的反應能力都會明顯下降，甚至可能墜入短暫睡眠，導致車輛徹底失控。疲勞駕駛的表現是怎樣的？
  • 基於雙星定位的4G監控報警系統設計
    基於雙星定位的4G監控報警系統設計 秩名 發表於 2011-11-10 14:28:02 　　隨著信息技術的發展，無線通信已經普及，而我們通常的監控手段仍是接觸式的。
  • 「每周FPGA案例」基於FPGA的超聲波測距系統設計
    1.1 總體設計1.1.1 概述學習了明德揚至簡設計法和明德揚設計規範，本人用FPGA設計了一個測距系統。該系統採用超聲波進行測量距離再在數碼管上顯示。在本案例的設計過程中包括了超聲波的驅動、三線式數碼管顯示等技術。
  • 基於FPGA的實時中值濾波器硬體實現
    文獻[7]為了提高紅外成像跟蹤器設計了大窗口的中值濾波器。文獻[3]、[4]提出了鄰域圖像幀存的存儲結構，該結構充分利用了圖像幀存的數據結構轉換特性，並行高速提供鄰域圖像數據，配以FPGA作為並行處理器，高速實時地實現了中值濾波。但是以上研究都是基於標清圖像的中值濾波器，處理的圖像大小一般為256×256、512×512的灰度圖等，很少有實現高清圖像的中值濾波器。
  • 花式警示司機勿疲勞駕駛
    侯景雷在近期的「有問必答」中解釋，滴滴希望用微電影的方式警示，把安全駕駛觀念進一步植入司機心中。據了解，就像電影裡的情節一樣，當疲勞駕駛預警系統識別到司機疲勞時，滴滴會發簡訊給司機的緊急聯繫人，讓司機的家人、朋友化身為「安全使者」，引導司機休息，也會通過語音播報來提醒、關懷司機。
  • 小小方向盤套檢測司機疲勞度 快去新會展看交管「黑科技」
    圖為現場展出的警用裝備四川新聞網成都8月15日訊（記者 梁鵬 攝影報導）可攜式警用查緝裝備可讓民警一邊巡邏，一邊發現周邊的違規、違法車輛；一個小小的方向盤套就能檢測司機是否疲勞駕駛……8月15日，在成都世紀城開幕的第十屆中國國際道路交通安全產品博覽會暨公安交警警用裝備展上，許多令人關注的交通管理方面的
  • 基於SoC+FPGA平臺快速動態加載驅動開發及實現
    摘要：以TI公司的OMAP-L138型號雙核處理器單片系統(SoC)與ALTERA公司 EP3C80F484型號FPGA為核心的嵌入式硬體平臺，介紹了SoC與FPGA通過高速SPI接口實現固件動態加載的方法，以及基於Linux的SoC對FPGA快速動態加載驅動程序開發的原理及步驟。
  • 一種基於FPGA的視頻圖像畫面分割器設計
    雖然可以滿足對視頻圖像數據處理速度的要求，但是還需要外加CPU去協調系統工作，使得整個系統仍顯得體積較大，而且系統成本較高。隨著半導體加工工藝的不斷發展，FPGA在結構、速度、工藝、集成度和性能方面都取得了很大的進步和提高。本文將詳細介紹基於FPGA開發技術的視頻圖像畫面分割器的軟硬體設計與實現。