異常檢測常用光流法量化對比:Farneback/Horn-Schunck / Lucas...

2021-01-15 騰訊網

快速獲得最新乾貨

本文由博主VG-Lin授權發布，禁止二次轉載

三種光流法的OpenCV-API

(一) Horn-Schunck光流法

CalcOpticalFlowHS

Horn–Schunck光流算法用一種全局方法估計圖像的稠密光流場（即對圖像中的每個像素計算光流）

算法原理參考論文：Determining Optical Flow

(二) Lucas-Kanade光流法

calcOpticalFlowPyrLK

Lucas-Kanada最初於1981年提出，該算法假設在一個小的空間鄰域內運動矢量保持恆定，使用加權最小二乘法估計光流。由於該算法應用於輸入圖像的一組點上時比較方便，因此被廣泛應用於稀疏光流場。

算法原理參考論文：Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm

(三) Farneback光流法

calcOpticalFlowFarneback

Farneback是一種基於梯度的方法，假設圖像梯度恆定且假設局部光流恆定，計算出圖像上所有像素點的光流。

算法原理參考論文：Polynomial Expansion for Orientation and Motion Estimation

三種光流法的實驗效果對比

實驗引自論文：Comparative Performance Analysis of Optical Flow Algorithms for Anomaly Detection

上圖為實驗流程圖，可以具體分為以下6個步驟：

1）從視頻片段中提取出圖像/幀；

2）把RGB圖形轉換為灰度圖，降低複雜度；

3）應用Horn-Schunk、Lukas-Kanade和Farneback三種光流法；

4）計算出對應的variance manitude和variance orientation；

5）計算出平均值用在做異常檢測；

6）訓練出異常檢測分類器。

(一) 在 UCF web數據集上做實驗

數據集名稱：UCF web dataset

上圖從左到右：正常的原圖，分別採用Farneback、H-S和L-K的光流圖。

上圖從左到右：異常的原圖，分別採用Farneback、H-S和L-K的光流圖。

針對Farneback光流法，左圖是正常情況下的光流圖，右圖是異常情況下的光流圖。

上圖從左到右：異常的另一張原圖，分別採用Farneback、H-S和L-K的光流圖。

這裡引入兩個異常檢測相關的參數：Manitude（模值）和Orientation（方向）。原文解釋：Anomaly detection with dynamic threshold in changing light conditions. Graphs showing the difference for abnormal/normal behaviour for videos (on y-axis) are considered with respect to resolution pixels on x-axis。大意是X軸表示解析度，Y軸表示參數變化（對比正常和異常兩種情況）。下面分別展示Farneback、H-S和L-K算法對應的結果圖：

由上圖可以得知，Farneback光流法在Variance Manitude參數上對某些異常場景敏感，且優於另外兩種算法。

由上圖可以看到，在MSE指標上Farneback優於另外兩種算法。

(二) 在UMN數據集上做實驗

數據集名稱：The University of Minnesota (UMN) database

上面左圖為正常場景，右圖為異常場景。

由上圖可以得知，Farneback光流法在Variance Manitude參數上同樣對異常場景敏感，且優於另外兩種算法。

(三) 在UCSD異常數據集上做實驗

數據集名稱：UCSD Anomaly dataset

上面左圖為異常場景（有白色卡車開入步行區），右圖為正常場景。

由上圖可以得知，Farneback光流法在Variance Manitude參數上同樣對異常場景敏感，且優於另外兩種算法。

實驗結論

基於論文的實驗結果，相比Horn-Schunck光流法和Lucas–Kanade光流法，明顯可以看到Farneback光流法在人群異常的檢測方面存在較大的優勢。後續會從這些光流算法的原理層面剖析更深層次的原因，為後面的人群異常領域研究建立紮實的理論基礎。

參考資料

1. 本文的內容主要引自 ICCIP-2019 的一篇文獻：

Comparative Performance Analysis of Optical Flow Algorithms for Anomaly Detection

2. 光流法的代碼部分主要引自OpenCV官方文檔：https://docs.opencv.org/4.1.0/

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、檢測分割識別、三維視覺、醫學影像、GAN、自動駕駛、計算攝影、算法競賽等微信群（以後會逐漸細分），請掃描下面微信號加群，備註：」暱稱+學校/公司+研究方向「，例如：」張三 + 上海交大 + 視覺SLAM「。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進入相關微信群。請勿在群內發送廣告，否則會請出群，謝謝理解~

相關焦點

  • OpenCV-Python 光流|四十八
    我們將使用cv.calcOpticalFlowFarneback()方法創建一個密集的光流場。光流光流是由物體或照相機的運動引起的兩個連續幀之間圖像物體的視運動的模式。它是2D向量場，其中每個向量都是位移向量，表示點從第一幀到第二幀的運動。
  • OpenCV系列之光流 | 四十八
    因此，從用戶的角度來看，這個想法很簡單，我們給一些跟蹤點，我們接收到這些光流矢量點。但是同樣存在一些問題。到現在為止，我們只處理小動作，所以當大動作時它就失敗了。為了解決這個問題，我們使用金字塔。當我們上金字塔時，較小的動作將被刪除，較大的動作將變為較小的動作。因此，通過在此處應用Lucas-Kanade，我們可以獲得與尺度一致的光流。
  • 基于振動法的變壓器振動檢測法原理及方案研究
    目前常用頻響分析法和短路電抗法等方法對變壓器繞組進行檢測，這些方法均是建立在變壓器繞組的電氣模型基礎上，只有在變壓器繞組發生明顯變形時才能給出較為準確的判斷，但對變壓器繞組鬆動、扭曲或輕微變形時靈敏度不高。近年來展開的振動檢測法日漸成為熱點，其出發點是通過檢測繞組的機械特性變化來反映繞組的狀態變化，與傳統檢測方法相比，振動分析法能更有效地檢測出繞組變形。
  • Amnis量化成像流式細胞儀在血液學研究中的應用
    結果表明，Amnis量化成像流式技術能夠分析大量樣本，確定PML蛋白的分布形式，從而找到潛在的異常細胞，增加了檢測的靈敏度和準確率。檢測這些細胞遺傳學異常的金標準是在載玻片上的細胞塗片或組織切片上進行螢光原位雜交(FISH)。螢光原位雜交(FISH)是一種顯微鏡技術，使用螢光探針檢測DNA序列，通常在載玻片上完整細胞的中期細胞塗片或間期細胞核上進行。
  • 生化檢測發展史、原理、與ELISA法對比、實例介紹
    生化檢測的檢測原理:　　生化試劑盒檢測的本質就是某物質化學變化的顯色反應，其反應過程可以劃分為四個區：延遲區、等速區、過渡區和平衡區，以時間為橫坐標、吸光度為縱坐標作圖，如下所示：　　延遲區：無規律可尋。等速區：對應的是速率法，一般應用於酶類項目，可以使用因數法來計算待測濃度。
  • HORNBLENDE/角閃石
    Z2+4Z3+}(AlSi7O22)(OH,F,Cl)2Z2+ position (= IMA C2+ position): Mg or Fe2+Z3+ position (= IMA C3+ position): Al or Fe3+W position: (OH) or F主導元素為Z和(OH,F,Cl) Ferro-ferri-fluoro-hornblende
  • 學會五種常用異常值檢測方法,亡羊補牢不如積穀防饑
    選自towardsdatacience作者：Will Badr機器之心編譯參與：韓放、shooting通過鑑別故障來檢測異常對任何業務來說都很重要。本文作者總結了五種用於檢測異常的方法，下面一起來看看吧。什麼是異常/離群點？
  • 傳播效果四度評價法公布 品牌傳播效果可量化評估
    三、優勢全面反映傳播效果傳播效果四度評價法不但能夠將參與內容傳播的傳統媒體與網絡新媒體放在一個架構內進行研究、量化、對比，還能夠按照不同類型的媒體平臺（6大平臺）進行分別研究、量化、對比，讓傳播者了解自己在不同平臺媒體上傳播的優勢和劣勢，同時也能夠了解自身傳播內容對於用戶的影響程度，並根據實際情況及時做出改善。
  • 洩漏檢測,目前常用方法分析
    為了保證產品密封性能，廠家開始尋求合適的辦法對產品進行洩漏檢測。洩漏檢測在檢測目的上主要有兩種，一是檢測洩漏量大小，並根據洩漏量的大小判定產品是否合格；二是尋找漏點；除了根據檢測目的不同，選擇不同的洩漏檢測設備之外，還要根據檢測精度、解析度、檢測效率、成本等因素來綜合選擇設備。首先談談最古老的檢測方法——氣泡法。
  • 短波紅外結構光，實現人體水和脂肪的無標記非接觸、寬場量化成像
    目前的光學成像方法難以對組織中的水和脂肪進行非接觸量化測量，也無法對血液中的脂肪進行非侵入式測量。例如，基於相關原理開發的血氧儀已在臨床上廣泛應用；空間頻域成像（SFDI）、高光譜成像可以無標記、非接觸方式測量組織中的血紅蛋白；通過脈衝雷射及介質耦合，光聲成像（PA）可以在釐米深度探測血紅蛋白。然而，由於水和脂肪在近紅外（例如700-900nm）波段的吸收特徵遠弱於血紅蛋白，上述方法難以對水和脂肪進行量化成像。
  • 光致發光技術在Si基太陽電池缺陷檢測中的應用
    發光成像方法為太陽電池缺陷檢測提供了一種非常好的解決方案，這種檢測技術使用方便，類似透視的二維化面檢測。本文討論的是光致發光技術在檢測晶體Si太陽電池上的應用。光致發光(photoluminescence，PL)檢測過程大致包括雷射被樣品吸收、能量傳遞、光發射及CCD成像四個階段。
  • 腦脊液相位對比磁共振成像法在退行性頸椎病的臨床應用
    X線是臨床上最常用的診斷頸椎病的方法；CT輔助檢查可清晰顯示頸椎增生與鈣化情況，在觀察椎管狹窄、後縱韌帶鈣化方面有較好的效果；MRI檢查除能顯示X線與CT檢查所表現的徵象外，還可以觀察脊髓的損傷情況，是目前最常用的較精確的評估椎管狹窄的成像方法。
  • 目標檢測與行為跟蹤 智能分析三大應用
    幾種常用的動態視頻目標檢測方法簡介如下：　　背景減除，背景減除(Background Subtraction)方法是目前運動檢測中最常用的一種方法，它是利用當前圖像與背景圖像的差分來檢測出運動目標的一種技術。它一般能夠提供相對來說比較全面的運動目標的特徵數據，但對於動態場景的變化，如光線照射情況和外來無關事件的幹擾等也特別敏感。
  • 謝振軒個人資料_謝振軒和謝振南_lucas謝振軒近照_太平洋時尚網
    談及名字的出處，謝賢透露，謝霆鋒在網上看到了很多網友建lucaslucas議的名 字，一看到「Lucas」便覺得這個名字很好。至於中文名，全家人則交由謝霆鋒母親狄波拉負責，因為張栢芝一直問她要改什麼名字好，但拉姑表示要多抱一下孫子才能想到名字。
  • 帶你了解什麼是聲波透射法檢測?
    它作為目前最常用的樁基質量檢測技術手段之一，具有操作簡便、檢測範圍廣、檢測細緻全面、數據豐富可靠等優點。在聲波透射法檢測中，波速是用於判別樁身完整性最重要的聲學參數；但波速並不是通過聲波儀直接測量得到的，而是通過在基樁頂部測得的聲測管間距除以聲波在兩根聲測管所夾混凝土中的傳播時間得到。
  • 數據分析(1):對比分析法
    下面呢我們先講講對比分析法~對比分析法數據分析的最終目的是對現實的情況或一個功能的好壞做評估，這裡最常用的方法就是對比分析法啦，俗話說的好：沒有對比就沒有傷害。舉個慄子：你的菜鋪某一天的數據數據下跌了600，某寶某一天的數據下跌了600。那對於某寶來說這個數據算異常嗎？
  • 工程中常用的無損檢測方法
    當前位置：首頁 > 技術文獻 > 工程中常用的無損檢測方法 2019-07-30 09:35:11　來源：中國檢測網 網絡轉載　閱讀: 次 【導讀】對己建成的混凝高層建築、高架道路、水壩的安全評估，解決傳統查找混凝土結構隱患的方法效率低
  • 初步了解電腦的常用故障檢測與常用的維修方法
    大家好，我是波仔，今天來跟大家講一講初步了解電腦的一些常用故障檢測與常用的一些維修方法。電腦故障常用診斷與維修方法電腦故障可分為硬體故障和軟體故障，無論出現哪種故障都會影響電腦的正常運行。雖然電腦的故障無法徹底杜絕，但如果做好了預防措施，很多故障還是可以避免的。
  • horn是指動物的角,那pull in one's horns是什麼意思?
    儘管horn這個詞是指羊、牛等動物的角，但這句習語的來源和好鬥的有角生物可沒關係。這句習語源於蝸牛。蝸牛有觸角，當蝸牛感覺附近有危險，就會縮到殼裡。早在14世紀，這句習語就存在了。不過shrink one's horns這個用法現在不常用。例句：I just got this quarter's budget report, and we need to pull in our horns.
  • 超聲波透射法在基樁檢測中PSD評定的應用研究
    該文首先概述了超聲波的原理及其測試方法，然後在工程實例中用PSD判據法對基樁完整性進行評定。通過工程實例，得出用PSD判據法判斷樁身質量的簡便性、準確性和專業性。關鍵詞：超聲波透射法；PSD；完整性；樁基檢測樁基礎是建築工程中常用的基礎形式，樁身質量直接影響到建築物的安全。