本篇文章介紹了安防AI大數據流程的三個環節、數據預處理技術及方法、以及大數據的應用。
對於安防AI，看上去是AI，實際上最後是大數據，大數據才是智能化的基礎。人工智慧、深度學習、機器學習、大數據應用在安防AI中， 說到底都是對大數據的採集、建模和應用。
本文大致說一下安防AI中，對於大數據的運用過程與環節，讓大家有個大致的印象。
一、安防AI大數據流程三個環節
1. 數據採集
數據採集，有說數據獲取，這是數據的來源，安防AI中這個數據是來源於視頻監控系統中的視頻流，當然往大了說安防，還包括很多內容，但是基本都是以視頻監控為核心，這裡主要指視頻監控系統。
2. 數據預處理
對於採集到的實時或者歷史視頻，是只能看不能應用的，要調用就得結構化，先給視頻流解碼，把視頻流還原成一張張圖片，再對圖片進行預處理。
可能不同的公司對預處理包含的步驟內容說法不太一致，我是以安軟慧視的技術負責人介紹為準。
先對圖片進行目標清洗垃圾，清洗掉模糊的、不合尺寸的，目標無法識別的、無目標對象的等等，當然，有些場景可能只有這樣的圖像，這需要用到另外一些圖像處理方法，和我們的主題相關但不是一回事。
這樣我們就可以得到基本符合要求的圖像。然後對這些圖像中的目標對象進行檢測和分割，並改變目標的大小與標準圖片大小一致，目標對象包括人形、人臉、車形等，這樣就可以拿去訓練模型了。
3. 模型訓練
對圖片中的目標對象進行識別，提取和構建模型，在安防AI中，需要的結構化描述是比較具體的，比如對人的描述就包括性別、年齡、髮型特徵、髮飾、上衣款式特徵、下衣款式特徵、鞋帽款式特徵、交通工具特徵、隨身物品特徵、同行人特徵等一系列描述。
對車的描述包括車牌號碼、廠牌、車身顏色、車輛品牌、車輛類型、車輛特徵物（如：年檢標、掛飾、紙巾盒、遮陽板）等。
有了這些識別模型，就可以通過語義分析等技術對視頻數據進行分類處理存儲，並通過後端伺服器的智能分析功能進行業務處理，將人、車、物的信息從數據中分離出來。
這樣公安民警就可以進行快速檢索、條件搜圖（人）、以圖搜圖，再配以圖片的拍攝地點、時間等數據，就可以進行軌跡查詢，再匹配一下大安防系統中的住宿、手機號碼、車票等大數據，基本上嫌疑人就是插翅難逃，這對民警的破案效率將是百千倍的提升。這才是安防AI真正的價值所在。
這在上一篇文章《安防AI大規模落地，解析一線場景及創新關鍵點》有過論述。
二、安防AI數據預處理技術及方法
1. 目前常見的數據預處理技術
1）數據清理
數據清理例程就是通過填寫缺失值、光滑噪聲數據、識別或者刪除離群點，並且解決不一致性來進行「清理數據」。
2）數據集成
數據集成過程將來自多個數據源的數據集成到一起。
3）數據規約
數據規約是為了得到數據集的簡化表示。數據規約包括維規約和數值規約。
4）數據變換
通過變換使用規範化、數據離散化和概念分層等方法，使得數據的挖掘可以在多個抽象層面上進行。數據變換操作是提升數據挖掘效果的附加預處理過程。
2. 數據清理方法
1）缺失值
對於缺失值的處理，一般是能補的就想辦法把它補上，實在補不上的就丟棄處理。
通常的處理方法有：忽略元組、人工填寫缺失值、使用一個全局變量填充缺失值、使用屬性的中心度量填充缺失值、使用與給定元組屬同一類的所有樣本的屬性均值或中位數、使用最可能的值填充缺失值。
2）噪聲數據
噪聲是被測量變量的隨機誤差或方差。去除噪聲、使數據「光滑」的技術有分箱、回歸、離群點分析等。
3）數據清理過程
這個環節主要包括數據預處理、清理方法、校驗清理方法、執行清理工具及數據歸檔。
數據清理的原理是通過分析「無效數據」產生的原因和存在形式，利用現有的技術手段和方法去清理，將「無效數據」轉化為滿足數據質量或應用要求的數據，從而提高數據集的數據質量。
常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。
4）模型構建數據統計分析
數據統計為模型構建提供基礎，只有通過數據統計分析探索到了數據中隱藏的規律，深度學習才有意義，人工智慧才有可能。
數據統計又包括數據分析與結果分析，基本的分析方法有：對比分析法、分組分析法、交叉分析法、因素分析法、結構分析法、漏鬥圖分析法、矩陣關聯分析法、綜合評價分析法等。
高級的分析方法有：主成分分析法、因子分析法、對應分析法、相關分析法、回歸分析法、聚類分析法、判別分析法、時間序列等。這些類別並不是獨一使用的，往往是混合使用的，然後再通過進一步的分析對比從中挑選某些組合模型。
5）數據可視化
數據可視化，就是通過一些可視化圖形或者報表形式進行展示，增強對分析結果的理解。再針對結果進行進一步的數據再分析，使得整個業務環節形成閉環。只有閉環的數據才能真正發揮出深度學習的效用。
三、安防AI大數據的應用
安防大數據的應用當前是圍繞提升破案率和提升警務工作效率為中心的，要想在安防數據的基礎上開發出優秀的應用，必須要深入了解警務工作流程，從接處警、現場勘查、情報研判、應急指揮、關聯碰撞、合成作戰，再到各類型警用裝備間的互聯互通，再到各警種間的配合，再到各警種業務資料庫間的融合。
這些都要有詳細地了解，才能發現針對刑偵破案、治安防控、交通管理的應用間的差異。
舉例說，比如針對嫌疑人的追蹤，可能是臉，但是大部分時候視頻是識別不出臉的，這是事實，人臉識別僅在車站、機場、銀行等卡點場景才有用。但是絕大多數逃犯都是有點反偵察能力的，不是看到攝像頭就繞著走，就是故意遮擋不讓看，或者乾脆等到天黑再走。
這時候能運用到的主要就是通過嫌疑人的外形特徵進行追蹤，以圖搜圖配上區域範圍選擇、時間段選擇，再配上同行人特徵、隨行物品特徵、工具特徵，就可以有效地對嫌疑人進行高效篩選，再通過綜合情報進行軌跡研判，這種情況下，嫌疑人幾乎就是甕中之鱉，上天無路入地無門。
如果再出現小朋友老年人走失，想找到就是分分鐘的事，再也不會出現讓發動大批警力沿街查找，動輒耗費數十個小時的情況了。這樣，公安會不喜歡麼？
說到底，大數據最終是為應用服務的，只有最後真正提高了公安民警的工作效率和破案率，才能證明安防AI的價值和意義。這就要求我們既要懂AI業務，又要懂公安業務。脫離了這兩者，想讓安防AI得到大面積推廣是連想都不要想的。
本文為系列文章，歡迎各位朋友一起交流，共同推動AI的實際落地。
本文由 @李震 原創發布於人人都是產品經理。未經許可，禁止轉載
題圖來自Unsplash，基於CC0協議