工程師黃明星 發表於 2018-08-26 10:44:32
多媒體存儲的範疇很廣，包括網站媒體、VOD應用、醫療PACS等在內的各種涉及圖形、圖像應用的存儲領域，其中視頻監控存儲是多媒體存儲的一種重要形態。本文重點聚焦監控領域的多媒體存儲，文中說到的監控存儲，都指監控領域的多媒體存儲。近年來，動漫製作行業在國內大量興起，如何讓數據安全、大容量存儲、靈活方便使用、維護簡單一直困擾動漫工作者。順應動漫存儲趨勢的發展，推動企業動漫存儲安全規劃，讓工作者更加安心的創作？
在海量的數據面前，單靠人進行多媒體數據的檢索、挖掘明顯力不從心--效率低、成本高。隨著智能視頻技術的逐漸發展和成熟，視頻監控系統中也開始出現智能化的需求。然而目前智能系統和多媒體監控系統大多為相互獨立的兩個系統，數據沒有進行整合。成為數據共享以及效率提升的障礙。整合多媒體視頻生產系統和智能視頻技術，對視頻監控的存儲系統也提出了很高的要求，要求智能信息和視頻監控系統生產的音視頻信息要進行有效整合。這種情況下，MAS應運而生。
多智能體系統（MAS， Multi-Agent System）是多個智能體組成的集合，它的目標是將大而複雜的系統建設成小的、彼此互相通信和協調的，易於管理的系統。MAS是分布式人工智慧（DAI，Distributed Artificial Intelligence）的一個重要分支，是20世紀末至21世紀初國際上人工智慧的前沿學科。研究的目的在於解決大型、複雜的現實問題，而解決這類問題已超出了單個智能體的能力。它的研究涉及智能體的知識、目標、技能、規劃以及如何使智能體採取協調行動解決問題等。研究者主要研究智能體之間的交互通信、協調合作、衝突消解等方面，強調多個智能體之間的緊密群體合作，而非個體能力的自治和發揮，主要說明如何分析、設計和集成多個智能體構成相互協作的系統。
MAS的基本設計出發點是「針對視頻監控的專業多媒體存儲系統」，它以H3C在監控領域成熟應用的塊存儲技術為基礎，並對原有塊存儲技術進行革新，吸取文件系統中的空間共享可動態調整等特點。吸取文件系統和塊存儲的優點，又規避了其缺點，並實施針對性視頻監控應用的多種可靠性保證設計。
多智能體系統在表達實際系統時， 通過各智能體間的通訊、合作、互解、協調、調度、管理及控制來表達系統的結構、功能及行為特性。多智能體系統具有自主性、分布性、協調性， 並具有自組織能力、學習能力和推理能力。採用多智能體系統解決實際應用問題，具有很強的魯棒性和可靠性， 並具有較高的問題求解效率。多智能體系統是智能體技術應用及研究上的一個質的飛躍。通過不同行業的專家學者對之進行深入的研究，我們可知多智能體系統用於解決實際問題有很多的優勢特點。
MAS具備存儲資源的本地和網絡化訪問方式，對存儲資源的生產者和使用者提供了統一的訪問接口。生產者和使用者無需了解存儲資源的位置，組網中存儲資源可全局訪問，所有的存儲資源都由MAS接管，並提供全局的存儲服務。這種歸一化的訪問方式可減小後續應用的開發工作量。
對於小型組網中常見的DVR/DVS等方式，MAS可安裝在DVR/DVS內提供本地存儲服務。
大型組網中分散的數據難以管理，又有信息安全的風險，勢必帶來數據集中的要求。存儲空間的網絡化訪問是必然的方式，MAS使用的iSCSI協議基於TCP/IP之上，當前IP網絡的普及和成熟性為MAS的部署提供了基礎保障。通過iSCSI協議無論是媒體數據的生產者還是媒體數據的訪問者（如：VODServer、第三方系統）都可以方便快捷的寫入或獲取數據，真正可做到IP可達即存儲可達。
圖1 MAS網絡化訪問模型
MAS的設計目標是提供7×24小時服務，因此穩定和健壯是關鍵指標，MAS在多個層次採用多種手段提升系統的穩定和健壯：
底層使用Raid冗餘技術
底層使用Raid5技術，保證存儲空間的冗餘保護。在發生單個磁碟損壞時可利用Raid5技術對數據進行恢復，避免MAS的元數據和多媒體數據遭到損壞。
數據區和元數據區操作分離
在視頻監控攝像頭產生的海量數據面前，普通的桌面級文件系統無論在穩定性還是性能上都將面臨極大的問題，頻繁、異徑且大量並發的文件系統元數據區的訪問將會導致其難以承受。MAS系統對多媒體數據的訪問和元數據的訪問作出了嚴格的控制，元數據只能由MAS的管理者--MASManagerServer操作，多媒體數據的生產者和使用者被嚴格禁止操作元數據。多媒體數據和元數據區的操作分離可以保證MASManager Server萬一發生故障或宕機，不會影響多媒體數據的正常訪問，媒體數據的生產者還可以繼續存入數據，媒體數據的訪問者還可以繼續讀取數據。
對元數據區進行冗餘保護
MAS同時對元數據區進行了冗餘設計，當發生不可預料的異常時，系統可根據MAS元數據區的冗餘信息找到正確的元數據。例如，由於某種原因MASManagerServer發生了掉電，其對元數據區的操作可能只是部分完成，此時元數據區中的數據出現了錯誤，MASManager Server重新上電後會自動根據冗餘信息找出正確的狀態，保證MAS系統的正常運行。
MAS對H3C原有塊存儲技術進行了擴展設計，使得一個MAS卷可同時為多個媒體資源的生產者使用，空間共享並可按需要擴展或縮小。為了減少對元數據的訪問，MAS將基本存儲塊擴展到適合視頻數據的256MBytes（文件系統通常為幾十K~幾M），256M的基本存儲塊可進一步細分為適合圖片數據的16MBytes.媒體數據的生產者和使用者在數據操作時無需訪問元數據區，只在存儲空間需要擴大或縮小的時候通過MASManager Server訪問元數據區，極大的降低了對元數據區的訪問。
數據關係矩陣解決的核心問題是多媒體數據本身與其他系統產生的針對多媒體數據的表述信息建立對映關係。比如基於IMOS的監控系統所產生的關於車流的視頻和車牌識別系統識別的車牌號。MAS系統中這種對映關係可精確到幀組級別，後續可根據表述信息快速定位到多媒體數據的具體位置，也可以根據多媒體數據快速獲取相應的表述信
圖2 MAS應用整合模型
應用舉例1 -- 視頻標籤：
城市重要道路的視頻監控中，對於重要路口通常會有民警實時查看，民警可以通過實時監控界面隨時為視頻添加標籤，例如：民警可以描述此路口的交通實時擁堵情況，紅綠燈放行情況。事後民警可根據標籤信息調取相應視頻進行分析，優化車道設置、紅綠燈放行時間設置以達到優化交通的目的。
應用舉例2 -- 智能整合應用：
目前視頻智能分析工具雖然很多，但是這些工具基本都是針對某種場景，通過MAS可以將多種智能分析工具整合起來。比如：智能分析工具A為車牌識別系統，智能分析工具B為周界檢測系統，如果要在一段視頻中找出紅色小汽車進入某個周界的視頻，目前的智能分析工具是相互獨立的，對此無能為力。
MAS設計秉承IMOS的抽象、開放、分層的設計原則。
抽象：MAS抽象出各種物理存儲資源（如：磁碟、CF卡）的共性特徵，並將其封裝為統一的讀、寫、查接口。例如：資源的使用者（如：編碼器）無需感知物理存儲資源，也無需感知是本地還是遠程物理存儲設備，使用統一的接口即能訪問所有類型的物理存儲資源。
開放：MAS無論對系統內網元還是系統外網元都提供標準的訪問方式，對內為讀、寫、查接口，對外為標準的RTSP/RTP等訪問接口。可以很容易的通過開放接口開發IMOS應用以及和外系統聯動擴展。
分層：MAS內部架構的分層設計降低了內部模塊之間耦合度，提升了MAS系統的穩定性，以及可移植性。基於這些分層的設計可以便捷的開發基於MAS的應用，以及擴展MAS內部的功能。
MAS架構如下圖所示：
圖3 MAS架構
流媒體應用層
實現標準流媒體協議，如：RTSP/RTP等，對外展現為標準流媒體接口。提供標準流媒體服務，外部系統可通過標準流媒體方式訪問MAS系統內的多媒體數據。
生命周期管理
MAS統一管理系統中的所有多媒體數據，可根據用戶靈活配置的策略進行生命周期管理，如：留存期管理、抽幀備份、歸檔等。通過對多媒體數據的生命周期管理，最大限度的利用存儲空間以及保留重要信息，為用戶有效降低對存儲空間的投資。
媒體數據直接訪問接口層
MAS系統提供多媒體數據的直接訪問接口，主要是在多媒體系統中其他網元訪問存儲資源時使用，多媒體數據對應的特徵數據都在此接口進行封裝。接口對存儲資源的使用者抽象成讀、寫、查三類接口，簡單易用。使用者無需關心存儲資源的類型、訪問差異及數據組織方式。
數據組織層
數據組織層負責多媒體存儲格式、維護多媒體數據和智能特徵數據之間的關係。關係組織結構如下圖所示：
圖4 數據組織關係模型
為適應圖4所示的數據關係矩陣，MAS對多媒體數據的存儲格式進行了針對性設計，多媒體數據區可動態建立擴展索引關係，利用擴展索引可關聯到相應的多媒體特徵或相關表述信息。MAS中設計的擴展索引非常靈活，通過擴展索引可以關聯到數據表格、資料庫、URL、文件系統中的文件、甚至是物理地址。
存儲資源屏蔽層
存儲資源屏蔽層的作用是抽象存儲資源的訪問，屏蔽存儲資源的差異。無論真正的存儲資源是本地磁碟、CF卡、IPSAN、還是FCSAN存儲資源的使用者都不需關心。通過「媒體數據直接訪問接口層」為用戶提供統一的訪問接口。
物理資源層
真正的物理資源，如磁碟、CF卡、IPSAN等物理存儲資源。
MAS管理
整個MAS系統的管理者，也是系統中的存儲資源和多媒體數據的管理者，負責元數據區的維護。為存儲資源的管理員提供各種管理手段，如：動態擴展、縮小存儲資源，存儲資源的上下線等。
對於視頻監控系統而言，存儲非常關鍵。隨著視頻監控的網絡化不斷深入，規模不斷擴大，智能應用的逐漸實施，傳統的普適性文件系統將會越來越力不從心。針對視頻監控特點開發專業存儲系統是視頻監控大聯網時代的必然趨勢。
打開APP閱讀更多精彩內容聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴