在AI時代,越來越多的生物特徵可以被提取出來並進行識別,目前市場應用比較多的有人臉識別、指紋識別、聲紋識別等,而門檻相對較高的虹膜識別、掌靜脈識別、步態識別技術等技術則在落地應用中難覓蹤影。
在疫情發生後,應用範圍廣泛的人臉識別、指紋識別等技術卻出現了極大的應用受阻。
比如人臉識別技術,只提取人的臉部特徵信息,在戴口罩、或者燈光黑暗、拍攝角度不佳、帽子遮擋等情況下,人臉識別技術難以發揮效用。
為此,彌補人臉識別技術不足的一些技術也應運而生,比如步態識別技術、行人重識別ReID技術,這兩個技術都能在一定程度上彌補人臉識別的不足。
步態識別技術和行人重識別ReID技術其實是兩個並不相同的技術,但不了解他們的人,很容易將兩者混為一談,接下來我們就從幾個方面來剖析了解兩者究竟有何不同,以及他們在落地應用的場景中又有哪些優勢?
兩者的概念不同
步態識別:靠身體體型和走路姿態識別人▼
(圖片來自電影《碟中諜5》)
行人重識別:靠不變的衣服、多攝像頭追蹤識別人▼
(圖片來自電影《碟中諜5》)
▎什麼是步態識別?
它是通過身體體型和行走姿態來分析人的身份,其物理基礎是每個人不同的生理結構:身高、頭型、腿骨、臂展、肌肉、重心、神經靈敏度等。
在日常生活中,如果在遠處出現一個你熟悉的身影,即使看不清面部,或者穿了一件你從來沒有見過的衣服,但是憑藉你對他的熟悉程度,你依然可以認出他的身影。這其實是人類視覺的一個步態識別。
步態識別是一種生物特徵識別技術,是對於人的全身特徵的一個識別,具有遠距離、跨視角、非受控的優勢。
最初,大家了解這個技術源自一部電影《碟中諜5》,在當時看來,很有科幻色彩。隨後,科研機構也對此展開了研究,但多年來,這個技術還停留在實驗階段,技術概念多於落地應用。
CPS中安網向多家企業了解這個技術的進展和落地應用情況,但意外的是,收到的回覆,要麼是已經不涉足了,要麼是還停留在概念階段,未有實際的技術突破。
(大華步態識別技術圖示)
唯有大華股份和銀河水滴公開表示在步態識別技術領域取得新的突破,其中,大華在2019年深圳安博會上發布的7大「黑科技」中,就有一個與步態識別相關的技術——跨相機跟蹤技術:使用目標檢測與步態識別技術,實現多個攝像機之間目標物體的視頻接力跟蹤。
但對於這項技術的場景落地應用,大華並沒有過多著墨,以致目前在市場上,銀河水滴成為唯一一家以步態識別技術為核心技術的人工智慧企業,並且已經落地應用。
▎什麼是行人重識別?
行人重識別(Person Re-identification)也稱行人再識別,簡稱為ReID,是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。
在多攝像設備網絡下對行人進行檢索,利用步態動作、身體特徵等更為全面的信息來識別人物,無論單獨使用還是與人臉識別相結合,都能發揮更大的應用價值。
特別是當攝像頭無法抓拍到清晰的人臉時,行人重識別技術就發揮著非常重要的作用,只需看行人的穿著、體態、髮型就「認出」人。
ReID也有另外一個名稱,叫「跨鏡追蹤」,可以對無法獲取清晰拍攝人臉的行人進行跨攝像頭連續跟蹤,從不同攝像機拍攝的圖像或視頻中找出同一個人物,增強數據的時空連續性。
(大華視頻結構化伺服器以圖搜圖應用效果)
目前,大華、宇視、曠視、商湯、依圖、雲從、阿里、雲天勵飛等涉及AI業務的企業幾乎都有這項技術,有很強的市場成熟度。
兩者提取的特徵點不同
步態識別提取的特徵點包含兩個方面,一方面是提取靜態的內部特徵,如身高、頭型、腿骨、關節、肌肉等生理結構,這些特徵相對比較穩定,在很長一段時間,都不會發生大的變化;
第二方面,是提取人的動態特徵,比如走路姿態、手臂擺幅、晃頭聳肩、運動神經敏感度等,這些動態特徵與身體屬性密不可分,很長一段時間內也會相對比較穩定。但是,這些動態特徵的提取與處理難度也更大。
行人重識別依靠行人的整體姿態來做檢索,主要提取靜態的外部特徵,比如穿著、背包、髮型、雨傘等,通過分析行人的穿著和體態來識別人。
但是,這些靜態的外部特徵很容易發生改變,比如整體外型發生變化,換了衣服、髮型、帽子、鞋子,甚至是偽裝姿態、體型等等,那麼,行人重識別在此時能發揮的作用就比較有限。
算法模型訓練不同
(銀河水滴步態識別技術)
銀河水滴技術總監張曼博士在CPS中安網的《安防微課》中,對步態識別技術的技術原理和算法訓練進行了詳細介紹。
步態識別技術,首先是用攝像頭對人走路的過程進行數據獲取,然後進行數據的檢測和分割,也就是說將人形區域和背景區域剝離開來。
然後把行人在整個行走過程中的每一幀畫面進行步態分割,形成整個走路周期,然後再對步態的特徵進行提取和表達,最後跟步態資料庫中的數據進行比對和識別。
行人動態信息較多,每一個環節其實都是一個非常難的問題。比如在數據獲取階段,怎麼獲取數據,怎麼構建步態識別的資料庫;在獲取到數據後怎麼分割前景和背景,怎麼讓它更精確;在特徵表達的階段,怎麼解決跨視角的識別問題等等。
銀河水滴研發一套大規模的步態識別系統,涵蓋軟體「步態識別互聯繫統4.0」和硬體「小規模檢索步態識別一體機」、「大規模檢索-步態抓拍盒子&陣列」,將海量的視頻數據接入到步態識別系統中,利用抓拍盒子、抓拍陣列等硬體的處理,將原始的視頻進行固態的結構化處理。
現在的一些核心算法,包括超精度的目標分割,能達到的精度已經跟人眼差不多;還有極速的目標檢測,以及跨視角的識別精度都已經處在世界首位。
除此之外,步態識別技術還需要龐大的貼近實際場景的步態資料庫,銀河水滴參與和創建公開、自有的步態資料庫,目前還與公安系統和司法系統共同推進造庫計劃,大規模地將嫌疑人的步態數據採集入庫。
行人重識別ReID方面,依圖科技最近在該領域有了新突破,為此,在這裡以依圖科技的算法水平作為參考進行闡述。
在行人重識別技術領域,首位命中率(Rank-1 Accuracy)和平均精度均值(Mean Average Precision,mAP)是業內公認的衡量算法水平的核心指標。
在三大ReID公認數據集Market1501、DukeMTMC-ReID、CUHK03上,依圖將衡量算法性能的兩大關鍵指標「首位命中率」(Rank-1 Accuracy)及「平均精度均值」(Mean Average Precision,mAP)的六項數據全部提升,刷新世界記錄。
(依圖算法水平的核心指標)
首位命中率高,意味著算法能夠在眾多圖像中準確找出最容易識別或者匹配的那張,並不能反應模型的真實能力,尤其是應對複雜場景的表現;
而平均精度均值mAP值越高,說明系統的實用性越好,既能查得全也能查得準,能夠較好地應對多遮擋、光線暗、畫面模糊等情況。
因此,評價行人重識別算法性能時需要結合mAP值,它反映的是系統的綜合檢索性能。
依圖科技深度優化了ReID算法框架,提升了算法效率,通過結合AutoML等前沿技術,進一步實現了模型參數的自動搜索與迭代,突破了依賴算法研究員手工設計與調優的傳統算法開發流程,在降低人力成本的同時,使得算法的泛化性能更強。
兩者面對的挑戰不同
(銀河水滴步態識別系統)
步態識別具有非接觸、遠距離和不容易偽裝的優勢;但在落地應用時,步態識別需要隨機採樣大量的時序步態數據進行模型學習,建步態庫,然後根據步態數據提供系統解決方案。
在前期建庫採集數據的時候,步態識別的正面識別率低,容易受到性別、步長、節奏、速度等的幹擾;同時,相機角度、天氣條件、遮擋物、附屬物、道路崎嶇、甚至衣服光照等都會影響準確性;比較難獲取年齡、性別等信息,而且非普遍性,如殘疾人不適合步態識別技術。
那麼在落地商用的過程中,大多數監控場景都是比較複雜的,可能存在多個運動物體,行人圖像容易受天氣、光照等外界因素的影響,而有所變化。
以日照條件下運動目標的影子為例,它可能與被檢測的目標相連,也可能與目標分離。如果是前者,影子扭曲了目標形狀,使基於輪廓的步態識別方法不可靠;如果後者,影子可能被誤認為是場景中一個錯誤的目標。
因此,在實際場景下的步態檢測面對的挑戰不小。
銀河水滴為了應對這些挑戰,推出了一系列產品和解決方案:步態檢索智能一體機「水滴神鑑」,步態識別、檢索與追蹤系統「水滴慧眼」,步態抓拍盒子,步態人臉抓拍機,WATRIXBOX等。
通過採取三種不同的模式來建立實戰的步態資料庫:
步態人臉自動建庫(武漢模式):採集對象:有人臉信息的在逃人員/重點人員
步態採集系統(上海模式):採集對象:未來需關注的重點人員
未破獲案件視頻庫(重慶模式):採集對象:無人臉信息的在逃人員/重點人員
同時,在解決方案中還融合多種技術,包括ReID、足跡辨別、人臉識別、電子圍欄、視頻結構化等。
這些產品和解決方案,讓銀河水滴的步態識別技術在派出所、看守所、監獄、公安刑事案件等領域中得到應用,為人臉識別提供較大的補充。
(行人重識別存在挑戰)
行人重識別是需要利用大量單個人體同一時段不同監控下的圖像信息進行模型學習。在用於監控場景中相對較短時間內的行人識別,精度較高,算法速度可達到毫秒級別。
在真實場景下,ReID算法需要做到在跨時間段、跨場景、跨不同成像質量的圖像採集設備下進行高精度的快速識別,而這些攝像機所覆蓋的範圍彼此並不重疊,導致缺乏連貫的信息。
而且在不同畫面中,人物的姿態、行為及外觀會發生較大變化,不同時間、場景的光照、背景和遮擋物各不相同,背景中還常有體型、衣著相似的其他人物幹擾;攝像機的解析度也有高有低,人物在畫面中出現的位置有遠有進,這些都對ReID技術提出了極大的挑戰。
行人的姿態多變導致人臉上廣泛使用的對齊技術也在ReID中失效。行人的數據獲取難度遠遠大於人臉識別數據獲取難度,而行人的信息複雜程度又遠遠大於人臉,這兩個因素疊加在一起,使得ReID的算法研究變得更加困難,也更加重要。
通過算法的有效設計,降低對數據依賴來實現ReID效果的突破是現在業內的共識。這不僅對算法提出更高要求,也需要更高效的晶片提供強大的算力支持,二者缺少任意一個,都會影響行人重識別的實際應用價值。
依圖在2017年投入雲端AI晶片QuestCore(求索)的研發,並於2019年5月「發布即商用」。QuestCore是全球首顆雲端視覺AI晶片,提供強大算力,單路攝像頭功耗不到1W。
在行人重識別實戰應用中,依圖研發人員對算法做了進一步優化, 依託依圖自研AI晶片, 在僅憑穿著、體態特徵的條件下,已能將行人重識別技術做到2017年~2018年人臉識別的精度。
在智慧城市領域,ReID技術能通過軌跡還原功能,快速篩查可疑人員並進一步鎖定出行區域,進而做到精準預防和打擊。
應用到智能園區和智能交通領域,ReID可對於陌生人等可疑人員進行全方位刻畫,有效保障園區安全;
在人流密集的超市、園區等大型公共場所,ReID能夠幫助實現不慎走失的兒童、老人的迅速查找;
在地鐵站、機場等交通樞紐區域,ReID技術可以配合人臉、局部的動作和姿態進行快速識別,大幅提升人員過檢速度。
在智能交通領域,ReID有助於在道路、車輛和駕駛員之間建立快速的智能通信聯繫,形成人、車、道路的完整調動閉環,精準感知交通路口各個方向的車輛數量、流量和密度,為交警決策提供準確依據;
在無人駕駛領域,ReID可有效對車輛、行人、障礙物、道路以及交通信號燈和交通標識進行感知,構建真正智能的交通體系,帶給人們更加安全、便捷的出行體驗。
在數據時代,AI技術賦能視頻監控後,視頻圖像可以全面看、自動看、關聯看,可以跨系統、跨區域,而且算得快、識得準。
無論是人臉識別、虹膜識別、指紋識別和步態識別等生物識別技術,還是圖像檢索的行人重識別技術,通過計算機視覺或機器學習的方式,發展到如今,都各有所長,彼此互補。
步態識別、行人重識別雖然有很多的不同,但它們在人臉識別不能發揮效用的時候,都能起到重要的補充識別作用。
而且,這些識別技術在實際落地應用的時候,若要發揮更大的效能,必定是需要彼此融合、彼此學習,不能完全割裂或獨立。
相信在不久的將來,多種識別技術彼此結合,必定能滿足市場更多更豐富的場景應用需求。