帶你認識步態識別&行人重識別

2020-12-21 中安網

在AI時代,越來越多的生物特徵可以被提取出來並進行識別,目前市場應用比較多的有人臉識別、指紋識別、聲紋識別等,而門檻相對較高的虹膜識別、掌靜脈識別、步態識別技術等技術則在落地應用中難覓蹤影。

在疫情發生後,應用範圍廣泛的人臉識別、指紋識別等技術卻出現了極大的應用受阻。

比如人臉識別技術,只提取人的臉部特徵信息,在戴口罩、或者燈光黑暗、拍攝角度不佳、帽子遮擋等情況下,人臉識別技術難以發揮效用。

為此,彌補人臉識別技術不足的一些技術也應運而生,比如步態識別技術、行人重識別ReID技術,這兩個技術都能在一定程度上彌補人臉識別的不足。

步態識別技術和行人重識別ReID技術其實是兩個並不相同的技術,但不了解他們的人,很容易將兩者混為一談,接下來我們就從幾個方面來剖析了解兩者究竟有何不同,以及他們在落地應用的場景中又有哪些優勢?

兩者的概念不同

步態識別:靠身體體型和走路姿態識別人▼

(圖片來自電影《碟中諜5》)

行人重識別:靠不變的衣服、多攝像頭追蹤識別人▼

(圖片來自電影《碟中諜5》)

▎什麼是步態識別?

它是通過身體體型和行走姿態來分析人的身份,其物理基礎是每個人不同的生理結構:身高、頭型、腿骨、臂展、肌肉、重心、神經靈敏度等。

在日常生活中,如果在遠處出現一個你熟悉的身影,即使看不清面部,或者穿了一件你從來沒有見過的衣服,但是憑藉你對他的熟悉程度,你依然可以認出他的身影。這其實是人類視覺的一個步態識別。

步態識別是一種生物特徵識別技術,是對於人的全身特徵的一個識別,具有遠距離、跨視角、非受控的優勢。

最初,大家了解這個技術源自一部電影《碟中諜5》,在當時看來,很有科幻色彩。隨後,科研機構也對此展開了研究,但多年來,這個技術還停留在實驗階段,技術概念多於落地應用。

CPS中安網向多家企業了解這個技術的進展和落地應用情況,但意外的是,收到的回覆,要麼是已經不涉足了,要麼是還停留在概念階段,未有實際的技術突破。

(大華步態識別技術圖示)

唯有大華股份和銀河水滴公開表示在步態識別技術領域取得新的突破,其中,大華在2019年深圳安博會上發布的7大「黑科技」中,就有一個與步態識別相關的技術——跨相機跟蹤技術:使用目標檢測與步態識別技術,實現多個攝像機之間目標物體的視頻接力跟蹤。

但對於這項技術的場景落地應用,大華並沒有過多著墨,以致目前在市場上,銀河水滴成為唯一一家以步態識別技術為核心技術的人工智慧企業,並且已經落地應用。

▎什麼是行人重識別?

行人重識別(Person Re-identification)也稱行人再識別,簡稱為ReID,是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。

在多攝像設備網絡下對行人進行檢索,利用步態動作、身體特徵等更為全面的信息來識別人物,無論單獨使用還是與人臉識別相結合,都能發揮更大的應用價值。

特別是當攝像頭無法抓拍到清晰的人臉時,行人重識別技術就發揮著非常重要的作用,只需看行人的穿著、體態、髮型就「認出」人。

ReID也有另外一個名稱,叫「跨鏡追蹤」,可以對無法獲取清晰拍攝人臉的行人進行跨攝像頭連續跟蹤,從不同攝像機拍攝的圖像或視頻中找出同一個人物,增強數據的時空連續性。

(大華視頻結構化伺服器以圖搜圖應用效果)

目前,大華、宇視、曠視、商湯、依圖、雲從、阿里、雲天勵飛等涉及AI業務的企業幾乎都有這項技術,有很強的市場成熟度。

兩者提取的特徵點不同

步態識別提取的特徵點包含兩個方面,一方面是提取靜態的內部特徵,如身高、頭型、腿骨、關節、肌肉等生理結構,這些特徵相對比較穩定,在很長一段時間,都不會發生大的變化;

第二方面,是提取人的動態特徵,比如走路姿態、手臂擺幅、晃頭聳肩、運動神經敏感度等,這些動態特徵與身體屬性密不可分,很長一段時間內也會相對比較穩定。但是,這些動態特徵的提取與處理難度也更大。

行人重識別依靠行人的整體姿態來做檢索,主要提取靜態的外部特徵,比如穿著、背包、髮型、雨傘等,通過分析行人的穿著和體態來識別人。

但是,這些靜態的外部特徵很容易發生改變,比如整體外型發生變化,換了衣服、髮型、帽子、鞋子,甚至是偽裝姿態、體型等等,那麼,行人重識別在此時能發揮的作用就比較有限。

算法模型訓練不同

(銀河水滴步態識別技術)

銀河水滴技術總監張曼博士在CPS中安網的《安防微課》中,對步態識別技術的技術原理和算法訓練進行了詳細介紹。

步態識別技術,首先是用攝像頭對人走路的過程進行數據獲取,然後進行數據的檢測和分割,也就是說將人形區域和背景區域剝離開來。

然後把行人在整個行走過程中的每一幀畫面進行步態分割,形成整個走路周期,然後再對步態的特徵進行提取和表達,最後跟步態資料庫中的數據進行比對和識別。

行人動態信息較多,每一個環節其實都是一個非常難的問題。比如在數據獲取階段,怎麼獲取數據,怎麼構建步態識別的資料庫;在獲取到數據後怎麼分割前景和背景,怎麼讓它更精確;在特徵表達的階段,怎麼解決跨視角的識別問題等等。

銀河水滴研發一套大規模的步態識別系統,涵蓋軟體「步態識別互聯繫統4.0」和硬體「小規模檢索步態識別一體機」、「大規模檢索-步態抓拍盒子&陣列」,將海量的視頻數據接入到步態識別系統中,利用抓拍盒子、抓拍陣列等硬體的處理,將原始的視頻進行固態的結構化處理。

現在的一些核心算法,包括超精度的目標分割,能達到的精度已經跟人眼差不多;還有極速的目標檢測,以及跨視角的識別精度都已經處在世界首位。

除此之外,步態識別技術還需要龐大的貼近實際場景的步態資料庫,銀河水滴參與和創建公開、自有的步態資料庫,目前還與公安系統和司法系統共同推進造庫計劃,大規模地將嫌疑人的步態數據採集入庫。

行人重識別ReID方面,依圖科技最近在該領域有了新突破,為此,在這裡以依圖科技的算法水平作為參考進行闡述。

在行人重識別技術領域,首位命中率(Rank-1 Accuracy)和平均精度均值(Mean Average Precision,mAP)是業內公認的衡量算法水平的核心指標。

在三大ReID公認數據集Market1501、DukeMTMC-ReID、CUHK03上,依圖將衡量算法性能的兩大關鍵指標「首位命中率」(Rank-1 Accuracy)及「平均精度均值」(Mean Average Precision,mAP)的六項數據全部提升,刷新世界記錄。

(依圖算法水平的核心指標)

首位命中率高,意味著算法能夠在眾多圖像中準確找出最容易識別或者匹配的那張,並不能反應模型的真實能力,尤其是應對複雜場景的表現;

而平均精度均值mAP值越高,說明系統的實用性越好,既能查得全也能查得準,能夠較好地應對多遮擋、光線暗、畫面模糊等情況。

因此,評價行人重識別算法性能時需要結合mAP值,它反映的是系統的綜合檢索性能。

依圖科技深度優化了ReID算法框架,提升了算法效率,通過結合AutoML等前沿技術,進一步實現了模型參數的自動搜索與迭代,突破了依賴算法研究員手工設計與調優的傳統算法開發流程,在降低人力成本的同時,使得算法的泛化性能更強。

兩者面對的挑戰不同

(銀河水滴步態識別系統)

步態識別具有非接觸、遠距離和不容易偽裝的優勢;但在落地應用時,步態識別需要隨機採樣大量的時序步態數據進行模型學習,建步態庫,然後根據步態數據提供系統解決方案。

在前期建庫採集數據的時候,步態識別的正面識別率低,容易受到性別、步長、節奏、速度等的幹擾;同時,相機角度、天氣條件、遮擋物、附屬物、道路崎嶇、甚至衣服光照等都會影響準確性;比較難獲取年齡、性別等信息,而且非普遍性,如殘疾人不適合步態識別技術。

那麼在落地商用的過程中,大多數監控場景都是比較複雜的,可能存在多個運動物體,行人圖像容易受天氣、光照等外界因素的影響,而有所變化。

以日照條件下運動目標的影子為例,它可能與被檢測的目標相連,也可能與目標分離。如果是前者,影子扭曲了目標形狀,使基於輪廓的步態識別方法不可靠;如果後者,影子可能被誤認為是場景中一個錯誤的目標。

因此,在實際場景下的步態檢測面對的挑戰不小。

銀河水滴為了應對這些挑戰,推出了一系列產品和解決方案:步態檢索智能一體機「水滴神鑑」,步態識別、檢索與追蹤系統「水滴慧眼」,步態抓拍盒子,步態人臉抓拍機,WATRIXBOX等。

通過採取三種不同的模式來建立實戰的步態資料庫:

步態人臉自動建庫(武漢模式):採集對象:有人臉信息的在逃人員/重點人員

步態採集系統(上海模式):採集對象:未來需關注的重點人員

未破獲案件視頻庫(重慶模式):採集對象:無人臉信息的在逃人員/重點人員

同時,在解決方案中還融合多種技術,包括ReID、足跡辨別、人臉識別、電子圍欄、視頻結構化等。

這些產品和解決方案,讓銀河水滴的步態識別技術在派出所、看守所、監獄、公安刑事案件等領域中得到應用,為人臉識別提供較大的補充。

(行人重識別存在挑戰)

行人重識別是需要利用大量單個人體同一時段不同監控下的圖像信息進行模型學習。在用於監控場景中相對較短時間內的行人識別,精度較高,算法速度可達到毫秒級別。

在真實場景下,ReID算法需要做到在跨時間段、跨場景、跨不同成像質量的圖像採集設備下進行高精度的快速識別,而這些攝像機所覆蓋的範圍彼此並不重疊,導致缺乏連貫的信息。

而且在不同畫面中,人物的姿態、行為及外觀會發生較大變化,不同時間、場景的光照、背景和遮擋物各不相同,背景中還常有體型、衣著相似的其他人物幹擾;攝像機的解析度也有高有低,人物在畫面中出現的位置有遠有進,這些都對ReID技術提出了極大的挑戰。

行人的姿態多變導致人臉上廣泛使用的對齊技術也在ReID中失效。行人的數據獲取難度遠遠大於人臉識別數據獲取難度,而行人的信息複雜程度又遠遠大於人臉,這兩個因素疊加在一起,使得ReID的算法研究變得更加困難,也更加重要。

通過算法的有效設計,降低對數據依賴來實現ReID效果的突破是現在業內的共識。這不僅對算法提出更高要求,也需要更高效的晶片提供強大的算力支持,二者缺少任意一個,都會影響行人重識別的實際應用價值。

依圖在2017年投入雲端AI晶片QuestCore(求索)的研發,並於2019年5月「發布即商用」。QuestCore是全球首顆雲端視覺AI晶片,提供強大算力,單路攝像頭功耗不到1W。

在行人重識別實戰應用中,依圖研發人員對算法做了進一步優化, 依託依圖自研AI晶片, 在僅憑穿著、體態特徵的條件下,已能將行人重識別技術做到2017年~2018年人臉識別的精度。

在智慧城市領域,ReID技術能通過軌跡還原功能,快速篩查可疑人員並進一步鎖定出行區域,進而做到精準預防和打擊。

應用到智能園區和智能交通領域,ReID可對於陌生人等可疑人員進行全方位刻畫,有效保障園區安全;

在人流密集的超市、園區等大型公共場所,ReID能夠幫助實現不慎走失的兒童、老人的迅速查找;

在地鐵站、機場等交通樞紐區域,ReID技術可以配合人臉、局部的動作和姿態進行快速識別,大幅提升人員過檢速度。

在智能交通領域,ReID有助於在道路、車輛和駕駛員之間建立快速的智能通信聯繫,形成人、車、道路的完整調動閉環,精準感知交通路口各個方向的車輛數量、流量和密度,為交警決策提供準確依據;

在無人駕駛領域,ReID可有效對車輛、行人、障礙物、道路以及交通信號燈和交通標識進行感知,構建真正智能的交通體系,帶給人們更加安全、便捷的出行體驗。

在數據時代,AI技術賦能視頻監控後,視頻圖像可以全面看、自動看、關聯看,可以跨系統、跨區域,而且算得快、識得準。

無論是人臉識別、虹膜識別、指紋識別和步態識別等生物識別技術,還是圖像檢索的行人重識別技術,通過計算機視覺或機器學習的方式,發展到如今,都各有所長,彼此互補。

步態識別、行人重識別雖然有很多的不同,但它們在人臉識別不能發揮效用的時候,都能起到重要的補充識別作用。

而且,這些識別技術在實際落地應用的時候,若要發揮更大的效能,必定是需要彼此融合、彼此學習,不能完全割裂或獨立。

相信在不久的將來,多種識別技術彼此結合,必定能滿足市場更多更豐富的場景應用需求。

相關焦點

  • 行人重識別技術不斷突破 安防企業力拔頭籌
    其中,行人重識別(簡稱為ReID)正是核心課題之一。行人重識別是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術,廣泛被認為是一個圖像檢索的子問題。不同於人臉識別,行人重識別是將同一個人在不同攝像設備下的影像匹配起來,生成跨攝像頭時空軌跡。
  • 基於深度學習的行人重識別研究綜述(上)
    前言:行人重識別(Person Re-identification)也稱行人再識別,本文簡稱為ReID,是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。廣泛被認為是一個圖像檢索的子問題。給定一個監控行人圖像,檢索跨設備下的該行人圖像。
  • 如何解決行人重識別中的換裝問題?雪梨科技大學在讀博士黃延下周講解
    Re-ID(Person Re-identification),即行人重識別,是一種利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。其廣泛被認為是一個圖像檢索的子問題,給定一個監控行人圖像,檢索跨設備下的該行人圖像。當前行人重識別的研究工作主要集中在短期場景中,即數據中人物的外在服飾沒有發生變化,不考慮衣服、化妝、配飾等因素的影響。
  • FedReID - 聯邦學習在行人重識別上的首次深入實踐
    作者 | 莊偉銘編輯 | 陳大鑫行人重識別的訓練需要收集大量的人體數據到一個中心伺服器上,這些數據包含了個人敏感信息,因此會造成隱私洩露問題。聯邦學習是一種保護隱私的分布式訓練方法,可以應用到行人重識別上,以解決這個問題。但是在現實場景中,將聯邦學習應用到行人重識別上因為數據異構性,會導致精度下降和收斂的問題。
  • 可微圖學習&弱監督,中山大學提出新型行人重識別方法和史上最大...
    在本文中,中山大學研究者提出的弱監督行人重識別方法恰恰克服了這兩方面的障礙,並發布了一個大型行人重識別數據集。近期,中山大學發布了一種基於可微圖學習的弱監督行人重識別(person re-ID)方法和一個大型數據集。該方法結合可微圖學習和弱監督學習方法,為行人重識別深度神經網絡加入自動生成訓練標籤的模塊並與其一體訓練。
  • 騰訊優圖8篇論文入選,涵蓋目標跟蹤、行人重識別、人臉識別等領域
    在競爭越來越激烈的情況下,本次ECCV 騰訊優圖實驗室共入選8篇論文,涵蓋目標跟蹤、行人重識別、人臉識別、人體姿態估計、動作識別、物體檢測等熱門及前沿領域,再次展示了騰訊在計算機視覺領域的科研及創新實力。
  • ECCV 2020 | 騰訊優圖8篇論文入選,涵蓋目標跟蹤、行人重識別...
    在競爭越來越激烈的情況下,本次ECCV 騰訊優圖實驗室共入選8篇論文,涵蓋目標跟蹤、行人重識別、人臉識別、人體姿態估計、動作識別、物體檢測等熱門及前沿領域,再次展示了騰訊在計算機視覺領域的科研及創新實力。
  • 平均精度均值88.3% 雲天勵飛行人重識別算法達到行業領先水平
    近日,人工智慧獨角獸企業雲天勵飛在行人重識別算法上取得重大突破。在四個國際權威的行人重識別數據集Market1501、DukeMTMC-reID、CUHK03、MSMT17上,其關鍵指標mAP(平均精度均值)分別達到88.3%、79.3%、75.1%和60.1%,達到行業領先水平,促進人工智慧從「刷臉」向「識人」邁進。近年來,人臉識別技術日益成熟,促使機器在辨別人臉的能力上超過人類,在平安城市、智慧城市建設等方面也得到廣泛應用。
  • 生物特徵識別技術朝著什麼方向發展
    ,利用人體固有的生理特性(如指紋、臉象、虹膜等)和行為特徵(如筆跡、聲音、步態等)來進行個人身份的鑑定。 全球生物識別市場結構中,指紋識別份額達到58%,人臉識別的份額為18%,緊隨其後的是新興的虹膜識別,份額為7%,此外還有與指紋識別類似的掌紋識別,以及聲紋識別和靜脈識別等。
  • ICCV 2017 spotlight論文解讀:如何提高行人再識別的準確率
    雷鋒網(公眾號:雷鋒網) AI科技評論按,本文作者孫奕帆,本文首發於知乎專欄行人重識別,行人再識別問題(Person-reID)研究熱度逐漸上升。與與人臉識別相比,它在採集圖像時不需要行人主動配合,在安防等領域具有極大的應用潛力。基於深度學習的行人再識別方法,在近幾年快速進步,在絕大部分公開數據集上,深度學習特徵均超過了手工設計特徵。這篇文章的工作主要圍繞利用如何更好地學習的深度特徵,提高行人再識別的準確率進行。
  • 【安全微講堂】教你識別易混淆的交通標誌
    【安全微講堂】教你識別易混淆的交通標誌 2020-06-20 08:25 來源:澎湃新聞·澎湃號·政務
  • 華為手機新功能,不認識的東西相機拍一拍就能識別,太方便了
    日常生活中,我們都知道不懂的問題,或者不認識的東西。都會選擇上百度查找。但是隨著科技的發展,相機功能越來越豐富,不需要我們一個個的查找,用手機拍一拍,就能自動識別物體。今天我們用華為手機來進行演示和操作,看看這個黑科技對我們生活有沒有幫助。
  • 如何定義獨一無二的你?生物識別告訴你答案
    在這張簡圖中,我們可以把身份識別做個簡單分類:生物識別和非生物識別。前者又可進一步分為:生理特徵和行為特徵。行為特徵記錄了人的筆跡、坐姿、行姿(步態)等信息,但這些信息並不穩定,隨著一個人的年歲漸長或突發情況(如撞擊、矯正),他的行為特徵也會逐漸發生變化,變得不那麼唯一,也就是我們常提到的穩定性差。
  • 植物拍照識別
    植物拍照識別 生活工具 大小: 13.48M 版本: 1.1.5
  • 櫻花圖鑑:教你識別不同品種的櫻花
    各種各樣的櫻花讓人分不清楚,今天,小編就帶你科學識別各種常見的櫻花。花瓣數量櫻花有單瓣、重瓣和半重瓣之分,大部分的野生樹種和部分栽培種只有5花瓣,如染井吉野、大島櫻、豆櫻、白妙等。花瓣數5~8枚的為半重瓣,如八重紅枝垂、雨情枝垂、八重寒緋櫻等。花瓣數量超過10瓣的為重瓣,日本晚櫻系列大多是,如關山櫻、松月櫻、普賢象櫻等。
  • 如何識別海報中你不識別的字體
    於是多方打聽,求得一味良藥,專治不識字體,下面且聽我來分享:      ▲  百度搜索百度輸入「識字體」,點擊框中的網站連結,或者直接在瀏覽器中輸入網址:https://www.likefont.com
  • 硬核科普人臉識別,讓你看的清清楚楚明明白白
    這裡面我們要著重講的是模式識別,它是一個獨立的理論體系,具體到計算機視覺領域的應用,它表示將計算機表示出來的圖像和一致的類別進行匹配的過程。有點懂是吧。IT之家為大家通俗解釋一下,所謂「識別」,就是先認識,然後辨別。認識什麼?認識的是圖像和從圖像中總結的目標物體的特徵。怎麼辨別?就是將總結出來的特徵和自己已經掌握的特徵庫進行比對,然後才能實現辨別。
  • 花卉識別利器or植物識別神器:中科院發布「花伴侶」
    識別率會受到你的拍照姿勢影響,如果發現可信度比較低,可以多換幾個姿勢和角度識別一下。 點擊中間的識花,可以直接拍照或上傳需要識別的圖片,識別率會受到你的拍照姿勢影響
  • 愛育帶你玩轉12大能力——高度圖形識別遊戲
    圖形識別在燦爛的陽光下,我們常常會玩「踩影子」的遊戲。根據每個人頭髮造型、衣著、體型,我們會看到每個人都有獨一無二的影子。有的小朋友影子是雙馬尾,有的小朋友的影子胖胖的,還有的小朋友影子穿著黑色的裙子。圖形識別遊戲愛育帶你玩轉12大能力帶著最新的【高度圖形識別遊戲】來啦!
  • 針織面料支數與克重識別方法
    針織面料支數與克重識別方法 2019-04-11 16:22:43 來源:全球紡織網 針織面料支數與克重識別方法,支數指的是一鎊重(454克)的棉紗所具有的 840碼的 長度的