將SOTA行人再識別系統精度降至1.4%,中大、暗物智能等向視覺模式...

2020-11-26 澎湃新聞

原創 Synced 機器之心

機器之心專欄

作者:Hongjun Wang、Guangrun Wang等

行人再識別系統(re-ID)無處不在,可以在不同攝像頭拍攝的視頻中精確地找出同一個人,但這種系統也很容易被對抗樣本所欺騙,因此檢驗 re-ID 系統抵抗對抗攻擊的魯棒性非常重要。來自中山大學、廣州大學和暗物智能的研究者們通過提出一種學習誤排序的模型來擾亂系統輸出的排序,從而檢驗當前性能最佳的 re-ID 模型的不安全性,為 re-ID 系統的魯棒性提供了改進的方向。該論文已被 CVPR 大會接收為 oral 論文。

行人再識別(re-ID)——一種個人身份鑑別技術和繼人臉識別之後的又一重要算法,隨著深度學習的發展進入了一個新時代。在 Market-1501 上,各大公司玩命刷榜,甚至達到了超人類的識別水平。

日益成熟的 re-ID 技術也進一步夯實了天網工程、智能安防系統等應用的理論基礎,為維護和管理城市秩序提供了技術支撐,為預防和打擊違法亂紀行為奠定了保障。

但是,作為視覺模式匹配的代表,re-ID 是否繼承深度神經網絡的漏洞仍待探討。檢查 re-ID 系統的穩健性非常重要,因為 re-ID 系統的不安全性可能會造成嚴重損失,例如,犯罪分子可能會利用對抗性幹擾來欺騙視頻監控系統。

圖 1:Market-1501 和 CUHK03 上 AlignedReID 被攻擊前後的 Rank-10 結果。綠色代表正確匹配。紅色代表錯誤匹配。

為了探究上述問題,來自中山大學、廣州大學和暗物智能科技的研究者們通過提出一種學習誤排序的模型來擾亂系統輸出的排序,從而檢驗當前性能最佳的 re-ID 模型的不安全性。

由於跨數據集的可遷移性在 re-ID 域中至關重要,因此作者還通過構建新穎的多級網絡體系結構進行半黑盒式攻擊,該體系結構將不同級別的特徵金字塔化,以提取對抗性擾動的一般和可遷移特徵。該體系可以通過使用可微分的採樣來控制待攻擊像素的數量。為了保證攻擊的不顯眼性,作者還提出了一種新的感知損失,以實現更好的視覺質量。

在四個最大的 re-ID 基準數據集(即 Market1501,CUHK03,DukeMTMC 和 MSMT17)上進行的廣泛實驗不僅顯示了該方法的有效性,而且還為 re-ID 系統的魯棒性提供了未來改進的方向。例如,性能最好的 re-ID 系統之一的精度在受到該方法的攻擊後從 91.8%急劇下降到 1.4%。一些攻擊效果如圖 1 所示。相關研究以「Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking」為題被計算機視覺頂會 CVPR 2020 接收,屬於口頭報告(Oral)。代碼已開源。

論文連結:https://arxiv.org/abs/2004.04199

代碼連結:https://github.com/whj363636/Adversarial-attack-on-Person-ReID-With-Deep-Mis-Ranking

背景

深度神經網絡(DNN)的成功使許多計算機視覺任務受益,例如行人再識別(re-ID),這是一項旨在跨攝像機匹配行人的關鍵任務。特別是,DNN 在特徵學習和距離度量學習方面使 re-ID 受益匪淺,這將 re-ID 帶入了一個新時代。得益於 DNN,re-ID 在視頻監控或為公共安全的犯罪識別中得到了廣泛的應用。

儘管從 DNN 獲得了令人印象深刻的收益,但是 re-ID 是否繼承 DNN 的漏洞仍待探索。具體而言,最近的工作發現 DNN 容易受到對抗性攻擊(對抗性攻擊是利用對抗樣本誤導系統)。在過去的兩年中,對抗性攻擊在欺騙基於 DNN 的系統(例如圖像分類)方面取得了顯著成功。那麼基於 DNN 的 re-ID 系統能否抵抗攻擊?答案似乎並不樂觀。經驗證據表明,戴著包、帽子或眼鏡的人可能會誤導 re-ID 系統以輸出錯誤的預測。這些例子可以被認為是自然的對抗樣本。

檢驗 re-ID 系統抵抗對抗攻擊的魯棒性非常重要。由於 re-ID 系統的不安全性可能會造成嚴重損失,例如在犯罪追蹤中,犯罪分子可能會通過在身體最適當的位置放置對抗性幹擾(例如包、帽子和眼鏡)來掩飾自己,從而欺騙視頻監控系統。通過研究 re-ID 系統的對抗樣本,我們可以識別這些系統的漏洞並幫助提高魯棒性。例如,我們可以確定人體的哪些部分最容易受到對抗性攻擊,並要求將來的 re-ID 系統注意這些部分。將來,我們還可以通過對抗訓練來改進 re-ID 系統。總之,儘管以前沒有做過任何工作,但建立一個對抗性攻擊者來攻擊 re-ID 是很有必要的。

由於現實中的人身份無窮無盡,被查詢人通常不屬於資料庫中的任何類別,因此 re-ID 被定義為排序問題而不是分類問題。用於圖像分類、分割、檢測和面部識別的現有攻擊方法不適合排序問題。此外,由於圖像域在不同時間和不同相機中會有所不同,因此還應考慮通過使用跨數據集攻擊來檢查 re-ID 模型的魯棒性。但是,現有的對抗攻擊方法通常具有較差的可遷移性,即,它們通常僅針對任務域(例如,數據集 A)而設計,並且由於無法找到通用的攻擊特徵而無法重用於另一個域(例如,數據集 B)。此外,我們將重點放在對於檢查 re-ID 模型的不安全性的不起眼攻擊上。現有的對抗攻擊方法通常具有人類可以感知的視覺質量缺陷。

綜上所述,發明一個適合於 re-ID 的攻擊器來檢驗 re-ID 的安全性是很有必要的,且尚沒有工作進行這方面的研究。

方法

1. 整體框架

我們的方法的總體框架如圖 2(a)所示。我們的目標是使用生成器 G 為每個輸入圖像 I 生成欺騙性噪聲 P。通過將噪聲 P 添加到圖像 I,我們得到了對抗性示例hat{I},通過該示例我們可以欺騙 re-ID 系統 T 來輸出錯誤的結果。具體地,re-ID 系統 T 認為匹配的圖像對不相似,同時認為不匹配的圖像對相似,如圖 2(b)所示。整個框架由具有生成器 G 和新穎鑑別器 D 的生成對抗網絡訓練。

圖 2 整體框架圖

2. 學習誤排序模型

我們提出了一種學習誤排序的公式,以擾亂系統輸出的排名。我們設計了一個新的誤排序損失函數來攻擊預測的排名,這非常適合 re-ID 問題。我們的方法趨向於使不匹配對的距離最小化,並同時使匹配對的距離最大化。我們有:

值得注意的是,使用誤排序損失有兩個優點。首先,誤排序的損失完全適合 re-ID 問題。如上所述,re-ID 在訓練和測試數據的設置方面與圖像分類任務不同。在圖像分類任務中,訓練集和測試集共享相同的類別,而在 re-ID 中,它們之間沒有類別重疊。因此,誤排序適合攻擊 re-ID。其次,誤排序損失不僅符合 re-ID 問題,它可能適合所有開放式問題。因此,使用誤排序損失也可能有益於攻擊者學習一般的和可遷移特徵。總而言之,我們基於誤排序的對抗攻擊者是對現有基於錯誤分類的攻擊者的完美補充。

圖 3 我們的辨別器

3. 學習可遷移的攻擊特徵

正如已有文獻所暗示的,對抗性樣本是特徵而不是 bug。因此,為了增強攻擊者的可遷移性,需要提高攻擊者的表示學習能力以提取對抗性擾動的一般特徵。在我們的例子中,表示學習器是生成器 G 和鑑別器 D(見圖 2(a))。對於生成器 G,我們使用 ResNet50。對於判別器 D,由於最近的對抗性防禦器已使用跨層信息來識別對抗性樣本,作為他們的競爭對手,我們開發了一種新穎的多級網絡體系結構,增強判別器的特徵學習能力。具體來說,如圖 3 所示,我們的判別器 D 由三個完全卷積的子網絡組成,每個子網絡都包括五個卷積,三個下採樣和幾個歸一化層。這三個子網分別接收原始圖像面積的 {1、1 / 2 ^ 2、1 / 4 ^ 2} 作為輸入。接下來,將來自這些具有相同大小的子網的特徵圖組合起來。由此我們得到一個階段金字塔,其一系列降採樣結果的比率為 {1 / 32、1 / 16、1 / 8、1 /4}。使用上一階段的特徵圖時,我們使用雙線性上採樣將空間解析度上採樣 2 倍,並附加 1x1 卷積層以減小通道數。在逐個元素相加並進行 3x3 卷積後,融合後的特徵將進入下一個階段。最後,該網絡以兩個空洞卷積層和一個 1x1 卷積結束,以執行特徵重加權,然後將其最終響應映射 lambda 饋入下遊採樣器 M。值得注意的是,這三個子網均通過遵循標準的反向傳播 (BP) 進行優化。

4. 控制攻擊的像素數目

為了使我們的攻擊不引人注目,我們從兩個方面改進了現有的攻擊器。第一方面是控制要被攻擊的目標像素的數量。通常,對抗攻擊是將給定圖像的一組噪聲引入一組目標像素,以形成一個對抗示例。噪聲和目標像素均未知,攻擊者將對其進行搜索。在這裡,我們介紹了攻擊器在搜索目標像素時的公式。為了使搜索空間連續,我們將對所有可能像素的像素選擇鬆弛化,即 Gumbel softmax:

其中 i 和 j 表示特徵圖中像素的索引。要選擇的像素的概率 p_ij 由向量 lambda_ij 參數化。N_ij 是位置 (i, j) 處的隨機變量,該位置是從 Gumbel 分布中採樣的。注意,tau 是一個溫度參數,當 tau 逐漸減小到零時,它會軟化從均勻分布到分類分布的過渡。因此,要被攻擊的目標像素的數量由掩碼 M 確定:

其中,KeepTopk 是一種函數,通過該函數可將具有最高概率 p_ij 的前 k 個像素保留在 M 中,而其他像素在前向傳播期間將被丟棄。而且,向前和向後傳播之間的差異確保了可微分性。通過將掩模 M 和初始噪聲 P'相乘,我們得到具有可控制像素數目的最終噪聲 P。M 的用法在圖 2 中詳細說明。

5. 視覺質量的感知損失損失函數

除了控制被攻擊像素的數量之外,我們還關注視覺質量,以確保攻擊器不引人注意。現有工作將噪聲引入圖像中以欺騙機器,而沒有考慮圖像的視覺質量,這與人類的認知不一致。受 MS-SSIM 的啟發,該模型能夠提供良好的近似值,以感知視覺感知的圖像質量,我們在我們的方法中加入了感知損失函數以提高視覺質量。

其中 c_j 和 s_j 分別是第 j 個尺度的對比度比較和結構比較的量度。L 是規模水平。基於視覺感知損失函數,可以進行大規模的攻擊,而不會被人類注意到。

6. 目標函數

除了誤排序損失,感知損失之外,我們還有另外兩個損失,即誤分類損失和 GAN 損失。

誤分類損失。現有工作通常將可能性最小的類別誤差作為目標,以優化輸出概率與其可能性最小的類別之間的交叉熵。但是,模型可能會將輸入錯誤分類為除正確類別之外的任何類別。受 Szegedy 等人的啟發,我們提出了一種通過以下方式放鬆針對非目標攻擊的模型的機制:

其中 S 表示 log-softmax 函數,K 表示人員 ID 的總數,v 表示平滑正則化。實際上,這種平滑正則化提高了訓練穩定性和成功攻擊率。

GAN 損失。對於我們的任務,生成器 G 嘗試從輸入圖像中產生欺騙性噪聲,而鑑別器 D 則儘可能地將真實圖像與對抗性示例區分開。因此,GAN 損失為:

其中 D_1,2,3 是我們的多級鑑別器,如圖 2 所示。我們得到最終損失函數,

其中 zeta 和 eta 是平衡損失的權重。

實驗結果

我們首先介紹攻擊最先進的 re-ID 系統的結果,然後對我們的方法進行組件分析。然後,通過探索半黑盒攻擊來檢驗我們方法的泛化能力和可解釋性。

數據集。我們的方法在最大的四個 re-ID 數據集上進行了評估:Market1501,CUHK03,DukeMTMC 和 MSMT17。Market1501 是一個經過全面研究的數據集,包含 1,501 個身份和 32,688 個邊界框。CUHK03 包含 1,467 個身份和 28,192 個邊界框。CUHK03 包含 1,467 個身份和 28,192 個邊界框。為了與最新工作保持一致,我們遵循新的訓練/測試協議來進行實驗。DukeMTMC 提供了 16,522 個邊界框,其中有 702 個身份用於訓練,而有 17,661 個用於測試。MSMT17 涵蓋了室內和室外場景中 15 臺攝像機拍攝的 4,101 個身份和 126,441 個邊界框。我們採用標準的 mAP 度量標準和 rank-1/5/10/20 進行評估。請注意,與 re-ID 問題相反,較低的 rank-1/5/10/20 準確性和 mAP 表示攻擊問題中的成功攻擊率更高。

協議。有關訓練協議和超參數的詳細信息,請參見文章。前兩個小節驗證了白盒攻擊,即攻擊器可以完全訪問訓練數據和目標模型。在第三小節中,我們探索了多種場景下的半黑盒攻擊以檢查我們方法的可遷移性和可解釋性,即攻擊者無法訪問訓練數據和目標模型。遵循文獻的標準協議,如沒有特殊說明,以下所有實驗都是通過帶有 varepsilon = 16 的 L 無窮邊界攻擊執行的,其中 varepsilon 是對確定攻擊強度和視覺質量的噪聲幅度施加的上限。

1. 攻擊最新的 ReID 系統

為了證明我們方法的通用性,我們將最新的 re-ID 系統分為以下三組。

攻擊不同的骨幹網。我們首先檢查了我們的方法在攻擊不同性能最佳的網絡骨幹網中的有效性,包括:ResNet-50(即 IDE),DenseNet-121} 和 Inception-v3(即 Mudeep)。結果示於表 1(a)和(b)中。我們可以看到,在被我們的方法攻擊後,所有骨幹網的 rank-1 準確性都急劇下降至接近零(例如,對於 DenseNet 從 89.9%降至 1.2%),這表明不同的骨幹網無法防禦我們的攻擊。

表 1 攻擊最新的 ReID 系統

攻擊基於零件的 re-ID 系統。許多性能最佳的 re-ID 系統通過考慮零件對齊方式來學習局部和全局相似性。但是,他們仍然無法捍衛我們的進攻(表 1(a)(b))。例如,性能最好的 re-ID 系統之一(AlignedReID)在受到我們方法的攻擊後,其準確性從 91.8%急劇下降至 1.4%。這種比較證明了測試技巧,例如 AlignedReID 中集成的額外局部特徵以及 PCB 中的翻轉圖像組合,都無法抵抗我們的攻擊。

攻擊增強型 re-ID 系統。許多最新的 re-ID 系統都使用數據增強的技巧。接下來,我們檢查模型在攻擊這些基於增強的系統中的有效性。與常規數據增強技巧(例如隨機裁剪,翻轉和 2D 翻譯)不同,我們檢查 GAN 這種最新的數據增加技巧的抗攻擊能力。評估是在 Market1501 和 DukeMTMC 上進行的。表 1(a)和(c)中的結果表明,儘管 GAN 數據增強可以提高 rre-ID 的準確性,但它們無法防禦我們的攻擊。相反,我們甚至觀察到,更好的 re-ID 準確性可能導致更差的魯棒性。

討論。對於重新考慮 re-ID 系統的耐用性以進行未來的改進,我們有三點評論。首先,到目前為止,尚無有效的方法來防禦我們的攻擊,例如,在我們攻擊之後,所有 rank-1 的準確性都降至 3.9%以下。其次,Mudeep 和 PCB 的堅固性最強。憑直覺,Mudeep 可能會受益於其非線性和較大的感受野。對於 PCB,在評估過程中重新處理查詢圖像並隱藏網絡體系結構可以提高魯棒性。第三,攻擊後 HACNN 的 rank-1 精度最低,這表明注意機制可能會損害防禦性。

2. 組件分析

我們進行了全面的研究,以驗證我們方法的每個組成部分的有效性。AlignedReID 在本文的其餘部分中被用作我們的目標模型,因為它在 re-ID 域中具有非凡的效果。

不同的損失函數。我們報告了四種不同損失函數的 rank-1 準確性,以驗證損失的有效性。結果示於表 2(a),其中四行代表:(A)常規誤分類損失;(B)我們的誤分類;(C)我們的誤排序損失;(D)我們的誤分類+誤排序損失。實際上,我們觀察到傳統的誤分類損失 A 與感知損失不兼容,從而導致較差的攻擊性能(28.5%)。相比之下,我們的視覺誤排序損失 D 實現了非常吸引人的攻擊性能(1.4%)。我們還觀察到,我們的誤分類損失 B 和視覺誤排序損失 C 互惠互利。具體來說,通過將這兩個損失相結合,我們得到的損失 D 優於所有其他損失。

表 2 組件分析一

多級鑑別器。為了驗證我們的多級鑑別器的有效性,我們比較了以下設置:(A)使用我們的多級鑑別器,(B)使用常用的鑑別器。具體來說,我們用 PatchGAN 代替了多級鑑別器。表 2(c)顯示了在更改鑑別器之後攻擊性能的顯著下降,表明了我們的多階段鑑別器在捕獲更多細節以更好地進行攻擊方面的優越性。

圖 4 使用 MS-SSIM

使用 MS-SSIM。為了展示 MS-SSIM 的優越性,我們將圖 4 中不同感知監督下的對抗示例形象化。我們可以看到,在同樣的高強度擾動幅度下(epsilon=40),在 MS-SSIM 的監督下生成的對抗示例要比在 SSIM 的監督下且沒有任何監督的對抗示例好得多(表現為行人著裝顏色與原圖基本保持一致)。該實驗結果很好地驗證了感知損失對於保留原始外觀至關重要。

不同的 epsilon 的比較。儘管使用感知損失對於大 epsilon 的視覺質量有很大的改善,但我們還提供了小 epsilon 的基線模型以進行全面研究。我們通過將 epsilon 作為超參數來手動控制它。表 2(b)中報告了不同 epsilon 的比較。即使 epsilon = 15,我們的方法也取得了良好的結果。圖 5 中可以看到具有不同 epsilon 的幾個對抗示例的可視化。

圖 5 不同 epsilon 的攻擊可視化效果。(這張圖是真實環境下的攻擊,並非數據集中的圖)

要攻擊的像素數。令 H 和 W 表示圖像的高度和寬度。我們將要攻擊的像素數分別控制在 {1、1 / 2、1 / 4、1 / 8、1 / 16、1 / 32、1 / 64} xHW 的範圍內。從表 3 中我們有兩個主要觀察結果。首先,當要攻擊的像素數> HW / 2 時,攻擊肯定會成功。這表明我們可以通過僅使用 HW / 2 的噪聲數來完全攻擊 re-ID 系統。其次,當要攻擊的像素數

表 3 和表 4 組件分析二

可微採樣的有效性。為了證明我們學習到的噪聲在攻擊 re-ID 方面的有效性,我們在表 4 中的兩個方面,在 varepsilon = 40 的限制下將它們與隨機噪聲進行了比較。(A)隨機噪聲被施加在圖像的隨機位置上。結果表明,隨機噪聲不如我們學習到的噪聲。(B)隨機噪聲被強加到我們學習到的圖像位置上。有趣的是,儘管(B)的攻擊性能比我們所學的噪音差,但(B)的性能優於(A)。這表明我們的方法成功找到了要攻擊的敏感位置。

攻擊的可解釋性。在分析了我們學習到的噪聲的優勢之後,我們進一步可視化了噪聲布局,以探索我們在 re-ID 中攻擊的可解釋性。不幸的是,單個圖像無法提供直觀的信息。當噪聲數量等於圖 6 中的 HW / 8 時,我們統計地顯示查詢圖像和蒙版,以進行進一步分析。從圖 6(b)中我們可以看到,網絡具有攻擊平均圖像上半部分的趨勢,該趨勢對應於圖 6(a)中人的上半身。這意味著網絡能夠為 ReID 勾畫出圖像的主要區域。為了將來提高 ReID 系統的魯棒性,應注意這一主要區域。

圖 6 攻擊的位置分析

3. 半黑盒攻擊

與上述白盒攻擊不同,半黑盒攻擊表示攻擊者無法訪問訓練數據和目標模型,這非常具有挑戰性。

跨數據集攻擊。跨數據集表示攻擊器是在已知數據集上學習的,但可以重新用於攻擊在未知數據集上訓練的模型。表 2(d)顯示了 AlignedReID 中我們的跨數據集攻擊的成功。我們還觀察到,跨數據集攻擊的成功率幾乎與幼稚的白盒攻擊一樣好。此外,MSMT17 是一個通過覆蓋多場景和多時間來模擬真實場景的數據集。因此,對 MSMT17 的成功攻擊證明了我們的方法能夠在不知道真實場景數據信息的情況下,對真實場景中的 ReID 系統進行攻擊。

跨模型攻擊。跨模型攻擊表示攻擊器是通過攻擊已知模型來學習的,但可以重新用於攻擊未知模型。Market1501 上的實驗表明,現有的 re-ID 系統也受到我們的交叉模型攻擊的欺騙(表 2(e))。值得一提的是,PCB 似乎比其他 PCB 更堅固,這表明隱藏測試協議有利於提高魯棒性。

跨數據集跨模型攻擊(即完全黑盒)。我們會進一步檢查最具挑戰性的設置,即攻擊者無法訪問訓練數據和模型。在表 2(f)中隨機選擇數據集和模型。令人驚訝的是,我們已經觀察到,即使在這種極端條件下,我們的方法也成功欺騙了所有 re-ID 系統。請注意,Mudeep 僅受到 4,000 像素的攻擊。

討論。對於 ReID 的未來改進,我們有以下評論。首先,儘管不同 re-ID 數據集中的數據分布偏差降低了 re-ID 系統的準確性,但這並不是造成安全漏洞的原因,正如上面的跨數據集攻擊成功所證明的那樣。其次,跨模型攻擊的成功意味著網絡漏洞應是安全漏洞的原因。第三,跨數據集跨模型攻擊的成功促使我們重新考慮現有 re-ID 系統的漏洞。第三,跨數據集跨模型攻擊的成功促使我們重新考慮現有 re-ID 系統的漏洞。甚至我們都不了解目標系統。我們可以使用公共可用的 re-ID 模型和數據集來學習攻擊者,利用它我們可以在目標系統中執行跨數據集跨模型攻擊。實際上,我們欺騙了一個真實世界的系統(見圖 5)。

表 5 與現有攻擊器比較

4. 與現有攻擊器的比較

為了展示我們方法的泛化能力,我們使用 CIFAR10 進行了圖像分類的附加實驗。我們在對抗性示例社區中將我們的方法與四種高級白盒攻擊方法進行了比較,包括 DeepFool,NewtonFool,CW 和 GAP。我們採用經過對抗性訓練的 ResNet32 作為目標模型,並固定 varepsilon = 8。使用與 Nicolae 等人相同的默認設置來配置其他超參數。對於每種攻擊方法,我們都會在完整的 CIFAR10 驗證集上列出所得網絡的準確性。表 5 中的結果表明,我們提出的算法在攻擊分類系統方面也有效。請注意,將 varepsilon 更改為其他數字(例如 varepsilon = 2)並不會降低我們的方法相對於競爭對手的優勢。

總結

我們通過提出一種學習誤排序的模型來擾亂系統輸出的排名,從而檢驗當前 re-ID 系統的不安全性。我們基於誤排序的攻擊器是對現有基於誤分類的攻擊器的補充。我們還開發了一個多階段網絡體系結構,以提取對抗性擾動的可遷移特徵,從而使我們的攻擊器可以進行半黑盒攻擊。通過控制被攻擊像素的數量並保持視覺質量,我們專注於攻擊器的不起眼之處。實驗不僅顯示了我們方法的有效性,而且為 re-ID 的魯棒性的未來改進提供了方向。

參考文獻 :

Hongjun Wang*, Guangrun Wang*, Ya Li, Dongyu Zhang, Liang Lin, Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking [C]. in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, Washington, USA, June 16 - 18, 2020.

Nicholas Carlini and David Wagner. Towards evaluating the robustness of neural networks. In S&P, pages 39–57. IEEE, 2017. 4, 8

Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. CoRR, abs/1412.6572, 2014. 3

Shengyong Ding, Liang Lin, Guangrun Wang, and Hongyang Chao. Deep feature learning with relative distance comparison for person re-identification. PR, 48(10):2993– 3003, 2015. 2, 3

XuanZhang,HaoLuo,XingFan,WeilaiXiang,YixiaoSun, Qiqi Xiao, Wei Jiang, Chi Zhang, and Jian Sun. Aligne- dreid: Surpassing human-level performance in person re- identification. CoRR, 2017. 1, 2, 5, 6, 7

本文為機器之心專欄,轉載請聯繫本公眾號獲得授權。

✄------------------------------------------------

加入機器之心(全職記者 / 實習生):hr@jiqizhixin.com

投稿或尋求報導:content@jiqizhixin.com

廣告 & 商務合作:bd@jiqizhixin.com

原標題:《CVPR 2020 Oral | 將SOTA行人再識別系統精度降至1.4%,中大、暗物智能等向視覺模式匹配的魯棒性發起挑戰》

閱讀原文

相關焦點

  • CVPR 2020 Oral|將SOTA行人再識別系統精度降至1.4%
    機器之心專欄作者:Hongjun Wang、Guangrun Wang等行人再識別系統(re-ID)無處不在,可以在不同攝像頭拍攝的視頻中精確地找出同一個人,但這種系統也很容易被對抗樣本所欺騙,因此檢驗 re-ID 系統抵抗對抗攻擊的魯棒性非常重要。
  • 行人再識別技術取得突破
    近日,國內人工智慧企業澎思科技(Pensees)在行人再識別(Person Re-identification,簡稱ReID)算法上取得突破,在三大主流ReID數據集測試Market1501,DukeMTMC-reID,CUHK03中,算法關鍵指標首位命中率(Rank-1 Accuracy)獲得業內最好成績,刷新了世界紀錄。
  • ...平安集團首席科學家肖京:行人重識別是智慧社區等應用的關鍵要素
    」報名倒計時1天!在肖京看來,目前除技術演進外,更重要是人工智慧技術能否在各領域廣泛應用,尤其是金融、醫療、城市治理這些相對傳統的領域。產業所面臨的挑戰在於能否運用人工智慧技術解決實際的業務痛點。行人重識別(Person ReID)作為近年來計算機視覺的研究重點之一,對城市治理領域有重要意義。它通過給定一個行人的圖像,跨設備檢索該行人的其他圖像,在公共安全以及圖像檢索等場景中有很高的應用價值。
  • 清華博士生孫奕帆:行人再識別論文介紹及最新進展
    ,大家可能最先想到的是人臉識別,其實還有一個更為實用的研究應用——行人再識別。行行人再識別是利用計算機視覺技術在圖像或視頻中檢索特定行人的任務,面臨著視角變化大、行人關節運動複雜等諸多困難,是一個極富挑戰的課題。本文就來為大家重點介紹一下行人再識別的一些基礎知識及最新研究進展。2017年,行人再識別研究飛速進展。
  • 澎思科技發布智能無感人體測溫系統 精度高達±0.2°C
    今天,AI技術企業澎思科技宣布推出 澎思 智能無感 人體測溫 系統,通過人體識別測溫門禁一體機、可攜式人體測溫系統等不同前端設備部署,可保障地鐵、機場、火車站、汽車站、醫院、學校、社區、企事業單位等公共場所高效通行的同時,實現非接觸式體溫檢測、快速篩查、自動告警。 用科技力量,為遏制疫情蔓延出力 。
  • 行人重識別技術不斷突破 安防企業力拔頭籌
    如何藉助人工智慧技術實現海量視頻數據的智能分析和應用,成為構建智能安防的關鍵。其中,行人重識別(簡稱為ReID)正是核心課題之一。行人重識別是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術,廣泛被認為是一個圖像檢索的子問題。不同於人臉識別,行人重識別是將同一個人在不同攝像設備下的影像匹配起來,生成跨攝像頭時空軌跡。
  • 基於機器視覺的汽車智能駕駛系統
    機器視覺的道路識別基本原理為,公路路面的環境(白色路標、邊緣、路面顏色、坑窪、障礙物等)的CCD圖像灰度值和圖像紋理、光流有差異。根據這種差異,經圖像處理後可以獲得需要的路徑圖像信息,如方位偏差、側向偏差、車輛在道路中的位置等信息。將這些信息與車輛的動力學方程相結合,可構成車輛控制系統數學模型。
  • 步態識別才是最終的識別模式?
    安全視頻智能監控場合中自動步態識別系統的基本工作原理框圖的一般框架如圖1所示,它是融合計算機視覺、模式識別與視頻/圖像序列處理的一門技術。首先由監控攝像機採集人的步態,通過檢測與跟蹤獲得步態的視頻序列,經過預處理分析提取該人的步態特徵。即對圖像序列中的步態運動進行運動檢測、運動分割、特徵提取等步態識別前期的關鍵處理。
  • 計算機視覺已橫跨感知與認知智能
    據思科公司評估,2021年單月上傳至全球網絡的視頻總時長將超過500萬年,每秒將誕生1百萬分鐘的網絡視頻內容,網絡視頻流量將佔據全球所有網絡用戶流量的81.44%。需要說明的是,現在的學習多為有監督學習(需要對數據進行充分標註),而且並非所有類型的影像數據都易得易標註(比如醫療影像數據需由專業醫師標註病灶),業界的視覺公司一般會有數百人的標註團隊(多為外包,但需專業培訓,實時指導)。
  • 計算機視覺及智能影像行業深度研究報告
    ,通過兩大能力,計算機將 感知到圖像中包括哪些物體、人、物,並識別表達。 無人駕駛涉及採集攝像頭、雷達等多種數據,並根據多重數據進行車 輛、物體、道路、行人等不同識別後進行決策,計算機視覺將在環境感知(周圍有什麼)和地 圖繪製(我在哪兒)中發揮重要作用。
  • 步態識別100問之「步態識別與行人再識別的區別?」
    行人再識別:靠不變的黑衣服識別人
  • EI會議:圖像、視覺與智能系統國際會議( ICIVIS2021)
    圖像、視覺與智能系統國際會議(International Conference on Image, Vision and Intelligent Systems)(ICIVIS)現已啟動徵稿。我們將共同討論圖像、視覺和智能系統及相關研究領域的學術趨勢和發展趨勢,討論當前的熱點問題,分享研究成果,促進相關研究和應用的發展和進展,促進學科發展,促進人才培養。會議完全開放註冊,提交的內容將根據原創性,與會議的相關性進行同行評審,演示。ICIVIS會議論文集將由IOP出版,並將提交EI,Scopus等核心索引。
  • 智能人臉識別+紅外熱成像一體機
    智能紅外熱成像人臉識別是基於人的臉部特徵信息進行身份識別的一種生物識別技術,它的唯一性和不易被複製的良好特性為身份鑑別提供了必要前提。而行人當前的體溫也是是否開閘的前提條件。人臉識別人行通道閘機系統就是把人臉識別技術和人行通道系統相結合,通過對人臉的識別作為人行通道開啟的鑰匙。
  • 澎思科技宣布行人再識別(ReID)算法獲突破 首位命中率達96.73%
    【TechWeb】7月8日,國內人工智慧企業澎思科技(Pensees)在行人再識別(Person Re-identification,簡稱ReID)算法上取得突破,在三大主流ReID數據集測試Market1501,DukeMTMC-reID,CUHK03中,算法關鍵指標首位命中率(Rank-1 Accuracy
  • 曠視談移動機器人的未來:單體智能+群體智能,助力企業降本增效
    近年來,隨著消費需求日趨個性化、用工短缺/勞動力成本上升、新一代信息技術不斷成熟等多重因素的推動,智慧物流、智能製造成為企業降本增效提質的重要手段,帶動移動機器人市場需求的持續走高。根據中國移動機器人產業聯盟、新戰略機器人產業研究所數據統計,2019年度中國移動機器人市場規模達到61.75億元。
  • 自研MEMS動態結構光視覺模組,「小優智能」將側重消費場景落地
    不同於目前市場其他機器視覺技術路線,小優智能副總經理代啟強表示,公司研發的視覺模組是基於編碼結構光方案,相較於普遍使用的散斑結構光方案,其精度更高,可達0.2mm,而散斑結構光方案或TOF的普遍精度在2-3mm左右。
  • 計算機視覺在智能交通領域五大應用方向
    現在通過計算機視覺技術,可以做到模擬人的視覺感知,哪個地方有車停,哪個地方是空位,直接檢測出來把數據發送給平臺,發布到停車場誘導系統上。  車輛身份特徵識別  計算機視覺用於智能交通的第二個大的應用領域就是車輛的身份識別。
  • 並聯機器人智能抓取系統
    圖1 視覺系統控制 一、系統標定> 1.1視覺系統的標定 建立像素和目標尺寸間的對應關係,換算出目標物的位置和大小。
  • 中興:行人重識別技術算法刷新世界紀錄
    近日,中興通訊行人重識別(PersonRe-identification,簡稱ReID)技術方面取得突破,在三大主流ReID數據集Market1501、DukeMTMC-reID、CUHK03上算法關鍵指標mAP及Rank-1準確率相比各科研機構和業界廠家前期發布的成果都實現了顯著的提升,刷新世界紀錄。
  • BVS智能視頻分析煙火識別系統-森林防火
    武漢倍特威視-BVS智能視頻分析煙火識別-森林防火智能視頻分析煙火識別系統的應用領域廣泛,以倍特威的智能視頻分析煙火識別系統為例,智能視頻分析煙火識別系統基於智能視頻分析結合深度學習算法,實現對監控區域內的煙和火煙進行識別、實時分析報警,複雜的場景識別率高達