上海交通大學ECCV 2018四篇入選論文解讀

7 月 3 日，國際人工智慧及計算機視覺頂級會議 ECCV 2018 論文接收列表公布，今年的 ECCV 大會將在德國慕尼黑舉行。據雷鋒網了解，上海交通大學 SJTU-UCLA 機器感知與推理聯合研究中心有 4 篇論文入選，研究方向涉及自動駕駛、視頻理解、視覺跟蹤以及新型神經網絡。本文對這幾篇論文做了簡介，更多詳細內容可通過論文網盤連結下載查看。

ECCV 2018 論文接收列表：

https://docs.google.com/document/d/1FuKeKgTxm_Vt8cH3HbNxaYuU8T4NnhjAm6xVGetKXgA/edit?usp=sharing

Paper 1：《Deep Regression Tracking with Shrinkage Loss》

基於收縮損失函數的目標跟蹤

網盤連結：https://pan.baidu.com/s/1GnwYrzI5NNL-1ONy-z8jsQ

目標跟蹤任務旨在給定某視頻序列初始幀的目標大小與位置的情況下，預測後續幀中該目標的大小與位置。目標跟蹤在視頻監控，人機互動，無人駕駛等領域有著極大的應用價值。由於目標姿態、外觀、光照、遮擋等因素的影響，目標跟蹤仍然是一個極具挑戰的任務。為了解決目標跟蹤算法訓練樣本不均衡的問題，作者在這篇 ECCV 的工作中提出了一個基於收縮損失函數的深度回歸跟蹤算法，針對基於深度回歸的目標跟蹤中樣本不平衡問題，本文提出的收縮損失函數顯著提升了性能。

基於深度回歸的目標跟蹤算法，通常在目標周圍的上下文區域中利用一個高斯熱圖（圖 1 b）來訓練一個正比於目標尺寸的卷積層作為跟蹤器。在這個訓練過程中，卷積核採用密集滑窗的方式產生樣本（圖 1 a 所示）。這樣導致大量冗餘的易分樣本（圖 1 d 所示），進而導致訓練樣本的不平衡問題。

圖 1. 給定搜索區域 (a) 以及對應的標籤 Y (b)。圖 (c) 表示回歸相應圖，圖 (d) 是預測與標籤數值之間差值的分布直方圖

傳統的基於深度回歸的網絡採用的是 L2 損失函數，對所有參與訓練的樣本的懲罰力度是一樣的。這樣導致網絡訓練的時候，集中在了容易訓練的樣本，也就是冗餘的負樣本上。為了解決這個問題，在這項工作中，作者提出了收縮損失函數 (Shrinkage loss) 的端到端目標跟蹤算法。作者提出的收縮損失函數，對於容易訓練樣本的損失輸出進行壓縮同時保證難分樣本的損失數值，進而影響到梯度對網絡的學習，這樣獲得深度回歸網絡更加關注正樣本以及難分的負樣本的學習，緩解了網絡的過擬合問題。此方法在 OTB-2013、OTB-2015，Temple-128 以及 VOT-2016 數據集上實現了和當前最優的 ECO 跟蹤算法相當的結果。圖 2 可視化了不同損失函數下的結果，可以看出我們的方法實現了更好的跟蹤結果。

圖 2. 不同損失函數下的跟蹤效果

Paper 2：《Geometric Constrained Joint Lane Segmentation and Lane Boundary Detection》

基於幾何約束的車道分割與車道邊界檢測

網盤連結：https://pan.baidu.com/s/1wxu3BT_1ONsHkO_Gzx1VYw

在智能駕駛問題中，環境感知是極其重要的一環。車道檢測目的在於檢測車輛可行駛道路，為智能駕駛決策提供支持。目前已有的車道檢測工作大多集中於使用卷積神經網絡直接進行語義分割，而沒有考慮到車道固有的幾何信息。針對車道檢測中的魯棒性問題，本文提出了一個多任務神經網絡，引入車道本身與邊界之間的幾何先驗知識進行車道檢測，並得到了良好的實驗結果。 

圖 1. 相較於現有方法，我們的方法使得兩個具有幾何相關性的任務，即 Lane segmentation sub-network 與 Lane boundary detection sub-network 在特徵提取層與決策層上有效互補，同時提升兩個網絡的性能

網絡首先採用傳統的多任務網絡結構，同時進行車道分割、車道邊界檢測。在得到初步的檢測結果後，網絡將通過對其中一個任務輸出結果重新卷積，形成補充信息，對另一任務的結果進行修正。由於兩個任務之間存在一定的內在關係，因此修正能顯著地提高了網絡的性能，使網絡同時關注輸入圖片中的關鍵特徵與互補特徵。同時，根據兩個任務之間的幾何先驗知識，網絡引入不同的損失函數，一方面通過車道的外邊界一致性約束車道分割的訓練，另一方面通過車道線內部區域一致性約束車道邊界檢測，進一步提升網絡精度。 

圖 2. 性能對比。左圖為本文結果。其中綠色區域代表 True Positive，藍色區域代表 False Positive，紅色區域代表 False Negative。可以看出與其他 state-of-art 方法對比，本文在精度上有極大的提高

Paper 3：《Quaternion Convolution Neural Networks》

四元卷積神經網絡

網盤地址：https://pan.baidu.com/s/1oAX_SqtGzyENa35BPcbE0g

在計算機視覺領域，卷積神經網絡可謂是近年來最為流行的算法，受到了非常廣泛的關注。目前，絕大多數的相關工作都局限於實數域的卷積神經網絡，而針對計算機視覺中最為常見的多通道彩色圖像卻缺乏針對性的矢量卷積處理方式。為了解決這一問題，作者在這篇文章中首次提出四元卷積神經網絡，構建了基於四元數運算的卷積和全連接等操作。針對卷積神經網絡對彩色圖像各通道分別處理而忽略它們之間相關性的問題，本文提出了四元卷積神經網絡，利用四元數運算直接對三維顏色矢量進行處理，在一系列任務上取得了良好的實驗結果。

 

圖 1. 四元卷積操作與實數卷積基本操作的對比

如圖所示，實數卷積核利用三個濾波器對三個顏色通道的數據分別卷積並相加，即在三個通道上進行獨立的標量拉伸，通過網絡訓練生成單通道的特徵圖。相比之下，四元卷積核則直接對顏色矢量進行旋轉和拉伸，通過網絡訓練直接生成彩色的特徵圖。作者提出，四元卷積應當實現以下兩點要求：

1. 對每個顏色矢量，能夠在整個顏色空間中進行變換以尋求最優表示。

2. 對於灰度圖像輸入，能夠與實數卷積完成等價的操作。

為此，本文引入雙邊四元數乘法來實現三維空間中顏色矢量旋轉的性質，提出將滑窗內的顏色矢量旋轉和放縮後相加，可期望每個顏色矢量能充分遍歷顏色空間。同時，將旋轉軸限定為灰度軸。當輸入的圖像為灰度圖像，此時等價於僅對輸入像素的灰度值進行了放縮變換，這和實數卷積中的操作是相同的。也就是說，實數卷積神經網絡是本文所提出的四元卷積神經網絡的一個特例。

對於全連接層，可以將其看作特殊的 1*1 卷積，這樣就可以構建出完整的四元卷積神經網絡。作者對四元卷積神經網絡中各層的正向與反向傳播過程進行了推導，並探索了參數的初始化方法及激活函數的設置，成功利用四元卷積神經網絡完成了彩色圖像分類和去噪的任務。實驗結果表明在這些任務中四元卷積神經網絡能夠取得優於相同結構的實數卷積神經網絡的結果，尤其是對於色彩鮮豔紋理豐富的圖像優勢較為明顯。

 

圖 2. 在 COCO 的一個子集的去噪任務上使用同一個 Encoder-Decoder 結構的四元卷積神經網絡與實數網絡效果對比 

圖 3. 在 Cifar-10 的分類任務上使用同一個淺層網絡結構時四元卷積神經網絡和實數網絡的準確度對比

Paper 4：《Egocentric Activity Prediction via Event Modulated Attention》

基於異步事件注意力的第一人稱視頻預測

網盤連結：https://pan.baidu.com/s/1wyjQuL0zxj-dkfTO6K_bRw

第一人稱視頻行為預測問題是一個極具研究價值的問題。其應用場景包括生活輔助（Assist living）、機器人行為研究等。目前，基於第一人稱視頻的行為分析技術大多適用於行為識別，而不能夠應用於行為預測問題。其原因在於，大多數現有的方法，使用了時序同步的特徵處理框架，因而不能夠有效地對時序異步事件來進行建模。本文針對這一問題，創造性地提出了 Gaze-事件驅動的異步/同步網絡模型，再結合注意力模型，取得了良好的實驗結果。

 

圖 1. 相較於目前已有方法，我們的方法不但能夠對同步特徵進行建模，還能夠充分地利用異步事件信息，同時注意力模型能夠對視頻序列包含的冗餘幀信息進行修剪，從而提升網絡的行為預測性能

本文提出的網絡框架包括同步和異步兩個模塊。同步模塊以 hand-mask 和 gaze-point 為輸入特徵，經過一個 FCN 網絡和 LSTM 模塊得到同步特徵。異步模塊以異步事件信號和 Object-gaze 特徵序列為輸入特徵，並經過 LSTM 模型得到異步特徵。輔以注意力模型進行特徵融合，最終得到行為預測結果。實驗結果表明，模型結合異步信息後能夠顯著提高模型對行為的預測能力，在數據集 Gaze（Gaze+）分別比 baseline 提升 5.6%（11.8%），同時，注意力模型的引入也能夠進一步提高模型的精度，在數據集 Gaze（Gaze+）分別提升 1.6%（1.3%）。

註：上海交通大學 SJTU-UCLA 機器感知與推理聯合研究中心主任為長江學者張文軍教授，由倪冰冰教授、徐奕教授指導多個研究小組。該聯合中心主要研究方向為：新一代人工智慧基礎理論、智能視頻理解及創意互動媒體、智能醫療影像分析。聯合中心於 2018 年 6 月正式成立，聯合中心的外方專家有國際計算機視覺與圖像學權威、著名的 SNAKE 模型發明人，Demetri Terzopoulos 教授，以及圖靈獎獲得者、概率推理理論的奠基人 Judea Pearl 教授。截止到目前，聯合中心已發表 30 餘篇 CCF-A 類頂級論文。

雷鋒網報導，更多學術內容敬請關注雷鋒網(公眾號：雷鋒網)AI科技評論。

雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。