一、人臉表徵
把人臉圖像通過神經網絡，得到一個特定維數的特徵向量，該向量可以很好地表徵人臉數據，使得不同人臉的兩個特徵向量距離儘可能大，同一張人臉的兩個特徵向量儘可能小，這樣就可以通過特徵向量來進行人臉識別。
二、論文綜述
1.DeepFace：
2014年論文DeepFace: Closing the Gap toHuman-Level Performance in Face Verification提出了DeepFace算法，第一個真正將大數據和深度學習神經網絡結合應用於人臉識別與驗證。在該人臉識別模型中分為四個階段：人臉檢測 => 人臉對齊 => 人臉表徵 => 人臉分類，在LFW數據集中可以達到97.00%的準確率。
（1）人臉檢測與對齊：該模型使用3D模型來將人臉對齊，該方法過於繁瑣，在實際應用中很少使用，經過3D對齊以後，形成的圖像都是152×152的圖像，具體步驟如下圖。
分為如下幾步：
a. 人臉檢測，使用6個基點 b. 二維剪切，將人臉部分裁剪出來 c. 67個基點，然後Delaunay三角化，在輪廓處添加三角形來避免不連續 d. 將三角化後的人臉轉換成3D形狀 e. 三角化後的人臉變為有深度的3D三角網 f. 將三角網做偏轉，使人臉的正面朝前。 g. 最後放正的人臉 h. 一個新角度的人臉（在論文中沒有用到）
（2）人臉表徵：人臉表徵使用了5個卷積層和1個最大池化層、1個全連接層，如下圖所示。前三層的目的在於提取低層次的特徵,為了網絡保留更多圖像信息只使用了一層池化層；後面三層都是使用參數不共享的卷積核，因為主要是因為人臉不同的區域的特徵是不一樣的，具有很大的區分性，比如鼻子和眼睛所表示的特徵是不一樣的，但是使用參數不共享的卷積核也增加了模型計算量以及需要更多的訓練數據。最後輸出的4096維向量進行L2歸一化。
a. Conv：32個11×11×3的卷積核
b. max-pooling: 3×3， stride=2
c. Conv: 16個9×9的卷積核
d. Local-Conv: 16個9×9的卷積核，Local的意思是卷積核的參數不共享
e. Local-Conv: 16個7×7的卷積核，參數不共享
f. Local-Conv: 16個5×5的卷積核，參數不共享
g. Fully-connected: 4096維
h. Softmax: 4030維
（3）分類：論文介紹了兩種方法進行分類，加權的卡方距離和使用Siamese網絡結構，設f1和f2為特徵向量，上一個步驟的輸出，則有：
①加權卡方距離：計算公式如下，加權參數由線性SVM計算得到：
②Siamese網絡：網絡結構是成對進行訓練，得到的特徵表示再使用如下公式進行計算距離：
2.DeepID1：
Deep Representation from Predicting 10,000 Classes一文提出的，是DeepID三部曲的第一篇。DeepID1 使用softmax多分類訓練，主要思想第一個是數據集的增大，包括訓練集使用celebface，包含87628張圖片，5436個人臉，增大了訓練集；使用多尺寸輸入，通過5個landmarks將每張人臉劃分成10regions，每張圖片提取60patches=10regions*3scales*2(RGB orgray)，第二個是網絡結構，DeepID提取的人臉特徵就是一個由連接第三層與第四層組成的全連接層特徵，如下圖所示，每個patches經過這個cnn網絡，第四層的特徵更加全局化（global），第三層的特徵更加細節，因此DeepID連接了兩者，以求同時包含全局，細節信息。
60個patches使用60個CNN,每個CNN提取2*160=320維特徵（與水平翻轉一起輸入），總網絡模型如下圖所示，最後分別使用聯合貝葉斯算法與神經網絡進行分類，並比較結果。
模型最終以CelebFaces+中202,599圖像作為訓練集， patch數提升為100（10r*10s*2） ，特徵數提升為100*160*2=32000 然後使用PCA降為150維 ，使用聯合貝葉斯算法進行驗證， 最終在LFW上達到97.20%的驗證準確率。
3.DeepID2：
Deep Joint Identification-Verification一文提出的，對DeepID1進行了進一步的改進，提出了contrastive loss，在分類任務，我們需要的是減少類內差距（同一人臉），增加類間差距（不同人臉），softmax loss分類的監督信號可以增大類間差距，但是卻對類內差距影響不大，所以DeepID2加入了另一個loss，contrastive loss，從而增加驗證的監督信號，就可以減少類內差距。
網絡結構類似DeepID1,不同之處在於使用了兩種不同的損失函數，網絡結構如下圖所示。
損失函數：
①分類信號，Softmax loss。
②驗證信號，contrastiveloss，使用l2範數距離表示，m為閾值不參與訓練，括號內的θve={m}，該損失函數可以讓類間的距離給定一個限制margin，即m大小的距離。
兩loss的組合方式： 首先使用2個輸入，計算Softmax loss和contrastive loss,總損失為二者通過λ加權求和，通過總損失來執行梯度下降更新卷積參數，通過Softmax loss來更新softmax層的參數。
整個模型使用celebrate+數據集訓練，每張圖片使用了21 facial landmarks，分成200patches（20regions*5scales*2RGB&Gray)，水平翻轉後變為400patches，使用了200個卷積神經網絡，提取400（200*2）個Deepid2特徵，使用貪婪算法降為25個Deepid2特徵，使用PCA將25*160Deepid2特徵降為180維，最後使用聯合貝葉斯算法進行驗證，最終在LFW上得到的最終準確率是98.97%，使用7組25個Deepid2特徵，SVM融合可得到準確率為99.15% 。Deep 的浪潮。
4.DeepID2+：
Deep are sparse, selective, and robust，DeepID2+是對DeepID2的改進。①卷積層在原來基礎上再增加128維，第四層全連接層從160增加到512，訓練數據增加了CelebFaces+ dataset，WDRef等，有12000個人臉的大約290,000張圖片； ②每個卷積層的後面都加了一個512為的全連接層，並添加contrastive loss監督信號，而不僅在第四層全連接層上有 。網絡結構如下圖所示。
最終在LFW數據集上準確率為99.47%。
5.DeepID3：
DeepID3源於2015年的Deepid3:Face recognition with very deep neural networks論文，該論文探究了複雜神經網絡對人臉識別的作用。論文研究VGG與GoogleNet用於人臉識別的效果，論文在VGG和GooLeNet的基礎上進行構建合適的結構，使得方便人臉識別。結果發現DeepID3的結果和DeepID2+相當，可能是由於數據集的瓶頸，需要更大的數據才能有更好的提升，兩個網絡結構如下圖所示。
網絡輸出使用PCA降維到300維的向量，使用聯合貝葉斯算法進行驗證，最終在LFW上得到的最終準確率是99.53%。
6.FaceNet：
FaceNet由論文Facenet: A unified embedding forface recognition and clustering提出，這篇 2015 年來自 Google 的 論文同樣具有非常大的影響力，不僅僅成功應用了 TripletLoss 在 benchmark 上取得state-of-art 的結果，更因為他們提出了一個絕大部分人臉問題的統一解決框架，即：識別、驗證、搜索等問題都可以放到特徵空間裡做，需要專註解決的僅僅是如何將人臉更好的映射到特徵空間。FaceNet在Deep 改進為 Triplet Loss，去掉softmaxloss。FaceNet實驗了ZFNet類型網絡和Inception類型網絡，最終Inception類型網絡效果更好，網絡結構如下圖所示。
FaceNet沒有使用PCA降維，而是在網絡中直接訓練輸出128維的向量，用全連接層來完成降維，最後的128維的向量經過Triplet Loss。
Triplet Loss輸入不再是 Image Pair，而是三張圖片（Triplet），分別為 Anchor Face（xa），Negative Face（xn）和 Positive Face（xp）。Anchor 與 Positive Face 為同一人，與 Negative Face 為不同人，在特徵空間裡 Anchor 與 Positive 的距離要小於 Anchor 與 Negative 的距離，且相差超過一個 Margin Alpha。
loss的目標為：
總loss公式為：
Contrastive Loss與Triplet Loss的比較， Contrastive Loss目標是減少類內差距（兩個藍點），增加類間差距（藍點與紅點）；Triplet Loss則是輸入三張圖片，Anchor 與 Positive 的距離要小於 Anchor 與 Negative 的距離，且相差超過一個 Margin Alpha，即Triplet Loss同時約束了兩個距離。
最後FaceNet在LFW數據集上達到了99.63%的準確率。
基於 ContrastiveLoss 和 Triplet Loss 的 MetricLearning 符合人的認知規律，在實際應用中也取得了不錯的效果，但同時也有很多問題，由於ContrastiveLoss 和 Triplet Loss 的訓練樣本都基於pair 或者 triplet 的，可能的樣本數是 O(N2) 或者 O (N3) 的，所以模型需要很久的計算才能擬合併且訓練集需要足夠大。
三、總結
本期文章主要介紹人臉表徵相關算法和論文綜述，主要是2014年到2016年的研究成果， ContrastiveLoss 和 Triplet Loss在實際應用中也取得了很好的效果，但是也有很多問題，由於Contrastive Loss 和 Triplet Loss 的訓練樣本都基於 pair 或者 triplet 的，可能的樣本數是 O (N2) 或者 O (N3) 的，所以模型需要很久的計算才能擬合併且訓練集要足夠大，所以在之後的人臉識別研究中，大部分在於loss函數的研究，這部分將會在下一期給大家介紹。
參考文獻：
【1】 Taigman Y, Yang M, Ranzato M A, et al.Deepface: Closing the gap to human-level performance in faceverification[C]//Proceedings of the IEEE conference on computer vision andpattern recognition. 2014: 1701-1708.
【2】Sun Y, Wang X, Tang X. Deep learning facerepresentation from predicting 10,000 classes[C]//Proceedings of the IEEEconference on computer vision and pattern recognition. 2014: 1891-1898.
【3】Sun Y, Chen Y, Wang X, et al. Deeplearning face representation by joint identification-verification[C]//Advancesin neural information processing systems. 2014: 1988-1996.
【4】Sun Y, Liang D, Wang X, et al. Deepid3:Face recognition with very deep neural networks[J]. arXiv preprintarXiv:1502.00873, 2015.
【5】Simonyan K, Zisserman A. Very deepconvolutional networks for large-scale image recognition[J]. arXiv preprintarXiv:1409.1556, 2014.
【6】Szegedy C, Liu W, Jia Y, et al. Goingdeeper with convolutions[C]//Proceedings of the IEEE conference on computervision and pattern recognition. 2015: 1-9.
【7】Sun Y, Wang X, Tang X. Deeply learned facerepresentations are sparse, selective, and robust[C]//Proceedings of the IEEEconference on computer vision and pattern recognition. 2015: 2892-2900.
【8】Schroff F, Kalenichenko D, Philbin J.Facenet: A unified embedding for face recognition andclustering[C]//Proceedings of the IEEE conference on computer vision andpattern recognition. 2015: 815-823.
你也許還想看：
● 推薦 | 身邊的程式設計師朋友99.9%都關注了...
● 深度學習之視頻人臉識別系列（一）：簡介
● 深度學習之視頻人臉識別系列（二）：人臉檢測與對齊
歡迎掃碼關注：