本文經授權轉載自知乎，作者：李習華
https://zhuanlan.zhihu.com/p/65306548
當你看到一株未曾見過的植物，你可以打開百度APP，拍照搜索，找到相關信息；當你看到朋友穿了一件你特別喜歡的衣服，你也想買一件，你可以通過淘寶APP的拍立淘功能，找到商品；當你到達一個陌生的地方，你可以通過微信APP對著當地的街區或者建築物拍一張照片，來定位你的詳細位置。這背後都是強大的以圖搜圖技術。
以圖搜圖技術發展了許多年，從早期以圖搜圖的精度不盡如人意，到後來基於以圖搜圖技術開發出非常多的改變用戶行為和提升效率的應用，經歷了不小於10年的發展，整體的技術方案、數據量級、工程架構都進行了多輪的迭代。當前，各個大廠都在基於以圖搜圖技術來提供更好的產品和服務。我們希望在這篇文章中對以圖搜圖技術做一個全面的總結，主要包含以下幾個方面：
1. 以圖搜圖技術的通用框架；
2. 以圖搜圖技術迭代；
3. 以圖搜圖是工程+算法的結合，架構演進。
Part 1. 以圖搜圖技術的通用框架
在這一章，我們來介紹以圖搜圖技術的通用框架。在介紹以圖搜圖技術之前，我們來看任何一個搜索技術所擁有的基本組件。舉個例子，我們需要到圖書館查找一本書，需要幾個基本的要素：1. 圖書館（海量圖書）；2. 圖書的分類、書名或者作者（在圖書館的編碼體系下，這些信息的組合能夠唯一表示這一本書）；3. 圖書館的書需要按照一定的規律來布置（科目、難易程度、首字母、作者、年份等）；在有了這些基本的要素之外，只要圖書館有這本書，我們就能夠快速找到它；或者即便沒有某一本具體的書，我們也能夠查詢到與這本書有著相近內容的書。
結合上面的例子，我們來看一個典型的以圖搜圖系統所擁有的基礎框架：
先來看offline部分，包括3個基本的要素：
01. 檢索圖片庫：這就相當於上一個例子中的圖書，我們需要有一個足夠規模的圖片庫，比如淘寶的所有商品的圖片集合，比如百度圖片搜索中收集到的網際網路圖片數據集合。當然，這裡我們介紹的是一個靜態的圖片庫，在實際項目中，我們需要有能力來處理動態變化的圖片資料庫。
02. 特徵提取：這就相當於上一個例子中圖書的作者、年份、科目等等，我們稱為圖片的特徵。實際上，圖片的任何統計量都可以作為圖片的特徵，甚至圖像的像素值本身通過歸一化之後也可以作為圖片的特徵。在實際中，我們使用圖片的顏色分布、梯度變化統計量、紋理、BOW統計、底層/中層/高層語義特徵等作為圖片的特徵，非常豐富。
03. 檢索結構：檢索結構的唯一目的就是讓查找更快更準。簡單的，一一對比是最簡單的查詢結構，最準，但是最慢；所以所有檢索結構本質上都是效率和精度的平衡。常見的，我們可以對數據集進行聚類，把數據分成一堆一堆的，比對時先選擇相似的堆，然後在堆內部再進行細緻的比對。而分堆的理念又可以通過樹結構、Hash結構、倒排索引、圖結構等等來刻畫。
再來看online部分，其中特徵提取和offline的特徵提取需要保持高度的一致性，所以實際中我們通常使用一個單獨的特徵伺服器來提供特徵提取服務。這裡之所以將檢索結構和檢索引擎分開，主要是基於如下的考慮：檢索引擎需要應對高並發等一些的工程方面的問題，所以本質上檢索引擎更傾向於工程架構的優化，而檢索結構更傾向於檢索結構算法方面的優化；但實際上，二者是沒辦法完全拆分開的。
以圖搜圖技術本質上是尋找相似圖片，但兩張圖片是否相似有非常多的維度：
因此在很多時候，以圖搜圖技術需要根據不同的使用場景來選擇合適的技術方案，尤其是特徵的選擇。產品層面，也層出不窮，可以參考下面的幾個連結：
The Best Image Search Engines on the Webhttps://www.lifewire.com/where-to-find-images-online-3482427Part 2. 以圖搜圖的技術迭代
這個部分我先打算介紹一下特徵、檢索引擎各自都經歷了哪些迭代，然後在以不同時段典型的工業界的使用方案來介紹以圖搜圖技術代際的迭代。
特徵層面：
簡單的，圖像的單通道、多通道的顏色直方圖可以作為一個簡單的特徵；進一步顏色矩特徵，圖像中任何的顏色分布都可以通過它的矩來表示。另外需要強調的局部特徵是SIFT特徵（參考：https://blog.csdn.net/abcjennifer/article/details/7639681），SURF特徵，HOG特徵等；當有了局部特徵之後，我們需要對局部特徵進行聚合，作為圖像的全局表示；將多個局部特徵矢量聚合成一個統一維度的矢量表示的方法有：BOW、VLAD、Fisher Vector等等。
深度學習技術興起之後，基於深度學習的圖像特徵開始成為圖像檢索的主流。我們知道CNN網絡具有很多不同程度對圖像進行抽象的layer，較低的層得到的是圖像的簡單特徵，而較高層得到的是圖像的語義相關的特徵，不同層的特徵在檢索層面精度有很大的區別，在Oxford Building數據集上，使用VGGNet進行簡單的測試，得到了如下的統計結果。
（參考：http://yongyuan.name/blog/layer-selection-and-finetune-for-cbir.html）
實際上，深度網絡最後的FC層同樣可以作為圖像的特徵表示，當使用FC作為特徵時，網絡訓練時使用的label對檢索的效果有較大的影響。理論上，label如果能夠提供更多的細粒度的信息，則學習到的FC特徵則更能夠表達圖像的細粒度特徵。
特徵類型對檢索效果影響很大；但特徵的學習方式，尤其是引入度量學習的思路之後，即便是同一個網絡的同一層特徵，不同的訓練方式對最後的精度也會有很大的影響。
比如Class weighted conv features
（參考：https://github.com/bikong2/retrieval-2017-cam）
分類loss和triplet loss結合：
引入更多監督信息的學習：
以及通過KL散度來優化：
其實通過不同的方式進行網絡學習的優化方式還有很多，這裡大致總結幾個優化的大致方向：
1. 引入更多的監督信息；
2. 不同程度、維度的attention（包括層、channel、類等等）；
3. Triplet loss及其各種變種；
4. 不同的特徵聚合方式。
檢索引擎：
檢索引擎方面，早期我們通過層次化的聚類來對數據分組，通過K-D Tree對數據進行劃分，通過Hash對空間進行劃分，通過倒排索引加速檢索的效率，通過PQ量化對更大規模的數據進行二次方的劃分。參考：
層次化的聚類算法可以通過如下的圖片來表示：
通過聚類來減少檢索時比對的檢索時間。K-D Tree和Hash請參考下面的圖片。K-D Tree相對層次化聚類基本原理是一致的，不過聚類算法更多的是數據的劃分，但樹結構的層次化劃分包含特徵和數據的劃分兩方面。Hash方法，尤其是LSH（局部敏感哈希），則是同時在尋找特徵的mapping和空間的劃分。
PQ量化本質上是在特徵和數據的兩個層面對數據集進行量化，如下圖所示，特徵向量本身是16*8=128維，通過特徵層面的劃分，分成y1…y8總共8組特徵；劃分之後，對每一組特徵在全數據集上進行聚類等量化手段，比如量化的長度是8bits的01向量。最終得到的是8*8bits的01向量，壓縮比超高。
接下來，介紹兩代不同的以圖搜圖技術。
局部特徵（如SIFT特徵）+BOW+LSH的方案：
這種方案大致在2015年之前算是比較流行的框架，通常針對特殊的使用場景，在檢索基礎上可能還需要進行細粒度的精排序。這個方案在10億以內的數據量級上非常適用，當然如果數量級更大，也是可以的，只是需要引入其他的檢索結構。關於LSH，推薦使用一個開源的工具包FALCONN：
https://github.com/FALCONN-LIB/FALCONN
CNN卷積特徵+VLAD+PQ量化的方案：
這是目前比較主流的方案，卷積特徵建議做多層特徵的組合，PQ量化建議根據數據規模做密集的參數選擇，推薦使用Facebook開源的工具包FAISS：
https://github.com/facebookresearch/faiss
當然，卷積特徵的學習方式的選擇層面，需要根據實際擁有的數據的標籤信息來決策。有一些基於弱監督學習的方案，也可以嘗試。
Part 3. 以圖搜圖是工程+算法的結合
架構演進
在這裡，我們介紹一個理想狀態下的以圖搜圖架構，需要嘗試去解決的幾個問題：
1. 如何解決檢索庫動態增加的問題；
2. 如何解決全量的特徵迭代的問題，也就是說query和database的特徵需要同步；
3. 特徵增強，在檢索結構確定的情況下獲得更好的檢索效果；
4. 高並發低延遲。
以上只是一個簡單的架構示意圖，如果涉及到特徵評價，檢索結構評價，甚至其他的策略迭代等一系列的關於AB Test的需要，架構層面需要進行深度的優化。
到這裡基本上對以圖搜圖技術從特徵、檢索結構、架構等層面進行了一個基本的介紹。其實工業界的以圖搜圖產品或者說引擎遠比我寫到的要複雜，如果有大家有興趣，建議研究以下幾個檢索系統的演進：
阿里的拍立淘
百度的圖片搜索
谷歌的圖片搜索
Pinterest的商品搜索
-The End-
將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務專注於使創新的技術落地於真正的應用場景，激活和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。
將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。
將門創投基金專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括機器智能、物聯網、自然人機互動、企業計算。在三年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十家具有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我「門」: bp@thejiangmen.com
將門創投
讓創新獲得認可！
微信：thejiangmen
bp@thejiangmen.com