雷鋒網 AI 科技評論按：ICCV，被譽為計算機視覺領域三大頂級會議之一的、作為計算機視覺領域最高級別的會議之一，其論文集代表了計算機視覺領域最新的發展方向和水平。阿里巴巴在今年的 ICCV 2017上有多篇論文入選。
本文是阿里iDST與西安電子科大、西安交大等合作的 ICCV 2017 論文解讀《基於層次化多模態LSTM的視覺語義聯合嵌入》（Hierarchical Multimodal LSTM for Dense Visual-Semantic Embedding），雷鋒網AI科技評論做了不改動原意的編輯。
論文下載連結：http://openaccess.thecvf.com/ICCV2.py
精準描述商品：計算機視覺和自然語言處理的聯合
近年來, 隨著深度學習技術的快速發展, 人們開始嘗試將計算機視覺 (Vision) 和自然語言處理 (Language) 兩個相對獨立的領域聯合起來進行研究, 實現一些在過去看來非常困難的任務，例如「視覺-語義聯合嵌入 (Visual-Semantic Embedding)」。該任務需要將圖像及語句表示成一個固定長度的向量，進而嵌入到同一個矢量空間中。這樣，通過該空間中的近鄰搜索可以實現圖像和語句的匹配、檢索等。
視覺語義聯合嵌入的一個典型應用就是圖像標題生成（Image Captioning）：對於任意輸入的一張圖像, 在空間中找到最匹配的一句話, 實現圖像內容的描述。在電商場景下, 淘寶賣家在發布一件商品時, 該算法可以根據賣家上傳得圖片, 自動生成一段描述性文字, 供賣家編輯發布使用。再比如，視覺語義聯合嵌入還可以應用於「跨模態檢索 (Cross-media Retrieval)」：當用戶在電商搜尋引擎中輸入一段描述性文字（如「夏季寬鬆波希米亞大擺沙灘裙」、「文藝小清新娃娃領飛飛袖碎花 A 字裙」等）, 通過文字-圖像聯合分析, 從商品圖像資料庫中找到最相關的商品圖像返回給用戶。
之前的不足：只能嵌入較短的語句簡單描述圖片
以往的視覺語義聯合嵌入方法往往只能對比較短的句子進行嵌入，進而只能對圖像做簡單而粗略的描述，然而在實際應用中，人們更希望得到對圖像（或圖像顯著區域）更為細緻精確的描述。如圖 1 所示，我們不僅想知道誰在幹什麼，還想知道人物的外表，周圍的物體，背景，時間地點等。
現有方法：「A girl is playing a guitar.」
我們提出的方法：「a young girl sitting on a bench is playing a guitar with a black and white dog nearby.」
圖 1 現有方法的問題
為了實現這個目標，我們提出一個框架：第一步從圖像中找出一些顯著性區域，並用具有描述性的短語描述每個區域；第二步將這些短語組合成一個非常長的具有描述性的句子，如圖 2 所示。
圖 2 我們提出的框架
為此，我們在訓練視覺語義聯合嵌入模型時不僅需要將整個句子嵌入空間，更應該將句子中的各種描述性短語也嵌入空間。然而，以往的視覺語義聯合嵌入方法通常採用循環神經網絡模型（如 LSTM(Long short-term memory) 模型）來表示語句。標準的 LSTM 模型有一個鏈式結構（Chain structure）：每一個單元對應一個單詞，這些單詞按出現順序排成一列，信息從第一個單詞沿該鏈從前傳到最後，最後一個節點包含了所有的信息，往往用於表示整個句子。顯然，標準的 LSTM 模型只適合表示整個句子，無法表示一句話中包含的短語，如圖所示。
圖 3 鏈式結構的問題
論文創新方法：提出層次化的 LSTM 模型
本文提出一種多模態、層次化的 LSTM 模型（Hierarchical Multimodal LSTM）。該方法可以將整個句子、句子中的短語、整幅圖像、及圖像中的顯著區域同時嵌入語義空間中，並且自動學習出「句子-圖像」及「短語-圖像區域」間的對應關係。這樣一來，我們生成了一個更為稠密的語義空間，該空間包含了大量的描述性的短語，進而可以對圖像或圖像區域進行更詳細和生動的描述，如圖所示。
圖 4 本文提出的多模態層次結構
本文方法的創新性在於提出了一個層次化的 LSTM 模型，根節點對應整句話或整幅圖像，葉子節點對應單詞，中間節點對應短語或圖象中的區域。該模型可以對圖像、語句、圖像區域、短語進行聯合嵌入（Joint embedding），並且通過樹型結構可以充分挖掘和利用短語間的關係（父子短語關係）。其具體網絡結構如下圖所示：
圖 5 網絡結構
其中為每一個短語和對應的圖像區域都引入一個損失函數，用於最小化二者的距離，通過基於結構的反向傳播算法進行網絡參數學習。
在圖像-語句數據集上的比較
圖 6 在 Flickr30K 數據集上的對比
圖 7 在 MS-COCO 數據集上的對比
可見本文方法在幾個公開數據集上都獲得了很好的效果。
在圖像區域-短語數據集上的對比
我們提供了一個帶有標註的圖像區域-短語數據集 MS-COCO-region，其中人工標定了一些顯著性物體，並在這些物體和短語之間建立了聯繫。
圖 8 在 MS-COCO-region 數據集上的對比
下圖是我們方法的可視化結果，可見我們的短語具有很強的描述性。
此外，我們可以學習出圖像區域和短語的對應關係，如下：
更多資訊敬請關注雷鋒網AI科技評論。