如何讓電腦成為看圖說話的高手?計算機視覺頂會ICCV論文解讀

2021-02-13 阿里技術

阿里妹導讀：ICCV，被譽為計算機視覺領域三大頂級會議之一。作為計算機視覺領域最高級別的會議之一，其論文集代表了計算機視覺領域最新的發展方向和水平。阿里巴巴在今年的大會上有多篇論文入選，本篇所解讀的論文是阿里iDST與多家機構合作的入選論文之一，目標是教會機器讀懂圖片並儘量完整表達出來。

精準描述商品：計算機視覺和自然語言處理的聯合


近年來，隨著深度學習技術的快速發展, 人們開始嘗試將計算機視覺(Vision)和自然語言處理(Language)兩個相對獨立的領域聯合起來進行研究，實現一些在過去看來非常困難的任務，例如「視覺-語義聯合嵌入(Visual-SemanticEmbedding)」。該任務需要將圖像及語句表示成一個固定長度的向量，進而嵌入到同一個矢量空間中。這樣，通過該空間中的近鄰搜索可以實現圖像和語句的匹配、檢索等。

 

視覺語義聯合嵌入的一個典型應用就是圖像標題生成（Image Captioning）：對於任意輸入的一張圖像, 在空間中找到最匹配的一句話, 實現圖像內容的描述。在電商場景下, 淘寶賣家在發布一件商品時, 該算法可以根據賣家上傳得圖片, 自動生成一段描述性文字, 供賣家編輯發布使用。再比如，視覺語義聯合嵌入還可以應用於「跨模態檢索(Cross-mediaRetrieval)」：當用戶在電商搜尋引擎中輸入一段描述性文字（如「夏季寬鬆波希米亞大擺沙灘裙」、「文藝小清新娃娃領飛飛袖碎花A字裙」等）, 通過文字-圖像聯合分析, 從商品圖像資料庫中找到最相關的商品圖像返回給用戶。

 

之前的不足：只能嵌入較短的語句簡單描述圖片


以往的視覺語義聯合嵌入方法往往只能對比較短的句子進行嵌入，進而只能對圖像做簡單而粗略的描述，然而在實際應用中，人們更希望得到對圖像（或圖像顯著區域）更為細緻精確的描述。如圖1所示，我們不僅想知道誰在幹什麼，還想知道人物的外表，周圍的物體，背景，時間地點等。

圖1 現有方法的問題

現有方法：「A girl is playing a guitar.」

我們提出的方法：「a young girl sitting on a benchis playing a guitar with a black and white dog nearby.」

為了實現這個目標，我們提出一個框架：第一步從圖像中找出一些顯著性區域，並用具有描述性的短語描述每個區域；第二步將這些短語組合成一個非常長的具有描述性的句子，如圖2所示。

圖2 我們的提出的框架

 

為此，我們在訓練視覺語義聯合嵌入模型時不僅需要將整個句子嵌入空間，更應該將句子中的各種描述性短語也嵌入空間。然而，以往的視覺語義聯合嵌入方法通常採用循環神經網絡模型（如LSTM(Long short-term memory)模型）來表示語句。標準的LSTM模型有一個鏈式結構（Chain structure）：每一個單元對應一個單詞，這些單詞按出現順序排成一列，信息從第一個單詞沿該鏈從前傳到最後，最後一個節點包含了所有的信息，往往用於表示整個句子。顯然，標準的LSTM模型只適合表示整個句子，無法表示一句話中包含的短語，如圖所示。

圖3 鏈式結構的問題


論文創新方法：提出層次化的LSTM模型


本文提出一種多模態、層次化的LSTM模型（Hierarchical Multimodal LSTM）。該方法可以將整個句子、句子中的短語、整幅圖像、及圖像中的顯著區域同時嵌入語義空間中，並且自動學習出「句子-圖像」及「短語-圖像區域」間的對應關係。這樣一來，我們生成了一個更為稠密的語義空間，該空間包含了大量的描述性的短語，進而可以對圖像或圖像區域進行更詳細和生動的描述，如圖所示。

圖4 本文提出的多模態層次結構

本文方法的創新性在於提出了一個層次化的LSTM模型，根節點對應整句話或整幅圖像，葉子節點對應單詞，中間節點對應短語或圖象中的區域。該模型可以對圖像、語句、圖像區域、短語進行聯合嵌入（Joint embedding），並且通過樹型結構可以充分挖掘和利用短語間的關係（父子短語關係）。其具體網絡結構如下圖所示

圖5 網絡結構

 

其中為每一個短語和對應的圖像區域都引入一個損失函數，用於最小化二者的距離，通過基於結構的反向傳播算法進行網絡參數學習。

 

在圖像-語句數據集上的比較

 


Image Annotation

Image Search


R@1

R@10

Med r

R@1

R@10

Med r

SDT-RNN

9.6

41.1

16

8.9

41.1

16

DeFrag

14.2

51.3

10

10.2

44.2

14

SC-NLM

14.8

50.9

10

11.8

46.3

13

DeepVS

22.2

61.4

4.8

15.2

50.5

9.2

NIC

17.0

56.0

7

17.0

57.0

7

m-RNN-vgg

35.4

73.7

3

22.8

63.1

5

DeepSP

35.7

74.4

N/A

25.1

66.5

N/A

Ours

38.1

76.5

3

27.2

68.8

4

圖 6在Flickr30K數據集上的對比

 


Image Annotation

Image Search


R@1

R@10

Med r

R@1

R@10

Med r

Random

0.1

1.1

631

0.1

1.0

500

DeepVS

36.4

80.9

3

28.1

76.1

3

m-RNN

41.0

83.5

2

29.0

77.0

3

DeepSP

40.7

85.3

N/A

33.5

83.2

N/A

Ours

43.9

87.8

2

36.1

86.7

3

圖 7在MS-COCO數據集上的對比

可見本文方法在幾個公開數據集上都獲得了很好的效果

 

在圖像區域-短語數據集上的對比


我們提供了一個帶有標註的圖像區域-短語數據集MS-COCO-region，其中人工標定了一些顯著性物體，並在這些物體和短語之間建立了聯繫。

 


Region Annotation


R@1

R@5

R@10

Med r

Random

0.02

0.12

0.24

3133

DeepVS

7.2

18.1

26.8

64

m-RNN

8.1

20.6

28.2

56

Ours

10.8

22.6

30.7

42

圖 8在MS-COCO-region數據集上的對比

 

下圖是我們方法的可視化結果，可見我們的短語具有很強的描述性

此外，我們可以學習出圖像區域和短語的對應關係，如下

你可能還喜歡

點擊下方圖片即可閱讀

這是一封給程式設計師的1024挑戰書

阿里集團大數據深度解讀

本次雲棲大會上，阿里開源了哪些頂級項目？

關注「阿里技術」

把握前沿技術脈搏

相關焦點

  • 計算機視覺頂會 ICCV 2019 投稿數量翻倍!
    雷鋒網 AI 科技評論：根據 ICCV 官方 Twitter 消息，ICCV 2019 一共收穫 4328 篇論文，與上一屆 2143 篇相比，數量多出了將近一倍。ICCV 由 IEEE 主辦，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。CVPR 每年召開一次，而 ECCV 和 ICCV 在世界範圍內每年間隔召開。
  • 對話頂會、解讀最佳:CVPR 2020最佳論文對CV領域的啟發
    對話頂會，探索最新學術進展，本次分享AI TIME特地邀請到CVPR 2017最佳論文得主、世界人工智慧大會 Super AI Leader（SAIL）先鋒獎得主、來自清華大學自動化系的黃高老師為大家解讀本屆CVPR「最佳論文」和「最佳學生論文」背後蘊含的亮點，深入剖析其核心思路、創新點，談談它們對CV領域的啟發。
  • ICCV 引用量最高的10篇論文!何愷明兩篇一作論文:Mask R-CNN和PReLU,Facebook佔據四席!
    各位CVers反映內容很贊，於是Amusi 快速整理了ICCV 引用量最高的10篇論文。在谷歌發布的2020年的學術指標（Scholar Metrics）榜單，ICCV 位列總榜第29位，是計算機視覺領域排名第二的大會！
  • 從十篇頂會論文解讀計算機視覺的未來之路!
    點上方藍字計算機視覺聯盟獲取更多乾貨在右上方
  • 專欄 | 阿里 AI LAB ICCV 2017 錄用論文詳解:語言卷積神經網絡應用於圖像標題生成的經驗學習
    ICCV，被譽為計算機視覺領域三大頂級會議之一的、作為計算機視覺領域最高級別的會議之一，其論文集代表了計算機視覺領域最新的發展方向和水平。
  • 騰訊優圖的 ICCV 2017:12篇論文入選 CV 頂會,3篇Oral|ICCV 2017
    被譽為計算機視覺領域三大頂級會議之一的ICCV（另外兩個為CVPR、ECCV）近日揭曉收錄論文名單，騰訊優圖共有12篇論文入選，其中3篇被選做口頭報告（Oral），該類論文僅佔總投稿數的2.1%（45/2143）。本屆 ICCV 共收到2143篇論文投稿，其中621篇被選為大會論文，錄用比例29%。
  • ICCV中國團隊入選論文:首個提出視覺相關關係構建更高語義價值
    並且通過實驗，也驗證了所提出的視覺相關關係數據可以有效的提升特徵的語義理解能力。數據及項目網站：論文：引文：在計算機視覺的研究中，感知任務（如分類、檢測、分割等）旨在準確表示單個物體對象信息；認知任務（如看圖說話、問答系統等）旨在深入理解整體場景的語義信息。而從單個物體對象到整體場景，視覺關係表徵兩個物體之間的交互，連接多個物體構成整體場景。
  • 7500人參會,國內接收論文數量超越美國,ICCV 2019最佳論文揭曉
    機器之心報導機器之心編輯部兩年一度的計算機視覺國際頂會 ICCV 2019 已於 10 月 27 日在韓國首爾開幕。在過去兩天的 workshop 與 tutorial 上，我們看到了各個公司與團隊在挑戰賽上的角逐。今日，大會主會議正式開始，此屆大會的最佳論文、最佳學生論文等獎項也於剛剛揭曉。
  • 解讀計算機視覺論文投稿到接收,不可不知的關鍵環節
    今天，我們將介紹智源青年科學家、北大計算機係數字媒體研究所研究員施柏鑫的報告《計算機視覺會議論文從投稿到接收》。 本次報告，施柏鑫從作者、審稿人、領域主席、期刊編委等視角，圍繞計算機視覺領域，為我們講述了該領域頂級會議論文從寫文章、投文章（包括Rebuttal）、審文章、擴期刊各環節的經驗心得和關鍵注意事項。
  • 清華姚班出身,95後博士生陳立傑獲理論計算機頂會最佳學生論文
    之後的日子，陳立傑開始成天對著電腦卻再也沒有玩過遊戲，所有的節假日都在認真學習，仿佛是武林高手「閉關修煉」，等待著一鳴驚人！他的「閉關」持續到了高中，他的高中老師萬春彬給了他日常課時請假的權利，他把自己關在機房，上「Verycd」等網站看各類教程，然後做題、實踐，遇上不懂的內容或者做不出來的題目，就在網上找計算機高手解答，他還因此認識不少高手。
  • ICCV 2019 | VrR-VG:聚焦視覺相關關係
    在計算機視覺的研究中，感知任務（如分類、檢測、分割等）旨在準確表示單個物體對象信息；認知任務（如看圖說話、問答系統等）旨在深入理解整體場景的語義信息。關係表徵學習中，在場景圖生成任務上，我們的視覺相關關係有效的拉大了學習型方法與非學習型方法之間的性能差距，由此證明了非視覺關係是關係數據中的先驗偏置且通過簡單方法即可推斷。另一方面，通過學習視覺相關關係，我們得到的特徵具有更好的語義表達與理解能力。該特徵也在問答系統、看圖說話中展現出更好的性能，由此證明了視覺相關關係是真正需要被學習，且更有利於提升語義理解能力。
  • 【收藏】2019年不容錯過的20大人工智慧/機器學習/計算機視覺等頂會時間表
    本文介紹了2019年值得關注的20個頂會，包括人工智慧、機器學習、計算機視覺、自然語言處理、體系結構等領域。目錄人工智慧/機器學習計算機視覺/模式識別自然語言處理/計算語言學體系結構數據挖掘/信息檢索計算機圖形學1.
  • 中國西安或將主辦ICCV 2025,開創計算機視覺新篇章
    一、時隔20年再次回歸中國ICCV 的全稱是 IEEE International Conference on Computer Vision，即國際計算機視覺大會，由IEEE主辦，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議，被澳大利亞ICT學術會議排名和中國計算機學會等機構評為最高級別學術會議，在業內具有極高的評價
  • 清華姚班出身,95後博士陳立傑獲理論計算機頂會最佳學生論文【中國科訊】
    周末他們出去看電影逛公園，我就在電腦前面刷出一整版的WA（wrong answer）。就這樣日子悠悠的過去，我的朋友如今跟女同學過得很幸福，不過我覺得我跟我的電腦得的要更加幸福。之後的日子，陳立傑開始成天對著電腦卻再也沒有玩過遊戲，所有的節假日都在認真學習，仿佛是武林高手「閉關修煉」，等待著一鳴驚人！
  • 【ICCV2017論文技術解讀】阿里-基於層次化多模態LSTM的視覺語義聯合嵌入
    ICCV2017論文：《基於層次化多模態LSTM的視覺語義聯合嵌入》（Hierarchical Multimodal LSTM for Dense Visual-Semantic Embedding）近年來, 隨著深度學習技術的快速發展
  • 如何評價CVPR 2021的論文接收結果?
    編輯：深度學習與計算機視覺聲明：僅做學術分享，侵刪一年一度的計算機視覺頂會即將放榜論文Idea也非常有新意，得到了所有reviewer的一致認可，自認為開劈了所在領域中之前所有人都去迴避的問題。論文的主要欠缺在性能沒有刷的很高，但是投稿結束後也超過了競爭對手模型，rebuttal中因為政策並未提及新結果。
  • 計算機視覺領域的王者與榮耀丨CCF-GAIR 2018
    如果說計算機視覺是現階段應用與變現速度最快、受關注度最高的人工智慧技術，相信沒有人會有異議。在這背後，安防視頻監控與醫療影像，也成為眾多AI從業者尤為青睞的兩大行業。當計算機視覺研究與落地大潮湧動之際，第三屆CCF-GAIR全球人工智慧與機器人峰會「計算機視覺專場」，眾多科技巨頭首席技術官、獨角獸首席科學家、國際學術頂會主席、世界名校AI實驗室主任將會公開分享最前沿的計算機視覺技術研究與商用成果。
  • 95後博士榮獲國際頂會最佳學生論文
    之後的日子，陳立傑開始成天對著電腦卻再也沒有玩過遊戲，所有的節假日都在認真學習，仿佛是武林高手「閉關修煉」，等待著一鳴驚人！在我的老本行算法競賽，儘管我取得了一些成績，但是當我站在領獎臺上，我經常會想，這是我想要的生活嗎？我也偶爾會去工業界實習，但是我依然無法達到我自己真的興趣。」
  • 計算機視覺論文速遞
    註：超解析度結合GAN，已然成為一種主流趨勢！ 　　arXiv：https://arxiv.org/abs/1803.01417
  • CVPR 2017 全部及部分論文解讀集錦
    計算機視覺頂會之一的CVPR2017將於7月21日至7月26日在夏威夷舉行。