注意力機制Attention Model(mechanism) 的 套路

2021-03-06 機器學習AI算法工程


向AI轉型的程式設計師都關注了這個號👇👇👇

機器學習AI算法工程   公眾號：datayx

最近刷了一些attention相關的paper，網上相關的資料也有很多，在此只講一講自己對於attention的理解，力求做到簡潔明了。

一.attention 的本質

其中General Attention並不常見，（可能筆者讀的paper不夠多，目前還沒有遇到過）因此在這裡不做介紹。接下來詳細介紹下Location-based Attention和Concatenation-based Attention的設計。

具體我們來舉幾個例子，可能具體實現上，有略微區別，不過都大同小異：

Example 1：Attentive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention_sigir17

Example 3：Dipole Diagnosis Prediction in Healthcare via Attention-based Bidirectional Recurrent Neural Network_2017KDD

Example 5：Learning to Generate Rock Descriptions from Multivariate Well Logs with Hierarchical Attention_2017KDD

看到這裡相信大家對於attention有了較為直觀的感覺，其實套路都差不太多，看各家paper給出的公式也都差不多，具體是結合問題，怎麼去設計這個attention向量，怎麼去說故事罷了。

三.attention 的擴展 （多層attention，常見的是2層）

Example 2：Leveraging Contextual Sentence Relations for Extractive Summarization Using a Neural Attention Model_SIGIR2017

Example 4:Attentive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention_sigir17


四.總結

原文地址 https://blog.csdn.net/BVL10101111/article/details/78470716

阿里雲雙11大促  伺服器ECS  資料庫 全場1折

活動地址

1核2G1M，86一年，¥229三年

2核4G3M，¥799三年

2核8G5M，¥1399三年

.

閱讀過本文的人還看了以下文章：


《美團機器學習實踐》_美團算法團隊.pdf

分享《深度學習入門:基於Python的理論與實現》高清中文版PDF+原始碼

《21個項目玩轉深度學習：基於TensorFlow的實踐詳解》完整版PDF+附書代碼

《深度學習之pytorch》pdf+附書源碼

PyTorch深度學習快速實戰入門《pytorch-handbook》

【下載】豆瓣評分8.1,《機器學習實戰:基於Scikit-Learn和TensorFlow》

《Python數據分析與挖掘實戰》PDF+完整源碼

汽車行業完整知識圖譜項目實戰視頻(全23課)

李沐大神開源《動手學深度學習》，加州伯克利深度學習（2019春）教材

筆記、代碼清晰易懂！李航《統計學習方法》最新資源全套！

《神經網絡與深度學習》最新2018版中英PDF+源碼

將機器學習模型部署為REST API

FashionAI服裝屬性標籤圖像識別Top1-5方案分享

重要開源！CNN-RNN-CTC 實現手寫漢字識別

yolo3 檢測出圖像中的不規則漢字

同樣是機器學習算法工程師，你的面試為什麼過不了？

前海徵信大數據算法：風險概率預測

【Keras】完整實現『交通標誌』分類、『票據』分類兩個項目，讓你掌握深度學習圖像分類

VGG16遷移學習，實現醫學圖像識別分類工程項目

特徵工程(一)

特徵工程(二) :文本數據的展開、過濾和分塊

特徵工程(三):特徵縮放,從詞袋到 TF-IDF

特徵工程(四): 類別特徵

特徵工程(五): PCA 降維

特徵工程(六): 非線性特徵提取和模型堆疊

特徵工程(七)：圖像特徵提取和深度學習

如何利用全新的決策樹集成級聯結構gcForest做特徵工程並打分？

Machine Learning Yearning 中文翻譯稿

螞蟻金服2018秋招-算法工程師（共四面）通過

全球AI挑戰-場景分類的比賽源碼(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查（列印收藏）

python+flask搭建CNN在線識別手寫中文網站

中科院Kaggle全球文本匹配競賽華人第1名團隊-深度學習與特徵工程

不斷更新資源

深度學習、機器學習、數據分析、python

 搜索公眾號添加： datayx  

長按圖片，識別二維碼，點關注

AI項目體驗

https://loveai.tech

相關焦點

  • 注意力機制Attention
    注意力機制（attention mechanism）Attention實質上是一種分配機制，其核心思想是突出對象的某些重要特徵。根據Attention對象的重要程度，重新分配資源，即權重，實現核心思想是基於原有的數據找到其之間的關聯性，然後突出其某些重要特徵。注意力可以被描述為將一個查詢和一組鍵值對映射到一個輸出，其中查詢、鍵、值和輸出都是向量。
  • 注意力機制(Attention Mechanism)在自然語言處理中的應用
    基於注意力（attention）機制的神經網絡成為了最近神經網絡研究的一個熱點，本人最近也學習了一些基於attention機制的神經網絡在自然語言處理（NLP）領域的論文，現在來對attention在NLP中的應用進行一個總結，和大家一起分享。
  • Attention 掃盲:注意力機制及其 PyTorch 應用實現
    機制是對人類視覺注意力機制的仿生，本質上是一種資源分配機制。attention 機制的最典型應用是統計機器翻譯。給定任務，輸入是「Echt」, 「Dicke」 and 「Kiste」進 encoder，使用 rnn 表示文本為固定長度向量 h3。但問題就在於，當前 decoder 生成 y1 時僅僅依賴於最後一個隱層狀態h3，也就是 sentence_embedding。那麼這個 h3 必須 encode 輸入句子中的全部信息才行。
  • 專題 自然語言處理學習筆記(二):encoder-decoder框架和attention mechanism兩種研究
    abstractive是學術界研究的熱點，尤其是Machine Translation中的encoder-decoder框架和attention mechanism十分火熱，大家都試著將abstractive問題轉換為sequence-2-sequence問題，套用上面兩種技術，得到state-of-the-art結果，2015年來已經有許多篇paper都是這種套路Encoder-Decoder
  • 綜述|計算機視覺中的注意力機制
    設為星標，第一時間獲取更多乾貨連結：https://zhuanlan.zhihu.com/p/146130215之前在看DETR這篇論文中的self_attention，然後結合之前實驗室組會經常提起的注意力機制，所以本周時間對注意力機制進行了相關的梳理，以及相關的源碼閱讀了解其實現的機制。
  • 【Attention】淺談Attention機制的理解
    ，很多深度學習的框架都帶上了注意力機制，而且也取得了很好的性能指標。因而自注意力機制也自然而然的成為了大家近期的研究熱點，並在各種NLP任務上進行探索，紛紛都取得了很好的性能。Attention機制的本質attention機制的本質是從人類視覺注意力機制中獲得靈感(可以說很『以人為本』了)。大致是我們視覺在感知東西的時候，一般不會是一個場景從到頭看到尾每次全部都看，而往往是根據需求觀察注意特定的一部分。
  • 神經網絡中的注意機制(Attention Mechanism)
    傳統對編解碼機制，一個編碼器(Encoder)讀取並編碼源句子(source sentence )成固定長度的向量。注意力(Attention)如何解決問題？注意機制(Attention Mechanism)允許解碼器在輸出生成的每個步驟處注意源句子的不同部分。
  • 淺談Attention機制的理解
    ，很多深度學習的框架都帶上了注意力機制，而且也取得了很好的性能指標。接著attention機制就被廣泛應用在基於RNN/CNN等神經網絡模型的各種NLP任務中去了，效果看樣子是真的好，仿佛誰不用誰就一點都不fashion一樣。2017年，google機器翻譯團隊發表的《Attention is all you need》中大量使用了自注意力（self-attention）機制來學習文本表示。這篇論文引起了超大的反應，本身這篇paper寫的也很贊，很是讓人大開眼界。
  • 將注意力機制引入RNN,解決5大應用領域的序列預測問題
    在這篇博客中，我們將發現可以在循環神經網絡中採用注意力機制（attention mechanism）來克服這種局限性。讀完這篇博客，你會知道：編碼器-解碼器結構和固定長度內部表徵的局限性讓網絡學會針對輸出序列的每一項去注意輸入序列中對應位置的注意力機制帶有注意力機制的循環神經網絡在文本翻譯、語音識別等 5 個領域中的應用。
  • 谷歌推出基於注意機制的全新翻譯框架,Attention is All You Need!
    Transformer是完全基於注意力機制（attention mechanism)的網絡框架，放棄了RNN和CNN模型。眾所周知，在編碼-解碼框架中，主流的序列傳導模型都是基於RNN或者CNN的，其中能完美連接編碼器和解碼器的是注意力機制。而谷歌提出的這一新框架Transformer，則是完全基於注意力機制的。
  • 一文解讀NLP中的注意力機制
    ，因此對注意力機制的學習、掌握與應用顯得十分重要。模型在單詞和句子級別分別設計了兩個不同級別的注意力機制，這樣做能夠在構建文檔表示時區別地對待這些內容。Hierarchical attention可以相應地構建分層注意力，自下而上（即，詞級到句子級）或自上而下（詞級到字符級），以提取全局和本地的重要信息。自下而上的方法上面剛談完。那麼自上而下又是如何做的呢？
  • 機器翻譯中的 Attention 機制
    這篇進一步研究 Attention 機制，即「注意力」模型，它首次在【1】中引入，接著【2】中做了提煉。Attention 機制核心思想是建立輸出序列和 encoder 歷史狀態之間的直接連接（shot-cut connections），在翻譯時將「注意力」集中在與當前輸出相關性強的輸入上。
  • GMAN:基於多注意力機制的方法預測交通流量 | 課程上新
    論文提出了一種基於多注意力機制的方法來預測交通流量，將交通情況時間和空間上的影響通過時空注意力模型進行建模，encoder編碼交通特徵decoder預測未來一段時間的交通情況，在xiamen和PeMS數據集的長期流量預測上取得了state-of-the-art的結果。
  • Attention!當推薦系統遇見注意力機制
    NewBeeNLP原創出品公眾號專欄作者@上杉翔二悠閒會 · 信息檢索當注意力機制都已經變成很tasteless的手法的時候，使用或者魔改注意力機制一定要專注講好自己的故事：即『為什麼要用Attention，為什麼要魔改Attention』
  • 一文搞懂NLP中的Attention機制(附詳細代碼講解)
    當然不同的attention機制有不同的當然如果說transformer的壞處，其最大的壞處是空間消耗大，這是因為我們需要儲存attention score（N*N）的維度，所以Sequence length（N）不能太長，這就導致，我們seq和seq之間沒有關聯。
  • 乾貨|理解attention機制本質及self-attention
    > 點擊上方「AI遇見機器學習」，選擇「星標」公眾號原創乾貨，第一時間送達上一篇，我們講述了attention
  • 關於attention機制的一些細節的思考
    之前看過的一些attention機制，除了self attention之外，基於rnn或者cnn的attention在處理文本問題的時候基本上是embedding之後經過了rnn或者cnn結構的映射之後得到了映射後的向量V，然後attention是針對於V進行注意力weights的計算，問題來了，能不能直接在embedding上進行score的計算？
  • 代碼詳解:從頭開始學習注意力機制!
    相反，人類將注意力集中於局部視覺空間，以便在需要的時間和場合獲取信息並對不同時段的信息進行合併，構建內在場景表現，指導日後的注意力分配及決策過程。《視覺注意循環模型》，2014本文將探討如何實施注意力，以及在實施過程如何脫離更大的模型。這是因為在現實模型中實施注意力時，很多時的重點在於管理數據與控制不同的向量，而非注意力本身。
  • 異構圖注意力網絡 Heterogeneous Graph Attention Network
    論文提出了一種新的異構圖神經網絡分層注意力機制，涉及到節點級別和語義級別。節點級別的Attention主要學習節點及其臨近節點間的權重，語義級別的Attention是來學習基於不同meta-path的權重。
  • 深入理解圖注意力機制(Graph Attention Network)
    作為一種代表性的圖卷積網絡，Graph Attention Network (GAT) 引入了注意力機制來實現更好的鄰居聚合。通過學習鄰居的權重，GAT 可以實現對鄰居的加權聚合。因此，GAT 不僅對於噪音鄰居較為魯棒，注意力機制也賦予了模型一定的可解釋性。下圖概述了 Graph Attention Network 主要做的事情。