神經網絡中的注意機制(Attention Mechanism)

2020-12-16 程式設計師日常匯總

傳統對編解碼機制，一個編碼器(Encoder)讀取並編碼源句子(source sentence )成固定長度的向量。

然後，解碼器(Decoder)從編碼矢量輸出轉換。

局限性

這種編碼器 - 解碼器方法的潛在問題是神經網絡需要能夠將源句子的所有必要信息壓縮成固定長度的矢量。

注意力(Attention)如何解決問題？

注意機制(Attention Mechanism)允許解碼器在輸出生成的每個步驟處注意源句子的不同部分。

我們不是將輸入序列編碼為單個固定的上下文向量，而是讓模型學習如何為每個輸出時間步驟生成上下文向量。也就是說，我們讓模型根據輸入句子以及它到目前為止產生的內容來學習要參加的內容。

注意機制（Attention Mechanism）

這裡，編碼器從輸入X1，X2，X3 …… XT生成h1，h2，h …… .hT

然後，我們必須找出每個輸出時間步長的上下文向量ci。

如何計算每個輸出時間步長的上下文向量(Context Vector)？

對齊模型

a是對齊模型（Alignment model），它是一個前饋神經網絡，它與所提出系統的所有其他組件一起訓練，該對齊模型對（e）每個編碼輸入（h）與解碼器的當前輸出的匹配程度進行評分。

softmax

使用softmax函數對準分數進行歸一化。

上下文向量(Context Vector)是注釋（hj）和歸一化對齊分數的加權和。

解碼

解碼器通過查看第i個上下文向量和先前的隱藏輸出s（t-1）來生成第i個時間步的輸出。

相關焦點

  • 注意力機制(Attention Mechanism)在自然語言處理中的應用
    基於注意力（attention）機制的神經網絡成為了最近神經網絡研究的一個熱點，本人最近也學習了一些基於attention機制的神經網絡在自然語言處理（NLP）領域的論文，現在來對attention在NLP中的應用進行一個總結，和大家一起分享。
  • 谷歌推出基於注意機制的全新翻譯框架,Attention is All You Need!
    Transformer是完全基於注意力機制（attention mechanism)的網絡框架，放棄了RNN和CNN模型。眾所周知，在編碼-解碼框架中，主流的序列傳導模型都是基於RNN或者CNN的，其中能完美連接編碼器和解碼器的是注意力機制。而谷歌提出的這一新框架Transformer，則是完全基於注意力機制的。
  • 入門| 請注意,我們要談談神經網絡的注意機制和使用方法
    選自GitHub作者：Adam Kosiorek機器之心編譯參與：Panda神經網絡中的注意機制（attention mechanism），也被稱為神經注意（neural attention）或注意（attention），最近也得到了人們越來越多的關注。
  • 入門 | 請注意,我們要談談神經網絡的注意機制和使用方法
    （attention mechanism），也被稱為神經注意（neural attention）或注意（attention），最近也得到了人們越來越多的關注。在本文中，作者將嘗試為不同機制和用例找到共同點，此外還將描述並實現兩個軟視覺注意（soft visual attention）機制範例。本文作者 Adam Kosiorek 為牛津大學在讀博士。注意機制是什麼？我們可以粗略地把神經注意機制類比成一個可以專注於輸入內容的某一子集（或特徵）的神經網絡：它可以選擇特定的輸入。
  • 注意力機制Attention Model(mechanism) 的 套路
    相關的paper，網上相關的資料也有很多，在此只講一講自己對於attention的理解，力求做到簡潔明了。看到這裡相信大家對於attention有了較為直觀的感覺，其實套路都差不太多，看各家paper給出的公式也都差不多，具體是結合問題，怎麼去設計這個attention向量，怎麼去說故事罷了。
  • 注意力機制Attention
    注意力機制（attention mechanism）Attention實質上是一種分配機制，其核心思想是突出對象的某些重要特徵。根據Attention對象的重要程度，重新分配資源，即權重，實現核心思想是基於原有的數據找到其之間的關聯性，然後突出其某些重要特徵。注意力可以被描述為將一個查詢和一組鍵值對映射到一個輸出，其中查詢、鍵、值和輸出都是向量。
  • 【CV中的Attention機制】ShuffleAttention
    摘要目前注意力機制主要可以分為兩類，空間注意力機制和通道注意力機制，兩者目標用於捕獲成對的像素級關係和通道間依賴關係的。同時使用兩種注意力機制可以達到更好的效果，但是不可避免地增加了模型的計算量。CapsuleNet則是將每個組的神經元視為一個膠囊Capsule，其中，激活的膠囊中的神經元活動代表了圖像中特定實體的各種屬性。
  • 【Attention】淺談Attention機制的理解
    廢話不多說，在本文我就淺談下對注意機制的理解。Attentin機制的發家史Attention機制最早是應用於圖像領域的，九幾年就被提出來的思想。隨後Bahdanau等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》中，使用類似attention的機制在機器翻譯任務上將翻譯和對齊同時進行，他們的工作算是第一個將attention機制應用到NLP領域中。
  • CV中的Attention機制:簡單而有效的CBAM模塊
    什麼是注意力機制？注意力機制（Attention Mechanism）是機器學習中的一種數據處理方法，廣泛應用在自然語言處理、圖像識別及語音識別等各種不同類型的機器學習任務中。通俗來講：注意力機制就是希望網絡能夠自動學出來圖片或者文字序列中的需要注意的地方。
  • 乾貨|理解attention機制本質及self-attention
    的知識，這篇接上篇，更加深入的理解attention的有關思想和最新的self-attention機制一、Attention機制的本質思想如果把Attention機制從上文講述例子中的Encoder-Decoder框架中剝離，並進一步做抽象，可以更容易看懂Attention機制的本質思想。
  • 一文搞懂NLP中的Attention機制(附詳細代碼講解)
    Intuition吸睛這個詞就很代表attention，我們在看一張圖片的時候，很容易被更重要或者更突出的東西所吸引，所以我們把更多的注意放在局部的部分上，在計算機視覺（CV）領域，就可以看作是圖片的局部擁有更多的權重，比如圖片生成標題，標題中的詞就會主要聚焦於局部。
  • 異構圖注意力網絡 Heterogeneous Graph Attention Network
    論文提出了一種新的異構圖神經網絡分層注意力機制，涉及到節點級別和語義級別。節點級別的Attention主要學習節點及其臨近節點間的權重，語義級別的Attention是來學習基於不同meta-path的權重。
  • 淺談Attention機制的理解
    廢話不多說，在本文我就淺談下對注意機制的理解。   Attentin機制的發家史Attention機制最早是應用於圖像領域的，九幾年就被提出來的思想。隨後Bahdanau等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》中，使用類似attention的機制在機器翻譯任務上將翻譯和對齊同時進行，他們的工作算是第一個將attention機制應用到NLP領域中。
  • nlp領域發生了新的技術突破,用attention機制研究nlp領域
    核心知識：attention機制用於在序列中產生依賴關係輸入x和輸出y，經過attention機制處理：其中，表示embeddin gesti mator，表示target標籤和當前上下文，表示embeddingesti mator中的attention，可以理解為自動計算得到每個embeddin gestimator對輸入的重要性（重要性。
  • 一文讀懂Attention機制
    通過計算query和key_m[i]的相關度，來決定查詢結果中，value_m[i]所佔的權重比例。注意，這裡的key_q，key_m，value_m都是vector。因此Attention函數的本質可以被描述為一個查詢（query）到一系列（鍵key-值value）對的映射，如下圖。
  • 將注意力機制引入RNN,解決5大應用領域的序列預測問題
    在這篇博客中，我們將發現可以在循環神經網絡中採用注意力機制（attention mechanism）來克服這種局限性。讀完這篇博客，你會知道：編碼器-解碼器結構和固定長度內部表徵的局限性讓網絡學會針對輸出序列的每一項去注意輸入序列中對應位置的注意力機制帶有注意力機制的循環神經網絡在文本翻譯、語音識別等 5 個領域中的應用。
  • 學界| 機器翻譯新突破:谷歌實現完全基於attention的翻譯架構
    近日，谷歌再次宣布又在機器翻譯上更進了一步，實現了完全基於 attention 的 Transformer 機器翻譯網絡架構，並且還在 WMT 2014 的多種語言對的翻譯任務上超越了之前 Facebook 的成績，實現了新的最佳水平。機器之心對這篇研究論文進行了摘要介紹。
  • 關於attention機制的一些細節的思考
    之前看過的一些attention機制，除了self attention之外，基於rnn或者cnn的attention在處理文本問題的時候基本上是embedding之後經過了rnn或者cnn結構的映射之後得到了映射後的向量V，然後attention是針對於V進行注意力weights的計算，問題來了，能不能直接在embedding上進行score的計算？
  • Attention 掃盲:注意力機制及其 PyTorch 應用實現
    機制是對人類視覺注意力機制的仿生，本質上是一種資源分配機制。常規的 encoder-decoder方法，第一步，將輸入句子序列 X通過神經網絡編碼為固定長度的上下文向量C，也就是文本的語義表示；第二步，由另外一個神經網絡作為解碼器根據當前已經預測出來的詞記憶編碼後的上下文向量 C，來預測目標詞序列，過程中編碼器和解碼器的 RNN 是聯合訓練的，但是監督信息只出現在解碼器 RNN 一端，梯度隨著反向傳播到編碼器 RNN 一端。
  • 圖解神經機器翻譯中的注意力機制
    幾十年來，統計機器翻譯在翻譯模型中一直佔主導地位 [9]，直到神經機器翻譯（NMT）出現。NMT 是一種新興的機器翻譯方法，它試圖構建和訓練單個大型神經網絡，該網絡讀取輸入文本並輸出譯文 [1]。在 seq2seq 中，初步設想是讓兩個循環神經網絡（RNN）構成編碼器-解碼器架構：編碼器逐個讀取輸入詞，獲得固定維度的向量表示，然後另一個 RNN（解碼器）基於這些輸入逐個提取輸出詞。