從今天開始，我會將每天的閱讀筆記上傳至公眾號，因本人水平有限，如存在錯誤之處，還請批評指正
3.基於情感融合和多維自注意力機制的微博文本情感分析
3.1論文信息
中國民航大學電子信息與自動化學院，韓萍，孫佳慧，方 澄，賈雲飛計算機應用，2019年歸檔：WPS網盤\我的雲文檔\論文匯報\畢業論文\論文部分\短文本情感分析算法部分\參考文獻3.2論文重點
研究目的：作者認為在處理微博文本時，將表情符號和微博文本結合可以提升模型的準確性研究方法：詞向量方面，將表情符號向量和文本詞向量做相似度計算後，結合在一塊；隨後通過多維度的自注意力機制，對句子向量進行特徵提取，並在最後通過池化方式進行降維，通過Softmax函數進行分類。研究結果：相較於其他方法，有了一丟丟的提升。
3.3模型分析
該研究提出一種E-DiSAN的模型，具體如下圖所示：
接下來將重點對四個部分內容進行分析：
3.3.1 情感語義矩陣構建層
該層使用Word2Vec訓練包含情感符號和分詞的向量，其中表示個表情符號構成的向量；則分詞向量通過，表示句子分詞後的詞個數。而則是將上述兩個向量通過相似度計算後得到的，具體方法如下：。因此在向量中間中，當情感符號和分詞的詞語具有相似的含義時，其距離也就越近，EM值越小。建構方法如下圖：
3.3.2 多維度自注意力層
在進行該階段的模型分析前，需要了解注意力機制和自注意力機制。首先介紹【注意力機制】：
3.3.2.1 注意力與自注意力機制
設：表示個分詞後的詞個數，現在給定一個比對任務：比對向量對於的相關性。設對比函數為，且該函數的概率分布為：。則概率分布函數為：。而對於的求解算法目前有兩種，分別為加和方法和乘積方法，分別為：和。該研究採用的是加和方法。當第位置的詞對於查詢條件重要時，的值越大。則注意力機制可以通過函數：描述，其含義為：所有文本序列詞向量與概率分布乘積，並經過累加和求得句子特徵。
而自注意機制，則是將查詢條件變為裡面的每一個，這樣可以學習到句子裡面詞依賴關係。因此自注意力機制可以表示為，此處參數是為了更好的擬合數據，均由網絡學習得到。
3.3.2.2 融合位置信息的多維度自注意力
分析實際文本時發現：詞序對於文本情感的傾向度存在較大的影響，如：不喜歡下雨天! 」和「喜歡不下雨的晴朗天氣! 」都出現了「不」和「歡」兩分詞，但這兩分詞的位置不同，顯然表達了不同的情感向，前者是消極情緒而後者是積極情緒。因此此處作者引入了位置信息加入位置信息後的自注意力機制可以表示為：。其中包含兩種類型，即前項信息和後項信息，可以分別通過：和表示：
其他其他前向位置信息 中只保留了當前元素之前的所有元素與該元素計得到的自注意函數得分; 反之，後項位置信 中只保留了當前元素之後的所有元素與該元素計算得到的自注意分數。因此，引入位置信息的概率函數為：，故而，引入位置信息的注意力機制為：。由此，可以計算出前後向的注意力分數，分別用和表示，最後將分詞的前後句進行拼接，形成句子的特徵。
3.3.3 句子向量特徵獲取層
為了降低維度，該層使用了池化方法處理，池化方法採用了average-pooling方法，即：
3.3.4 情感極性分類層
使用了較為經典的Softmax函數，其定義的損失函數為：