文本向量空間模型

2021-12-29 Python開發者

(點擊上方藍字，快速關注我們)


英文：stanford.edu  編譯： 伯樂在線 - 笑虎

http://python.jobbole.com/81311/

我們需要開始思考如何將文本集合轉化為可量化的東西。最簡單的方法是考慮詞頻。

我將儘量嘗試不使用NLTK和Scikits-Learn包。我們首先使用Python講解一些基本概念。

基本詞頻

首先，我們回顧一下如何得到每篇文檔中的詞的個數：一個詞頻向量。

#examples taken from here: http://stackoverflow.com/a/1750187

 

mydoclist = ['Julie loves me more than Linda loves me',

'Jane likes me more than Julie loves me',

'He likes basketball more than baseball']

 

#mydoclist = ['sun sky bright', 'sun sun bright']

 

from collections import Counter

 

for doc in mydoclist:

    tf = Counter()

    for word in doc.split():

        tf[word] +=1

    print tf.items()

[(『me』, 2), (『Julie』, 1), (『loves』, 2), (『Linda』, 1), (『than』, 1), (『more』, 1)]
[(『me』, 2), (『Julie』, 1), (『likes』, 1), (『loves』, 1), (『Jane』, 1), (『than』, 1), (『more』, 1)]
[(『basketball』, 1), (『baseball』, 1), (『likes』, 1), (『He』, 1), (『than』, 1), (『more』, 1)]

這裡我們引入了一個新的Python對象，被稱作為Counter。該對象只在Python2.7及更高的版本中有效。Counters非常的靈活，利用它們你可以完成這樣的功能：在一個循環中進行計數。

根據每篇文檔中詞的個數，我們進行了文檔量化的第一個嘗試。但對於那些已經學過向量空間模型中「向量」概念的人來說，第一次嘗試量化的結果不能進行比較。這是因為它們不在同一詞彙空間中。

我們真正想要的是，每一篇文件的量化結果都有相同的長度，而這裡的長度是由我們語料庫的詞彙總量決定的。

import string #allows for format()

    

def build_lexicon(corpus):

    lexicon = set()

    for doc in corpus:

        lexicon.update([word for word in doc.split()])

    return lexicon

 

def tf(term, document):

  return freq(term, document)

 

def freq(term, document):

  return document.split().count(term)

 

vocabulary = build_lexicon(mydoclist)

 

doc_term_matrix = []

print 'Our vocabulary vector is [' + ', '.join(list(vocabulary)) + ']'

for doc in mydoclist:

    print 'The doc is "' + doc + '"'

    tf_vector = [tf(word, doc) for word in vocabulary]

    tf_vector_string = ', '.join(format(freq, 'd') for freq in tf_vector)

    print 'The tf vector for Document %d is [%s]' % ((mydoclist.index(doc)+1), tf_vector_string)

    doc_term_matrix.append(tf_vector)

    

    # here's a test: why did I wrap mydoclist.index(doc)+1 in parens?  it returns an int...

    # try it!  type(mydoclist.index(doc) + 1)

 

print 'All combined, here is our master document term matrix: '

print doc_term_matrix

我們的詞向量為[me, basketball, Julie, baseball, likes, loves, Jane, Linda, He, than, more]

文檔」Julie loves me more than Linda loves me」的詞頻向量為：[2, 0, 1, 0, 0, 2, 0, 1, 0, 1, 1]

文檔」Jane likes me more than Julie loves me」的詞頻向量為：[2, 0, 1, 0, 1, 1, 1, 0, 0, 1, 1]

文檔」He likes basketball more than baseball」的詞頻向量為：[0, 1, 0, 1, 1, 0, 0, 0, 1, 1, 1]

合在一起，就是我們主文檔的詞矩陣：

[[2, 0, 1, 0, 0, 2, 0, 1, 0, 1, 1], [2, 0, 1, 0, 1, 1, 1, 0, 0, 1, 1], [0, 1, 0, 1, 1, 0, 0, 0, 1, 1, 1]]

好吧，這看起來似乎很合理。如果你有任何機器學習的經驗，你剛剛看到的是建立一個特徵空間。現在每篇文檔都在相同的特徵空間中，這意味著我們可以在同樣維數的空間中表示整個語料庫，而不會丟失太多信息。

標準化向量，使其L2範數為1

一旦你在同一個特徵空間中得到了數據，你就可以開始應用一些機器學習方法：分類、聚類等等。但實際上，我們同樣遇到一些問題。單詞並不都包含相同的信息。

如果有些單詞在一個單一的文件中過於頻繁地出現，它們將擾亂我們的分析。我們想要對每一個詞頻向量進行比例縮放，使其變得更具有代表性。換句話說，我們需要進行向量標準化。

我們真的沒有時間過多地討論關於這方面的數學知識。現在僅僅接受這樣一個事實：我們需要確保每個向量的L2範數等於1。這裡有一些代碼，展示這是如何實現的。

import math

 

def l2_normalizer(vec):

    denom = np.sum([el**2 for el in vec])

    return [(el / math.sqrt(denom)) for el in vec]

 

doc_term_matrix_l2 = []

for vec in doc_term_matrix:

    doc_term_matrix_l2.append(l2_normalizer(vec))

 

print 'A regular old document term matrix: '

print np.matrix(doc_term_matrix)

print '\nA document term matrix with row-wise L2 norms of 1:'

print np.matrix(doc_term_matrix_l2)

 

# if you want to check this math, perform the following:

# from numpy import linalg as la

# la.norm(doc_term_matrix[0])

# la.norm(doc_term_matrix_l2[0])

格式化後的舊的文檔詞矩陣：

[[2 0 1 0 0 2 0 1 0 1 1]
[2 0 1 0 1 1 1 0 0 1 1]
[0 1 0 1 1 0 0 0 1 1 1]]

按行計算的L2範數為1的文檔詞矩陣：

[[ 0.57735027 0. 0.28867513 0. 0. 0.57735027
0. 0.28867513 0. 0.28867513 0.28867513]
[ 0.63245553 0. 0.31622777 0. 0.31622777 0.31622777
0.31622777 0. 0. 0.31622777 0.31622777]
[ 0. 0.40824829 0. 0.40824829 0.40824829 0. 0.
0. 0.40824829 0.40824829 0.40824829]]

還不錯，沒有太深究線性代數的知識，你就可以馬上看到我們按比例縮小了各個向量，使它們的每一個元素都在0到1之間，並且不會丟失太多有價值的信息。你看到了，一個計數為1的詞在一個向量中的值和其在另一個向量中的值不再相同。

為什麼我們關心這種標準化嗎？考慮這種情況，如果你想讓一個文檔看起來比它實際上和一個特定主題更相關，你可能會通過不斷重複同一個詞，來增加它包含到一個主題的可能性。坦率地說，在某種程度上，我們得到了一個在該詞的信息價值上衰減的結果。所以我們需要按比例縮小那些在一篇文檔中頻繁出現的單詞的值。

IDF頻率加權

我們現在還沒有得到想要的結果。就像一篇文檔中的所有單詞不具有相同的價值一樣，也不是全部文檔中的所有單詞都有價值。我們嘗試利用反文檔詞頻（IDF）調整每一個單詞權重。我們看看這包含了些什麼：

def numDocsContaining(word, doclist):

    doccount = 0

    for doc in doclist:

        if freq(word, doc) > 0:

            doccount +=1

    return doccount

 

def idf(word, doclist):

    n_samples = len(doclist)

    df = numDocsContaining(word, doclist)

    return np.log(n_samples / 1+df)

 

my_idf_vector = [idf(word, mydoclist) for word in vocabulary]

 

print 'Our vocabulary vector is [' + ', '.join(list(vocabulary)) + ']'

print 'The inverse document frequency vector is [' + ', '.join(format(freq, 'f') for freq in my_idf_vector) + ']'

我們的詞向量為[me, basketball, Julie, baseball, likes, loves, Jane, Linda, He, than, more]

反文檔詞頻向量為[1.609438, 1.386294, 1.609438, 1.386294, 1.609438, 1.609438, 1.386294, 1.386294, 1.386294, 1.791759, 1.791759]

現在，對於詞彙中的每一個詞，我們都有一個常規意義上的信息值，用於解釋他們在整個語料庫中的相對頻率。回想一下，這個信息值是一個「逆」！即信息值越小的詞，它在語料庫中出現的越頻繁。

我們快得到想要的結果了。為了得到TF-IDF加權詞向量，你必須做一個簡單的計算：tf * idf。

現在讓我們退一步想想。回想下線性代數：如果你用一個AxB的向量乘以另一個AxB的向量，你將得到一個大小為AxA的向量，或者一個標量。我們不會那麼做，因為我們想要的是一個具有相同維度(1 x詞數量)的詞向量，向量中的每個元素都已經被自己的idf權重加權了。我們如何在Python中實現這樣的計算呢？

在這裡我們可以編寫完整的函數，但我們不那麼做，我們將要對numpy做一個簡介。

import numpy as np

 

def build_idf_matrix(idf_vector):

    idf_mat = np.zeros((len(idf_vector), len(idf_vector)))

    np.fill_diagonal(idf_mat, idf_vector)

    return idf_mat

 

my_idf_matrix = build_idf_matrix(my_idf_vector)

 

#print my_idf_matrix

太棒了！現在我們已經將IDF向量轉化為BxB的矩陣了，矩陣的對角線就是IDF向量。這意味著我們現在可以用反文檔詞頻矩陣乘以每一個詞頻向量了。接著，為了確保我們也考慮那些過於頻繁地出現在文檔中的詞，我們將對每篇文檔的向量進行標準化，使其L2範數等於1。

doc_term_matrix_tfidf = []

 

#performing tf-idf matrix multiplication

for tf_vector in doc_term_matrix:

    doc_term_matrix_tfidf.append(np.dot(tf_vector, my_idf_matrix))

 

#normalizing

doc_term_matrix_tfidf_l2 = []

for tf_vector in doc_term_matrix_tfidf:

    doc_term_matrix_tfidf_l2.append(l2_normalizer(tf_vector))

                                    

print vocabulary

print np.matrix(doc_term_matrix_tfidf_l2) # np.matrix() just to make it easier to look at

set([『me』, 『basketball』, 『Julie』, 『baseball』, 『likes』, 『loves』, 『Jane』, 『Linda』, 『He』, 『than』, 『more』])

[[ 0.57211257 0. 0.28605628 0. 0. 0.57211257
0. 0.24639547 0. 0.31846153 0.31846153]
[ 0.62558902 0. 0.31279451 0. 0.31279451 0.31279451
0.26942653 0. 0. 0.34822873 0.34822873]
[ 0. 0.36063612 0. 0.36063612 0.41868557 0. 0.
0. 0.36063612 0.46611542 0.46611542]]

太棒了！你剛看到了一個展示如何繁瑣地建立一個TF-IDF加權的文檔詞矩陣的例子。

最好的部分來了：你甚至不需要手動計算上述變量，使用scikit-learn即可。

記住，Python中的一切都是一個對象，對象本身佔用內存，同時對象執行操作佔用時間。使用scikit-learn包，以確保你不必擔心前面所有步驟的效率問題。

注意：你從TfidfVectorizer/TfidfTransformer得到的值將和我們手動計算的值不同。這是因為scikit-learn使用一個Tfidf的改進版本處理除零的錯誤。這裡有一個更深入的討論。

from sklearn.feature_extraction.text import CountVectorizer

 

count_vectorizer = CountVectorizer(min_df=1)

term_freq_matrix = count_vectorizer.fit_transform(mydoclist)

print "Vocabulary:", count_vectorizer.vocabulary_

 

from sklearn.feature_extraction.text import TfidfTransformer

 

tfidf = TfidfTransformer(norm="l2")

tfidf.fit(term_freq_matrix)

 

tf_idf_matrix = tfidf.transform(term_freq_matrix)

print tf_idf_matrix.todense()

Vocabulary: {u’me』: 8, u』basketball』: 1, u』julie』: 4, u』baseball』: 0, u』likes』: 5, u』loves』: 7, u』jane』: 3, u』linda』: 6, u’more』: 9, u’than』: 10, u』he』: 2}
[[ 0. 0. 0. 0. 0.28945906 0.
0.38060387 0.57891811 0.57891811 0.22479078 0.22479078]
[ 0. 0. 0. 0.41715759 0.3172591 0.3172591
0. 0.3172591 0.6345182 0.24637999 0.24637999]
[ 0.48359121 0.48359121 0.48359121 0. 0. 0.36778358
0. 0. 0. 0.28561676 0.28561676]]

實際上，你可以用一個函數完成所有的步驟：TfidfVectorizer

from sklearn.feature_extraction.text import TfidfVectorizer

 

tfidf_vectorizer = TfidfVectorizer(min_df = 1)

tfidf_matrix = tfidf_vectorizer.fit_transform(mydoclist)

 

print tfidf_matrix.todense()

[[ 0. 0. 0. 0. 0.28945906 0.
0.38060387 0.57891811 0.57891811 0.22479078 0.22479078]
[ 0. 0. 0. 0.41715759 0.3172591 0.3172591
0. 0.3172591 0.6345182 0.24637999 0.24637999]
[ 0.48359121 0.48359121 0.48359121 0. 0. 0.36778358
0. 0. 0. 0.28561676 0.28561676]]

並且我們可以利用這個詞彙空間處理新的觀測文檔，就像這樣：

new_docs = ['He watches basketball and baseball', 'Julie likes to play basketball', 'Jane loves to play baseball']

new_term_freq_matrix = tfidf_vectorizer.transform(new_docs)

print tfidf_vectorizer.vocabulary_

print new_term_freq_matrix.todense()

{u’me』: 8, u』basketball』: 1, u』julie』: 4, u』baseball』: 0, u』likes』: 5, u』loves』: 7, u』jane』: 3, u』linda』: 6, u’more』: 9, u’than』: 10, u』he』: 2}
[[ 0.57735027 0.57735027 0.57735027 0. 0. 0. 0.
0. 0. 0. 0. ]
[ 0. 0.68091856 0. 0. 0.51785612 0.51785612
0. 0. 0. 0. 0. ]
[ 0.62276601 0. 0. 0.62276601 0. 0. 0.
0.4736296 0. 0. 0. ]]

請注意，在new_term_freq_matrix中並沒有「watches」這樣的單詞。這是因為我們用於訓練的文檔是mydoclist中的文檔，這個詞並不會出現在那個語料庫的詞彙中。換句話說，它在我們的詞彙詞典之外。

回到Amazon評論文本

練習2

現在是時候嘗試使用你學過的東西了。利用TfidfVectorizer，你可以在Amazon評論文本的字符串列表上嘗試建立一個TF-IDF加權文檔詞矩。

import os

import csv

 

#os.chdir('/Users/rweiss/Dropbox/presentations/IRiSS2013/text1/fileformats/')

 

with open('amazon/sociology_2010.csv', 'rb') as csvfile:

    amazon_reader = csv.DictReader(csvfile, delimiter=',')

    amazon_reviews = [row['review_text'] for row in amazon_reader]

 

    #your code here!!!

看完本文有收穫？請轉發分享給更多人

關注「Python開發者」，提升Python技能

相關焦點

  • 文本分類六十年
    然後，文本表示旨在以對計算機來說更容易的形式來表達預處理的文本，並最大程度地減少信息丟失，例如詞袋（BOW），N-gram，術語頻率倒排文檔頻率（TF-IDF），word2vec [94]和GloVe [95]。BOW的核心是用字典大小的向量表示每個文本。向量的單個值表示對應於其在文本中固有位置的詞頻。與BOW相比，N-gram考慮相鄰單詞的信息，並通過考慮相鄰單詞來構建字典。
  • 機器學習-話題模型
    文本預處理 文本預處理的步驟： 文本提取。 詞袋模型 詞袋模型（Bag-of-words model）是個在自然語言處理和信息檢索(IR)下被簡化的表達模型。此模型下，一段文本（比如一個句子或是一個文檔）可以用一個裝著這些詞的袋子來表示，這種表示方式不考慮文法以及詞的順序。最近詞袋模型也被應用在電腦視覺領域。
  • NLP之文本分類:「Tf-Idf、Word2Vec和BERT」三種模型比較
    NLP常用於文本數據的分類。文本分類是指根據文本數據內容對其進行分類的問題。我們有多種技術從原始文本數據中提取信息，並用它來訓練分類模型。本教程比較了傳統的詞袋法（與簡單的機器學習算法一起使用）、流行的詞嵌入模型（與深度學習神經網絡一起使用）和最先進的語言模型（和基於attention的transformers模型中的遷移學習一起使用），語言模型徹底改變了NLP的格局。
  • NLP的文本分析與特徵工程
    文本分類是根據文本數據的內容對其進行分類的問題。文本分類最重要的部分是特徵工程：從原始文本數據為機器學習模型創建特徵的過程。在本文中，我將解釋不同的方法來分析文本並提取可用於構建分類模型的特徵。我將介紹一些有用的Python代碼。
  • 自然語言處理之文本相似度計算
    、英文還是標點符號，都是機器無法直接做計算的，需要先將文本轉化為可計算和比較的數學表示的形式。對於之前例子中的向量，每個元素都需要乘上這個對應的權重。之後人們又想到，詞袋模型並不能保留原本語句的語序信息，而我們或許可以通過語序得到一些同義詞，這些詞本身就比另一些詞更相似。這時一個假設被提出：如果兩個詞的上下文相似，那麼這兩個詞更有可能是同義詞。Word2Vec[1]就是利用這一假設訓練出詞向量來表示一個詞。
  • 詞向量詳解:從word2vec、glove、ELMo到BERT
    目前，詞向量（又叫詞嵌入）已經成為NLP領域各種任務的必備一步，而且隨著bert elmo,gpt等預訓練模型的發展，詞向量演變為知識表示方法，但其本質思想不變。學習各種詞向量訓練原理可以很好地掌握NLP各種方法。生成詞向量的方法有很多種，本文重點介紹word2vec,glove和bert。
  • 文本秒生成圖像,震驚業界!詳解OpenAI兩大AI模型
    智東西（公眾號：zhidxcom）編譯 |子佩編輯 |Panken智東西1月7日消息，2021開年，頂著地表最強語言模型GPT-3的光環，OpenAI在自然語言處理領域一路高歌猛進，於昨日推出兩個跨越文本與圖像次元的模型：DALL·E和CLIP，前者可以基於文本生成圖像，後者則可以基於文本對圖片進行分類，兩者都意在打破自然語言處理和計算機視覺兩大門派「涇渭分明
  • 文本秒生成圖像,震驚業界,詳解OpenAI兩大AI模型
    編譯 | 子佩編輯 | Panken智東西1月7日消息，2021開年，頂著地表最強語言模型GPT-3的光環，OpenAI在自然語言處理領域一路高歌猛進，於昨日推出兩個跨越文本與圖像次元的模型：DALL·E和CLIP，前者可以基於文本生成圖像，後者則可以基於文本對圖片進行分類，兩者都意在打破自然語言處理和計算機視覺兩大門派
  • 文本秒生成圖像,震驚業界——詳解OpenAI兩大AI模型
    編譯|智東西  子佩編輯|Panken智東西1月7日消息，2021開年，頂著地表最強語言模型GPT-3的光環，OpenAI在自然語言處理領域一路高歌猛進，於昨日推出兩個跨越文本與圖像次元的模型：DALL·E和CLIP，前者可以基於文本生成圖像，後者則可以基於文本對圖片進行分類，兩者都意在打破自然語言處理和計算機視覺兩大門派「涇渭分明」的界限，實現多模態
  • scikit-learn中的自動模型選擇和複合特徵空間
    使用scikit-learn管道自動組合文本和數字數據有時，機器學習模型的可能配置即使沒有上千種，也有數百種，這使得手工找到最佳配置的可能性變得不可能，因此自動化是必不可少的。在處理複合特徵空間時尤其如此，在複合特徵空間中，我們希望對數據集中的不同特徵應用不同的轉換。
  • 一文詳解 Word2vec 之 Skip-Gram 模型(結構篇)
    Word2Vec是從大量文本語料中以無監督的方式學習語義知識的一種模型，它被大量地用在自然語言處理（NLP）中。那麼它是如何幫助我們做自然語言處理呢？Word2Vec其實就是通過學習文本來用詞向量的方式表徵詞的語義信息，即通過一個嵌入空間使得語義上相似的單詞在該空間內距離很近。
  • 深度CTR預估模型在應用寶推薦系統中的探索
    本文主要針對以上挑戰，在當下深度CTR預估模型的基礎上展開模型優化探索，通過引入更長周期用戶行為和app描述文本信息，並進一步挖掘用戶行為興趣，有效促進了推薦效果提升。，將特徵映射到低維向量表示，經過多層神經網絡，使模型具有泛化能力。
  • 使用Python和GloVe詞嵌入模型提取新聞和文章的文本摘要
    機器學習的自然語言處理(NLP)模塊提供了許多可用於文本摘要的算法。文本摘要有兩種主要方法：創建抽象式摘要：該技術使用高級的NLP方法來生成摘要，該摘要所使用的單詞句子是全新的。這意昧著，摘要是用文章中未使用的詞創建的。
  • 利用機器學習探索食物配方 通過Word2Vec模型進行菜譜分析
    又稱分布式語義模型或語義向量空間或向量空間模型;這意味著在向量空間中對相似單詞的向量進行分類或分組。它背後的想法相當簡單:你應該通過它的同伴來認識一個單詞。因此，有相似鄰居的詞，即。用法上下文是差不多的，很可能有相同的意思或至少是高度相關的。
  • 距離場or向量場 | 特效蹦迪了解一下
    K總做過一個向量場開源項目說是向量場，其實裡面文件用的距離場，這倆東西其實差不多，在Unity裡都是一張三維貼圖
  • 乾貨分享 | 自然語言處理及詞向量模型介紹(附PPT)
    還有一個方法是Frequencies of Groups of Letters，比如說中文，用中文的語言建立一個語言模型，然後再把新輸入的東西帶入你的模型作比較，得出是不是屬於中文的結論。具體語言模型要怎麼建立，後面會提到。
  • 微信「看一看」多模型內容策略與召回
    ■ 2.3 多模態標籤語義標籤我們將文本語義按粗到細粒度分為：文本多分類（1-3級），主題topic model（長效topic，實時topic），tagCluster， tag/entity；這也是NLP領域持續在關注和研究的重點方向；文本分類與模式識別中心合作對長/短文本訓練基於標註的增量多分類模型（1-2級分類準確率可以達到
  • 向量代數與空間解析幾何終結篇:結束代數與幾何
    向量代數與空間解析幾何算是比較費腦的一章，因為圖形要動腦來想。所以對於空間想像力弱的同學，學習這一章就很痛苦。但是這也沒有辦法，這也是為了後來的多元積分做鋪墊，扛過去就好了。最後來對這一章的內容總結一下：本章知識點總結：1.向量代數（1）在利用空間解析幾何知識去解決問題時，若已知條件中沒有給定坐標系，應根據所求問題選取合適的坐標系，使解題過程更為簡潔。
  • 【AI-生物力學】使用狀態空間模型從sEMG連續估計人的多關節角度
    傳統方法總是建立一個非線性回歸模型，例如人工神經網絡，以sEMG作為輸入來預測多關節運動變量。但是，冗餘sEMG數據始終無法區分；預測誤差也無法在線評估和校正。在這項工作中，提出了一種基於相關性的冗餘分段方法，將包括冗餘的sEMG矢量分割為冗餘和冗餘子矢量。然後，通過將冗餘子向量作為輸入，將冗餘子向量作為測量輸出，開發了一種通用的狀態空間框架來構建運動模型。
  • 第一批在 SQUAD 2.0 上刷榜的 U-NET 模型,它們有何高明之處?
    當人們閱讀一段東西時（如新聞），他們可能會問一些簡單的問題，這些問題的答案可以直接在文本中找到。然而，他們更有可能問一些不能直接回答的相關問題。一個強大的數據集需要很好地同時對這兩者建模。如果數據集中只有已經被回答的問題，那麼模型將學會總是給出一些在文本中能夠找到的答案。當有人提出一個沒有直接出現在文本中的問題時，它自然而然地會給出錯誤的答案。