預告 | 跟李沐一起動手學深度學習第十六課:詞向量(word2vec)

2021-03-02 將門創投

北京時間1月20日（周六）上午11點是將門聯合亞馬遜AI主任科學家李沐博士的《動手學深度學習》系列課程第十六課。本次課依舊是由沐哥的好基友、亞馬遜應用科學家Aston Zhang帶來~

隨著深度學習的廣泛應用，詞向量（word embedding）已逐漸成為自然語言處理的基礎知識。本課將以word2vec為例，著重介紹兩套模型：跳字模型（Skip-gram）和連續詞袋模型（CBOW），以及兩套高效訓練法：負採樣（Negative sampling）和層序softmax（Hierarchical softmax）。


活動信息

▼

主題：詞向量（word2vec）

時間：1月13日（周六）11:00-12:00

地點：將門創投鬥魚直播間

課程提綱

▼

隨著深度學習的廣泛應用，詞向量（word embedding）已逐漸成為自然語言處理的基礎知識。

本課將以word2vec為例，著重介紹兩套模型：跳字模型(Skip-gram)和連續詞袋模型(CBOW)，以及兩套高效訓練法：負採樣(Negative sampling)和層序softmax(Hierarchical softmax)。

本節課的安排：

[10 mins]：詞向量和word2vec概述。

[15 mins]：跳字模型（Skip-gram）。

[15 mins]：連續詞袋模型（CBOW）。

[10 mins]：負採樣（Negative sampling）訓練法。

[10 mins]：層序softmax（Hierarchical softmax）訓練法。

參與互動

▼

除了鬥魚直播之外，我們還會專門建一個微信的交流群，方便大家實時的交流和提問。這個群雖然還會需要大家填寫個人信息進行報名，但是在入群的資質審核上會寬鬆很多。

你可能還想看：

-The End-

    

點擊右上角，把文章分享到朋友圈

 

將門創投

讓創新獲得認可！

微信：thejiangmen

bp@thejiangmen.com

相關焦點

  • 深度學習筆記 | 第13講:word2vec詞向量
    又到了每周一狗熊會的深度學習時間了。在上一講中，小編將關注重點首次切到了自然語言處理領域。我們介紹了自然語言處理領域的基本知識體系，對 one-hot 和詞嵌入這兩種基本的詞彙表徵方法進行了詳細的介紹，對詞嵌入代表方法詞向量進行了闡述，並以 SVD 詞向量模型進行了演示。本節小編將繼續和大家一起學習基於神經網絡模型的詞向量表徵方法，其中的代表模型就是著名的 word2vec。
  • 文本深度表示模型——word2vec&doc2vec詞向量模型
    來源：poll的筆記閱讀目錄　　深度學習掀開了機器學習的新篇章，目前深度學習應用於圖像和語音已經產生了突破性的研究進展
  • 文本深度表示模型—word2vec&doc2vec詞向量模型
    ，目前深度學習應用於圖像和語音已經產生了突破性的研究進展。深度學習一直被人們推崇為一種類似於人腦結構的人工智慧算法，那為什麼深度學習在語義分析領域仍然沒有實質性的進展呢？引用三年前一位網友的話來講：「Steve Renals算了一下icassp錄取文章題目中包含deep learning的數量，發現有44篇，而naacl則有0篇。
  • 萬物皆Embedding,從經典的word2vec到深度學習基本操作item2vec
    （https://zhuanlan.zhihu.com/wangzhenotes） 的第四篇文章，之前我們一起討論了阿里的DIN，YouTube的深度學習推薦系統，本來今天想再分享另一篇科技巨頭的業界前沿文章，Airbnb的Embedding方法 但因為文章中涉及word2vec的技術細節，為了保證一些初學者的知識是自洽的，我還是想在此之前詳細介紹一下深度學習的基本操作
  • 【算法】word2vec與doc2vec模型
    2 word2vec與doc2vec有什麼差異？3 如何做word2vec和doc2vec？深度學習掀開了機器學習的新篇章，目前深度學習應用於圖像和語音已經產生了突破性的研究進展。深度學習一直被人們推崇為一種類似於人腦結構的人工智慧算法，那為什麼深度學習在語義分析領域仍然沒有實質性的進展呢？　　引用三年前一位網友的話來講：　　「Steve Renals算了一下icassp錄取文章題目中包含deep learning的數量，發現有44篇，而naacl則有0篇。
  • 深入理解word2vec
    word2vec是一種基於神經網絡的語言模型，也是一種詞彙表徵方法。word2vec包括兩種結構：skip-gram（跳字模型）和CBOW（連續詞袋模型），但本質上都是一種詞彙降維的操作。  我們將NLP的語言模型看作是一個監督學習問題：即給定上下文詞，輸出中間詞，或者給定中間詞，輸出上下文詞。基於輸入和輸出之間的映射便是語言模型。
  • 【NLP】從word2vec, ELMo到BERT
    而在這種風向下，不管word2vec也好，glove也好，fasttext也好，都只能充當一個錦上添花的作用。說好的遷移學習、預訓練呢？在NLP似乎始終沒成主角。word2vec說來也都是些俗套而樂此不疲一遍遍寫的句子，2013年Google的word2vec一出，讓NLP各個領域遍地開花，一時間好像不用上預訓練的詞向量都不好意思寫論文了。而word2vec是什麼呢？模型顯然就是一個「線性」語言模型。
  • 機器不學習:word2vec是如何得到詞向量的?
    機器不學習 jqbxx.com -機器學習、深度學習好網站word2vec是如何得到詞向量的？這個問題比較大。得到你想要的processed corpus之後，將他們的one-hot向量作為word2vec的輸入，通過word2vec訓練低維詞向量（word embedding）就ok了。不得不說word2vec是個很棒的工具，目前有兩種訓練模型（CBOW和Skip-gram），兩種加速算法（Negative Sample與Hierarchical Softmax）。
  • 【Word2Vec】深入淺出Word2Vec原理解析
    該論文首次提出用神經網絡來解決語言模型的問題，雖然在當時並沒有得到太多的重視，卻為後來深度學習在解決語言模型問題甚至很多別的nlp問題時奠定了堅實的基礎，後人站在Yoshua Bengio的肩膀上，做出了更多的成就。包括Word2Vec的作者Tomas Mikolov在NNLM的基礎上提出了RNNLM和後來的Word2Vec。文中也較早地提出將word表示一個低秩的向量，而不是One-Hot。
  • 白話Word2Vec
    t=http://superjom.duapp.com/neural-language-model/word2vec-implement.htmlword2vec 代碼實現(2) – CBOWhttps://link.jianshu.com/?
  • NLP中的詞向量對比:word2vec/glove/fastText/elmo/GPT/bert
    2、怎麼從語言模型理解詞向量？怎麼理解分布式假設？3、傳統的詞向量有什麼問題？怎麼解決？各種詞向量的特點是什麼？4、word2vec和NNLM對比有什麼區別？（word2vec vs NNLM）5、word2vec和fastText對比有什麼區別？（word2vec vs fastText）6、glove和word2vec、 LSA對比有什麼區別？
  • Word Embedding Papers | 經典再讀之Word2Vec
    介紹分為三個部分，分別對應 Tomas Mikolov（託老師）2013 年經典的託三篇：1. word2vec（一）：NLP 蛋糕的一大塊兒：圍繞 Efficient Estimation of Word Representations in Vector Space。會談到：word2vec 與自監督學習；CBOW 與 Skip-gram 的真正區別是什麼。
  • 【自然語言處理】Word2Vec 概述及中文語料實戰
    神經網絡基於這些訓練數據將會輸出一個概率分布，這個概率代表詞典中的每個詞是output word的可能性。例如，先拿一組數據 ('dog', 'barked') 來訓練神經網絡，那麼模型通過學習這個訓練樣本，會告訴我們詞彙表中每個單詞是「barked」的概率大小。模型的輸出概率代表著到詞典中每個詞有多大可能性跟input word同時出現。
  • [NLP] 秒懂詞向量Word2vec的本質
    這裡『森林』指 word2vec 模型的理論基礎——即 以神經網絡形式表示的語言模型，『樹葉』指具體的神經網絡形式、理論推導、hierarchical softmax 的實現細節等等北漂浪子的博客：『深度學習word2vec 筆記之基礎篇』優點：非常系統，結合源碼剖析，語言平實易懂缺點：太囉嗦，有點抓不住精髓Yoav Goldberg 的論文：
  • 全新版本,李沐《動手學深度學習》TF2.0版本來了
    機器之心整理參與：一鳴還記得李沐老師的《動手學深度學習》嗎？近日，該書的 TF2.0 代碼復現項目來了。UC 伯克利李沐的《動手學深度學習》開源書一經推出便廣受好評。很多開發者使用了書的內容，並採用各種各樣的深度學習框架將其復現。據機器之心所知，現在已有 MXnet（原版）和 PyTorch 版本。
  • 專欄|用 Word2vec 輕鬆處理新金融風控場景中的文本類數據
    機器之心投稿作者：唐正陽編者註：本文作者為 CreditX 氪信市場經理唐正陽，深入淺出的介紹了 word2vec 這一深度學習技術，及其在金融風控領域的應用。下面以文本數據為例，為大家簡單介紹一下輕鬆處理和使用這類數據的深度學習技術 word2vec 到底長啥樣，具體是怎麼來的，以及在我們金融風控場景中應用的案例。one hot vector 與 distributed representation問你這樣一個問題：如果有幾個詞語擺在你面前，你希望你的計算機能夠理解每個詞，你可能會採取哪種方式？
  • Word2vec如何得到詞向量
    前言word2vec是如何得到詞向量的？這個問題比較大。
  • 用word2vec解讀延禧攻略人物關係
    通過從網上收集相關的小說、劇本、人物介紹等，經過word2vec深度學習模型的訓練，構建人物關係圖譜，並通過可視化的方式進行展示。主要使用gensim進行word2vec的訓練。gensim是一個Python NLP的包，封裝了google的C語言版的word2vec。安裝gensim是很容易的，使用"pip install gensim"即可。
  • word2vec模型深度解析
    來自 | 知乎   作者 | TianMin連結丨https://zhuanlan.zhihu.com/p/85998950編輯 | 深度學習這件小事公眾號
  • 深入淺出Word2Vec原理解析
    該論文首次提出用神經網絡來解決語言模型的問題，雖然在當時並沒有得到太多的重視，卻為後來深度學習在解決語言模型問題甚至很多別的nlp問題時奠定了堅實的基礎，後人站在Yoshua Bengio的肩膀上，做出了更多的成就。包括Word2Vec的作者Tomas Mikolov在NNLM的基礎上提出了RNNLM和後來的Word2Vec。文中也較早地提出將word表示一個低秩的向量，而不是One-Hot。