CMU2018春季課程:神經網絡自然語言處理課程(附PPT和代碼)

【導讀】我們之前介紹了一系列卡耐基梅隆大學的課程，今天，我們又帶來了CMU 2018春季最新的課程「Neural Networks for NLP」介紹，該課程是CMU語言技術學院和計算機學院聯合開課，主要內容是教學生如何用神經網絡做自然語言處理。本文中，我們梳理了該課程的主要內容：神經網絡、詞向量、語言模型、CNNs和RNNs在NLP中的應用等等，課程涉及幾乎全部NLP問題，內容非常全面，強烈推薦給從事NLP研究的讀者。

專知內容組附上上一次CMU2018和CMU2017年課程：深度學習的內容：

Neural Networks for NLP

神經網絡自然語言處理課程

▌課程描述

神經網絡為語言建模提供了強大的工具，並且已經被用來改善一些語言建模任務，解決過去不容易處理的新問題。 本課程（卡內基梅隆大學語言技術學院 Language Technology Institute）將首先對神經網絡進行簡要概述，然後花費大部分課時來演示如何將神經網絡應用於自然語言問題（NLP）。 每一節課將介紹自然語言中的一個特定的問題或現象，描述其難以建模的原因，並展示若干用於解決這個問題的模型。 在學習的過程中，課程將涵蓋不同的用於創建神經網絡模型的技術，包括處理可變大小和結構化句子、大數據的高效處理、半監督和無監督學習、結構化預測和多語言建模。

 

▌課程安排

課程簡介：

http://phontron.com/class/nn4nlp2018/schedule/class-introduction.html

 

一個簡單的練習：預測句子中的下一個單詞：

http://phontron.com/class/nn4nlp2018/schedule/predicting-the-next-word.html

 

分布語義和詞向量：

使用相鄰詞來描述當前詞

計數和預測

Skip-grams和CBOW

詞向量的評價和可視化

詞向量的前沿方法

http://phontron.com/class/nn4nlp2018/schedule/word-vectors.html

 

卷積神經網絡的文本分析：

http://phontron.com/class/nn4nlp2018/schedule/cnn.html

 

用循環神經網絡建模句子或語言：

循環網絡

梯度消失和LSTMs

句子建模中循環的優點和缺點

RNNs的預訓練

http://phontron.com/class/nn4nlp2018/schedule/rnn.html

 

提高神經網絡效率的技巧：

Softmax的近似：負採樣，分層Softmax

並行訓練

在GPUs上訓練的技巧

http://phontron.com/class/nn4nlp2018/schedule/efficiency-tricks.html

 

使用和評價句子的表示：

http://phontron.com/class/nn4nlp2018/schedule/using-sentence-representations.html

 

條件生成（Conditioned Generation）：

編碼器-解碼器模型

條件生成和搜索

Ensembling

評估

數據類型的條件

http://phontron.com/class/nn4nlp2018/schedule/conditioned-generation.html

 

注意力：

http://phontron.com/class/nn4nlp2018/schedule/attention.html

 

調試神經網絡（用於NLP）：

http://phontron.com/class/nn4nlp2018/schedule/debugging.html

 

基於搜索的結構預測：

http://phontron.com/class/nn4nlp2018/schedule/structured-prediction.html

 

強化學習：

什麼是強化學習？

梯度策略和強化學習

穩定的強化學習

基於價值的強化學習

http://phontron.com/class/nn4nlp2018/schedule/reinforcement-learning.html

 

具有局部獨立假設的結構化預測：

http://phontron.com/class/nn4nlp2018/schedule/local-independence.html

 

基於變換的解析模型：

http://phontron.com/class/nn4nlp2018/schedule/transition-parsing.html

 

使用動態規劃解析：

什麼是基於圖的解析？

最小生成樹的解析

結構化訓練以及其他改進

短語結構解析的動態規劃方法

http://phontron.com/class/nn4nlp2018/schedule/dp-parsing.html

 

神經語義解析：

組合範疇文法和Lambda演算

用於語義的圖模型

淺層語義：語義角色標記

http://phontron.com/class/nn4nlp2018/schedule/semantic-parsing.html

 

潛在的隨機變量：

生成式 vs 判別式，確定變量 vs 隨機變量

變分自編碼器

處理離散潛在變量

NLP中變分自編碼器的例子。

http://phontron.com/class/nn4nlp2018/schedule/latent-random-variables.html

 

用於文本分析的對抗方法：

生成對抗網絡

哪裡可以使用對抗方法：特徵 vs 輸出

離散輸出上的GANs

離散輸入上的對抗方法

http://phontron.com/class/nn4nlp2018/schedule/adversarial.html

 

無監督和半監督結構學習：

特徵學習 vs 結構學習

半監督學習方法

無監督學習方法

無監督模型的設計決策

無監督學習的例子

http://phontron.com/class/nn4nlp2018/schedule/unsupervised-semisupervised.html

 

共指關係與演講解析：

http://phontron.com/class/nn4nlp2018/schedule/discourse-models.html

 

對話模型：

http://phontron.com/class/nn4nlp2018/schedule/dialog.html

 

知識圖譜（Knowledge Graphs）：

什麼是知識圖/本體論？

從嵌入中抽取關係

從關係中學習嵌入

http://phontron.com/class/nn4nlp2018/schedule/knowledge.html

 

基於神經網絡的機器閱讀：

http://phontron.com/class/nn4nlp2018/schedule/machine-reading.html

 

高級搜索算法：

定向搜索

A*Search

Search w/ Future Costs

http://phontron.com/class/nn4nlp2018/schedule/search.html

 

多任務多語種學習模型：

什麼是多任務學習？

多任務學習方法

NLP的多任務目標

http://phontron.com/class/nn4nlp2018/schedule/multilingual.html

課程代碼：

https://github.com/neubig/nn4nlp-code

請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），

▌第一次課PPT詳細內容

原文連結：

http://phontron.com/class/nn4nlp2018/index.html

課程代碼：

https://github.com/neubig/nn4nlp-code

請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），

人工智慧領域主題知識資料查看獲取：【專知薈萃】人工智慧領域26個主題知識資料全集（入門/進階/論文/綜述/視頻/專家等）

請PC登錄www.zhuanzhi.ai或者點擊閱讀原文，註冊登錄專知，獲取更多AI知識資料！

請掃一掃如下二維碼關注我們的公眾號，獲取人工智慧的專業知識！

請加專知小助手微信（Rancho_Fang），加入專知主題人工智慧群交流！

點擊「閱讀原文」，使用專知