➊
#GAN#
Triple Generative Adversarial Nets
從博弈角度來說，TripleGAN 的博弈涉及三方，判別器、生成器和分類器。其中，判別器和生成器有對抗；判別器和分類器（在訓練前期）有對抗；生成器和分類器協助作用。可以從鬥地主的角度來看，判別器是地主，生成器和分類器是農民。
它拆掉分類器，就是一個 CGAN。拆掉生成器，它就是一個半監督的 GAN。此外，我們還能從對偶學習的角度進行解讀，生成器對 p(x|y) 進行建模，而分類器則對 p(y|x) 建模。兩者在判別器的統籌下達成 p(x,y) 的一致性。這是很漂亮的對偶思想！可以說這篇文章對三方的設計非常巧妙。
論文連結：https://arxiv.org/abs/1703.02291
代碼連結：
https://github.com/zhenxuan00/triple-gan
推薦人：洪佳鵬，北京大學（PaperWeekly arXiv 打卡小組）
➋
#問題生成#
Learning to Ask: Neural Question Generation for Reading Comprehension
本文提出一種基本 attention 的問題生成模型，模型依據輸入的句子(段落)生成相應的問題。 本文提出了兩種生成機制：基於句子、句子和段落結合。
解碼模型：基於條件模型即：question = argmax P(y|x)，其中 question 分解成詞用 LSTM 逐字生成，輸出可能存在一些稀有詞，使用 UNK 代替，模型把其替換成相應生成步驟 attention 值最高的詞。
基於句子：使用 bidirection rnn 編碼句子，並結合 attention 生成句子表示，輸入解碼器。
基於句子和段落：使用 bidirection rnn 編碼段落，並結合 attention 生成段落表示，拼接句子表示，輸入解碼器。
實驗：使用 SQuAD 數據集，包含問題答案並且與問題有至少一個非停詞重合的句子和問題組成 sentence-question pair，用作訓練數據。
實驗結果表明：本模型無論是機評還是人評效果都好於傳統模型，另外，在人評時，生成的結果有好於人編寫的問題。
* Accepted to ACL 2017
論文連結：https://arxiv.org/abs/1705.00106
代碼連結：https://github.com/xinyadu/nqg
推薦人：羅玄，北京郵電大學（PaperWeekly arXiv 打卡小組）
➌
#文本生成#
Toward Controlled Generation of Text
本文來自邢波小組，發表於 ICML2017。針對基於 VAE 的文本生成問題，作者提出了一個將 VAE 與 attribute discriminator 結合的模型，以實現對生成文本的屬性（例如 sentiment，tense）的控制。
該模型有三個部分，encoder，generator (即 VAE 中的 decoder)，discriminator。與 vanilla VAE 不同，對於一個句子輸入 x，encoder 不僅要生成 latent variable z 的分布，還要生成 attribute c 的分布。這個 c 即是用來表示文本屬性的。於是當 generator 基於 z 和 c 來生成句子 x^hat，我們就能通過控制 c 來控制生成的句子的屬性。Discriminator 則是用來預測句子輸入 x^hat 的屬性 c^hat 的。
模型的訓練分為兩個部分：（1）普通的 VAE 的無指導訓練可以優化 encoder 和 generator，但是這樣並沒有對 c 進行建模。為了讓 c 能夠包含我們指定的屬性信息，就需要利用 discriminator；（2）標註少量的 x，c 數據對，使用文中提到的算法就能優化 generator 和 discriminator，並讓 c 來 encode 特定的文本信息。通過上述兩個部分的訓練，這個 semi-supervised 的方法就能優化整個模型。
實驗部分，本文使用 IMDB，Stanford Sentiment Treebank-2，TimeBank 來分別獲得無標註，有 sentiment 標註，有 tense 標註的數據。實驗方法為：人為指定了 c 後，用 generator 生成 x^hat，再用另外的分類器判斷 x^hat 的標籤與指定的 c 是否相符，即檢驗生成的文本是否符合我們希望的屬性。結果表明，該模型好於 S-VAE [2]。另外從本文中給出的生成樣例來看，模型的效果還是不錯的。 與本文類似的工作還有 conditioned VAE [3,4]，VHRED [5]。
論文連結：https://arxiv.org/abs/1703.00955
[2]: https://arxiv.org/abs/1406.5298
[3]: https://arxiv.org/abs/1703.10960
[4]: https://arxiv.org/abs/1705.00316
[5]: https://arxiv.org/abs/1605.06069
推薦人：趙天雨，京都大學（PaperWeekly arXiv 打卡小組）
➍
#詞向量#
Learned in Translation: Contextualized Word Vectors
詞向量是深度學習在 NLP 任務中應用的一個基礎部件，一個預訓練好的高質量詞向量作為其他下遊任務的初始化將會提升下遊任務的效果。本文用機器翻譯任務訓練好的 encoder 來輸出考慮了上下文信息的詞向量來代替之前常用的 word2vec 和 glove，本質上就是每個 word 在 encoder 中的 hidden vector，然後通過諸多下遊任務，比如文本分類，qa 等驗證了方法的有效性，並開放了 pytorch 實現的原始碼。
論文連結：https://arxiv.org/abs/1708.00107
代碼連結：https://github.com/salesforce/cove
官方博客解讀：
https://einstein.ai/research/learned-in-translation-contextualized-word-vectors
推薦人：大俊，PaperWeekly 首席客服
➎
#句向量#
A Simple But Tough To Beat Baseline For Sentence Embeddings
本文來自普林斯頓大學， 隨著詞向量在 nlp 任務中的成功， 更多的人開始探索較長文本如短語， 句子，段落的向量表示， 本文提出了一種簡單但是有效的句向量算法， 只需要將句子中的向量進行加權平均， 再減去句子的矩陣的主成分即可， 但是本文算法在句子相似度， 文本蘊含， 文本分類問題都取得了更好的效果， 甚至在部分任務上， 超過了監督方法訓練的句向量，文章還進一步證明， 經典的 CBOW 算法在採用 sub-sampling 的情況下，其實質與 本文所提的算法是等價的。 只是目的不同。
論文連結：
https://openreview.net/pdf?id=SyK00v5xx
代碼連結：https://github.com/PrincetonML/SIF
推薦人：於翮，北京航空航天大學（PaperWeekly arXiv 打卡小組）
➏
#綜述#
Recent Trends in Deep Learning Based Natural Language Processing
本文是一篇 deep learning in NLP 的綜述，詳細地介紹了 DL 在 NLP 中的模型以及應用，還對幾大經典和熱門任務做了摘要，推薦給大家。
論文連結：https://arxiv.org/abs/1708.02709
推薦人：大俊，PaperWeekly 首席客服
❼
#Word Embedding#
Skip-Gram – Zipf + Uniform = Vector Additivity
近年來，word-embedding 模型因為在多項任務上表現出色而廣受歡迎，包括單詞類比問題 (word analogy) 和字幕生成 (caption generation)。這個模型的「副產品」是得到的向量往往具有合成性 (compositionality)，即：添加兩個詞向量的結果近似於另外一個向量，這個向量往往表示一個語義複合詞。例如，man + royal = king。
這篇文章從數學推導的角度，證明了通過 Skip-Gram 模型訓練得到的 word-embeding 為何會具有合成性。 這篇文章全文使用了數學推導解釋了一個困擾學界的問題，具有很大的閱讀價值。 本文工作被 ACL2017 接收。
論文連結：http://aclweb.org/anthology/P17-1007
推薦人：
姚文林，Texas A&M University（PaperWeekly arXiv 打卡小組）
❽
#文本分類#
#編碼方式#
Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?
本文工作來自 Yann LeCun 組，做了一個大型的對比實驗，實驗的目的是對文本分類任務中不同語言的編碼方式（utf-8 還是其他）和不同 level 的 embedding（byte 或 char 還是 word）在不同模型（CNN/RNN 或者其他）中組合使用的效果進行測試，得到了一系列有參考價值的結論。
論文連結：https://arxiv.org/abs/1708.02657
推薦人：大俊，PaperWeekly 首席客服
✎✎✎
「本周值得讀」欄目的內容來自 PaperWeekly arXiv 志願者小組推薦，如果您也是 arXiv 愛好者，願意一起來豐富 PaperWeekly 的推薦內容，並且培養良好的閱讀習慣，就請加入我們吧。請添加下面的微信號，並註明「志願者+學校+碩士生/博士生+研究方向」，一起來為 AI 領域學術的發展貢獻自己的一份力量。
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群裡。