這篇文章由Databricks的Feynman Liang和Joseph Bradley，以及Intel的Yuhao Yang撰寫。
在使用LDA之前，請先 下載Spark 1.5或是 申請試用版的Databricks。
人們正在推特上討論什麼呢？為了關注分布式計算，我該閱讀哪些資訊文章呢？這些問題都能夠被話題模型所解答，它是分析文檔集所涵蓋話題類別的一種技術。本文將要討論Spark 1.4和1.5使用強大的隱含狄利克雷分布 （Latent Dirichlet Allocation，LDA）算法對話題模型的性能提升。
Spark 1.4和1.5引入了一種增量式計算LDA的在線算法，在已訓練的LDA模型上支持更多的查詢方式，以及支持似然率（likelihood）和複雜度（perplexity）的性能評估。我們給出了一個例子，用超過450萬條維基百科詞條的文檔集訓練一個話題模型。
話題模型和LDA話題模型分析一個大規模的文檔集，並且自動推測其所討論的話題。舉個例子，我們用Spark的LDA算法訓練450萬條維基百科詞條，可以得到下表中的這些話題。
表一：用維基百科文檔集訓練得到的LDA話題示例
此外，LDA告訴我們每篇文檔分別屬於哪些話題；文檔X有30%的概率屬於話題1（「政治」）以及70%的概率屬於話題5（「航線」）。隱含狄利克雷分布（LDA）是實踐中最成功的話題模型之一。閱讀我們 之前的文章了解更多關於LDA的介紹。
一種新的在線變分學習算法在線變分預測是一種訓練LDA模型的技術，它以小批次增量式地處理數據。由於每次處理一小批數據，我們可以輕易地將其擴展應用到大數據集上。MLlib按照 Hoffman論文裡最初提出的算法實現了一種在線變分學習算法。
性能對比上表所示的話題是用新開發的在線變分學習算法訓練得到。如果我們對比時間開銷，可以發現新算法相比原來的EM算法效率有顯著提升：
圖1：在線學習算法比之前的EM算法速度更快
實驗細節我們首先對數據預處理，濾去常見的英語停用詞，並且將詞表限制在10000個常用單詞之內。然後用在線LDA優化器迭代100次訓練得到100個LDA話題模型。我們的實驗在 Databricks上進行，訓練用到了16個節點的AWS r3.2x大集群，數據存放在S3。具體代碼詳見 github。
改進的預測、評估和查詢 預測新文檔的話題除了描述訓練文檔集的話題之外，Spark 1.5支持讓用戶預測新測試文檔所屬的話題，使得已訓練的LDA模型更有用。
用似然率和複雜度評估模型在訓練完一個LDA模型之後，我們通常關心模型在數據集上的表現如何。我們增加了兩種方式來評估效果： 似然率和 複雜度。
支持更多的查詢方式新的版本添加了一些新的查詢方式，用戶可以用在已訓練的LDA模型上。例如，現在我們不僅能獲得每篇文檔的top k個話題（「這篇文檔討論了什麼話題？」），也能得到每個話題下排名靠前的文檔（「若要學習X話題，我該閱讀哪些文檔？」）。
運行LDA的小技巧 確保迭代次數足夠多。前期的迭代返回一些無用的（極其相似的）話題，但是繼續迭代多次後結果明顯改善。我們注意到這對EM算法尤其有效。 對於數據中特殊停用詞的處理方法，通常的做法是運行一遍LDA，觀察各個話題，挑出各個話題中的停用詞，把他們濾除，再運行一遍LDA。 確定話題的個數是一門藝術。有些算法可以自動選擇話題個數，但是領域知識對得到好的結果至關重要。 特徵變換類的Pipeline API對於LDA的文字預處理工作極其有用；重點查看Tokenizer，StopwordsRemover和CountVectorizer接口。 下一步是什麼？Spark貢獻者正在積極地優化我們的LDA實現方式。正在進行的工作有： 吉布斯採樣（一種更慢但是有時更準確的算法）， 流式LDA算法和 分層狄利克雷處理（自動選擇話題個數）。
感謝LDA的開發得益於眾多Spark貢獻者的通力合作。
Feynman Liang、Yuhao Yang、Joseph KBradley等人完成了最近這次優化， 其它眾多朋友對早期版本亦有貢獻。
原文連結： Large Scale Topic Modeling: Improvements to LDA on Spark（譯者/趙屹華 審校/朱正貴 責編/仲浩）
譯者簡介：趙屹華，搜狗算法工程師，關注大數據和機器學習。
本文為CSDN編譯整理，未經允許不得轉載，如需轉載請聯繫market#csdn.net(#換成@)