FastText是Facebook開發的一款快速文本分類器，提供簡單而高效的文本分類和表徵學習的方法，性能比肩深度學習而且速度更快。
1. fastText 原理fastText 方法包含三部分：模型架構、層次 Softmax 和 N-gram 特徵。下面我們一一介紹。
1.1 模型架構
fastText 模型架構如下圖所示。fastText 模型輸入一個詞的序列（一段文本或者一句話)，輸出這個詞序列屬於不同類別的概率。序列中的詞和詞組組成特徵向量，特徵向量通過線性變換映射到中間層，中間層再映射到標籤。fastText 在預測標籤時使用了非線性激活函數，但在中間層不使用非線性激活函數。
fastText 模型架構和 Word2Vec 中的 CBOW 模型很類似。不同之處在於，fastText 預測標籤，而 CBOW 模型預測中間詞。
1.2 層次 Softmax
在某些文本分類任務中類別很多，計算線性分類器的複雜度高。為了改善運行時間，fastText 模型使用了層次 Softmax 技巧。層次 Softmax 技巧建立在哈弗曼編碼的基礎上，對標籤進行編碼，能夠極大地縮小模型預測目標的數量。具體細節參見 文章 。
1.3 N-gram 特徵
fastText 可以用於文本分類和句子分類。不管是文本分類還是句子分類，我們常用的特徵是詞袋模型。但詞袋模型不能考慮詞之間的順序，因此 fastText 還加入了 N-gram 特徵。「我 愛 她」 這句話中的詞袋模型特徵是 「我」，「愛」, 「她」。這些特徵和句子 「她 愛 我」 的特徵是一樣的。如果加入 2-Ngram，第一句話的特徵還有 「我-愛」 和 「愛-她」，這兩句話 「我 愛 她」 和 「她 愛 我」 就能區別開來了。當然啦，為了提高效率，我們需要過濾掉低頻的 N-gram。
2. fastText VS TagspaceMikolov 在 fastTetxt 的論文中報告了兩個實驗，其中一個實驗和 Tagspace 模型進行對比。實驗是在 YFCC100M 數據集上進行的, YFCC100M 數據集包含將近 1 億張圖片以及摘要、標題和標籤。實驗使用摘要和標題去預測標籤。Tagspace 模型是建立在 Wsabie 模型的基礎上的。Wsabie 模型除了利用 CNN 抽取特徵之外，還提出了一個帶權近似配對排序 (Weighted Approximate-Rank Pairwise, WARP) 損失函數用於處理預測目標數量巨大的問題。
上面就是實驗結果，從實驗結果來看 fastText 能夠取得比 Tagspace 好的效果，並擁有無以倫比的訓練測試速度。但嚴格來說，這個實驗對 Tagspace 有些不公平。YFCC100M 數據集是關於多標記分類的，即需要模型能從多個類別裡預測出多個類。Tagspace 確實是做多標記分類的；但 fastText 只能做多類別分類，從多個類別裡預測出一個類。而評價指標 prec@1 只評價一個預測結果，剛好能夠評價多類別分類。
4. 總結Facebook Research 已經在 Github 上公布了 fastText 的 項目代碼 。不過這個項目其實是有兩部分組成的，一部分是這篇文章介紹的 fastText 文本分類，另一部分是詞嵌入學習。按論文來說只有文本分類部分才是 fastText，但也有人把這兩部分合在一起稱為 fastText，比如這篇文章 Comparison of FastText and Word2Vec 。fastText 的詞嵌入學習比 word2vec 考慮了詞組成的相似性。比如 fastText 的詞嵌入學習能夠考慮 english-born 和 british-born 之間有相同的後綴，但 word2vec 卻不能。fastText 的詞嵌入學習的具體原理可以參照 論文 。
部分內容出自：科技控