雷鋒網 AI 科技評論按：日前，谷歌 AI 發布了最新成果 TF-Ranking，它是一個專門針對排序學習（learning-to-rank）應用的可擴展 TensorFlow 庫。TF-Ranking 快速且易用，並能創建高質量的排序模型，對構建 web 搜索或新聞推薦等基於真實世界數據的排序系統感興趣的人，都可以將 TF-Ranking 作為強穩的、可擴展的解決方案。
排序是一種以最大化整個列表效用為目的，對項目列表進行排序的過程，適用於搜尋引擎、推薦系統、機器翻譯、對話系統，甚至還能用於計算生物學等眾多領域。在諸如這些（以及其他諸多）應用中，研究人員經常使用一系列稱作排序學習的有監督的機器學習技術。在許多情況下，這些排序學習技術會被應用於大規模數據集，在這一場景中，TensorFlow 的可伸縮性會成為一個優勢。然而，目前 TensorFlow 還不能直接支持學習排序。並且，現在也還沒有其他專門針對排序學習技術規模化應用的開源庫。
現在，谷歌 AI 宣布開源 TF-Ranking（https://github.com/tensorflow/ranking），它是一個可擴展的排序學習 TensorFlow 庫。正如谷歌在最近發表的論文（https://arxiv.org/abs/1812.00073）中所描述的，TF-Ranking 提供了一個統一的框架，該框架包括一套最先進的排序學習算法，並且支持 Pairwise 和 Listwise 損失函數、多項目評分、排序度量優化和無偏見排序等等。
TF-Ranking 快速且易用，並能創建高質量的排序模型。該統一框架讓機器學習研究人員、實踐者和愛好者能夠在單個庫中評估和選擇一系列不同的排序模型。此外，谷歌 AI 團隊堅信一個有用的開源庫，它的關鍵不僅在於提供合理的默認值（sensible default），而且還在於能夠授權用戶開發自定義模型。為此，他們提供了靈活的 API，讓用戶可以在 API 中定義和插入自定義的損失函數、評分函數和指標。
現有算法和指標支持
排序學習算法的目標是最小化在項目列表上定義的損失函數，以優化任意給定請求的排序。TF-Ranking 支持在此前工作（https://en.wikipedia.org/wiki/Learning_to_rank#Approaches）中所描述的各類標準的 pointwise，pairwise 和 listwise 損失函數。這確保了使用 TF-Ranking 庫的研究人員能夠重現和擴展先前的 baseline，並且他們的請求可以得到最明智的選擇。此外，TF-Ranking 還可以通過嵌入來處理稀疏特徵（如原始文本）以及擴展到數億個訓練實例。因此，任何對構建 web 搜索或新聞推薦等基於真實世界數據的排序系統感興趣的人，都可以將 TF-Ranking 作為強穩的、可擴展的解決方案。
經驗評估是所有機器學習或信息檢索研究的重要組成部分。為了確保與先前工作的兼容性，TF-Ranking 支持許多常用的排序評價指標，包括 Mean Reciprocal Rank（MRR，https://en.wikipedia.org/wiki/Discounted_cumulative_gain）和 Normalized Discounted Cumulative Gain（NDCG，https://en.wikipedia.org/wiki/Discounted_cumulative_gain），同時也讓研究人員在訓練期間更方便在 TensorBoard（開源 TensorFlow 可視化儀錶盤）上看到這些指標。
TensorBoard 上顯示的基於訓練步驟（X 軸）的 NDCG 指標 (Y 軸)示例，它表示了訓練期間指標的總體進度。不同的方法可直接在儀錶板上進行比較，並基於指標選出最佳模型。
多條目評分
TF-Ranking 支持一種新的評分機制，在新的評分機制中可以對多個條目進行聯合評分，這是對只能對單個條目進行獨立評分的傳統評分機制的擴展。多條目評分面臨的一個挑戰是難以推斷哪些條目必須進行分組並在子組中評分。然後，每個條目累積下來的分數將被用於排序。TF-Ranking 提供了一個 List-In-List-Out（LILO）API，來將所有這些邏輯放入導出的 TF 模型中。
TF-Ranking 庫支持擴展自傳統單條目評分的多條目評分架構。
正如谷歌 AI 在最近的工作（https://arxiv.org/abs/1811.04415）中所展示的，多條目評分在公共 LETOR 基準測試中的性能，與 RankNet，MART 和 LambdaMART 等最先進的排序學習模型相比具有競爭力。
排序評價指標優化
排序學習所面臨的一個重要研究挑戰是排序評價指標的優化（例如前面所提到的 NDCG 和 MRR）。雖然與 Area Under the Curve（AUC）之類的標準分類評價指標相比，這些評價指標能更好地衡量排序系統的性能，但可惜它們要麼不連續，要麼平滑。因此，這些評價指標的標準隨機梯度下降優化存在困難。
在最近的一項工作（https://ai.google/research/pubs/pub47258）中，谷歌 AI 提出了一種新的方法——LambdaLoss，它為排序評價指標優化提供了一個統一的概率框架。在這個框架中，可以通過期望最大化的過程來設計和優化由評價指標驅動的損失函數。TF-Ranking 庫集成了評價指標優化的最新成果，並提供了 LambdaLoss 的實現。谷歌 AI 表示，TF-Ranking 未來有望鼓舞和推動排序評價指標優化這一重要領域的更深入的研究進展。
無偏見排序學習
此前的研究（https://ai.google/research/pubs/pub45286）表明，給定一個項目的排序列表，用戶更有可能重點查看前面幾個結果，而忽略結果之間的相關性。這一發現激發了大家對於無偏見排序學習的研究興趣，並且帶來了無偏見評估和基於訓練實例重複加權的幾種無偏見學習算法的發展。
開啟 TF-Ranking 的使用
TF-Ranking 實現了 TensorFlow Estimator 接口，它通過封裝訓練、評估、預測和導出服務，可以大大簡化機器學習編程。
TF-Ranking 完美地集成了豐富的 TensorFlow 生態系統。如上所述，你可以使用 Tensorboard 將 NDCG 和 MRR 等排序評價指標可視化，以及使用這些評價指標選擇最佳模型檢查點。一旦你的模型準備就緒，便可使用 TensorFlow 服務（https://www.tensorflow.org/serving/），輕而易舉地將其部署到生產。
如果大家有興趣嘗試 TF-Ranking，可以前往谷歌 AI 的 GitHub 存儲庫（https://github.com/tensorflow/ranking），並參考教程示例（https://github.com/tensorflow/ranking/tree/master/tensorflow_ranking/examples）。
Via：http://ai.googleblog.com/2018/12/tf-ranking-scalable-tensorflow-library.html 雷鋒網 AI 科技評論編譯。 雷鋒網