推薦系統rerank模型梳理&論文推薦

作者：憶昔，阿里首猜推薦算法工程師，歡迎勾搭交流，email: [e-mail]

一個標準的工業推薦系統通常由三個階段依次組成：召回、排序和重排。一直以來，召回和排序得到了持續的關注和長足的發展。而重排，由於直接從輸入商品列表中生成了最終推薦列表及其展示順序，也在逐漸受到關注並且展示出極大的潛力。這裡總結了這麼幾類已發表並廣泛接受的重排或者 LTR 工作：

1.【Point-wise 模型】和經典的 CTR 模型基本結構類似，如 DNN [8]， WDL [9] 和 DeepFM [10]。和排序相比優勢主要在於實時更新的模型、特徵和調控權重。隨著工程能力的升級，ODL [11] 和實時特徵逐漸合併到排序階段並且取得了較大提升。

2.【Pair-wise 模型】通過 pair-wise 損失函數來比較商品對之間的相對關係。具體來說，RankSVM [12], GBRank [13] 和 RankNet [2] 分別使用了 SVM、GBT 和 DNN。但是，pair-wise 模型忽略了列表的全局信息，而且極大地增加了模型訓練和預估的複雜度。

3.【List-wise 模型】建模輸入商品列表的整體信息和對比信息，並通過 list-wise 損失函數來比較序列商品之間的關係。LambdaMart [14]、MIDNN [3]、DLCM[6]、PRM [5] 和 SetRank [4] 分別通過 GBT、DNN、RNN、Self-attention 和 Induced self-attention 來提取這些信息。隨著工程能力的升級，輸入序列的信息和對比關係也上提到排序階段中提取。

4.【Generative 模型】主要分為兩種，一種如考慮了前序信息的，如 MIRNN [3] 和 Seq2Slate [15] 都通過 RNN 來提取前序信息，再通過 DNN 或者 Pointer-network 來從輸入商品列表中一步步地生成最終推薦列表。最近的組合優化工作 Exact-K [16] 注重於直接對序列整體收益進行建模，設計了兩段式結構，一個用來預測整體收益以指導另一個生成最終推薦列表。

5.【Diversity 模型】最近有很多工作考慮最終推薦列表裡的相關性和多樣性達到平衡，如 [17~20]。

我們最近做了不少重排的工作，一定程度上推動了重排的架構革新，等公開了再發出來~

公眾號後臺回復【rerank】可打包下載rerank經典論文集～

引用

[1] Cao, Zhe, et al. "Learning to rank: from pairwise approach to listwise approach." Proceedings of the 24th international conference on Machine learning. 2007.

[2] Burges, Chris, et al. "Learning to rank using gradient descent." Proceedings of the 22nd international conference on Machine learning. 2005.

[3] Ai, Qingyao, et al. "Learning a deep listwise context model for ranking refinement." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

[4] Pang, Liang, et al. "Setrank: Learning a permutation-invariant ranking model for information retrieval." Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020.

[5] Pei, Changhua, et al. "Personalized re-ranking for recommendation." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

[6] Zhuang, Tao, Wenwu Ou, and Zhirong Wang. "Globally optimized mutual influence aware ranking in e-commerce search." arXiv preprint arXiv:1805.08524 (2018).

[7] Gong, Yu, et al. "EdgeRec: Recommender System on Edge in Mobile Taobao." Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020.

[8] Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for youtube recommendations." Proceedings of the 10th ACM conference on recommender systems. 2016.

[9] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.

[10] Guo, Huifeng, et al. "DeepFM: a factorization-machine based neural network for CTR prediction." arXiv preprint arXiv:1703.04247 (2017).

[11] Sahoo, Doyen, et al. "Online deep learning: Learning deep neural networks on the fly." arXiv preprint arXiv:1711.03705 (2017).

[12] Lee, Ching-Pei, and Chih-Jen Lin. "Large-scale linear ranksvm." Neural computation 26.4 (2014): 781-817.

[13] Zheng, Zhaohui, et al. "A regression framework for learning ranking functions using relative relevance judgments." Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval. 2007.

[14] Burges, Christopher JC. "From ranknet to lambdarank to lambdamart: An overview." Learning 11.23-581 (2010): 81.

[15] Bello, Irwan, et al. "Seq2slate: Re-ranking and slate optimization with rnns." arXiv preprint arXiv:1810.02019 (2018).

[16] Gong, Yu, et al. "Exact-k recommendation via maximal clique optimization." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019.

[17] Chen, Laming, Guoxin Zhang, and Eric Zhou. "Fast greedy map inference for determinantal point process to improve recommendation diversity." Advances in Neural Information Processing Systems. 2018.

[18] Gelada, Carles, et al. "Deepmdp: Learning continuous latent space models for representation learning." arXiv preprint arXiv:1906.02736 (2019).

[19] Gogna, Anupriya, and Angshul Majumdar. "Balancing accuracy and diversity in recommendations using matrix completion framework." Knowledge-Based Systems 125 (2017): 83-95.

[20] Wilhelm, Mark, et al. "Practical diversified recommendations on youtube with determinantal point processes." Proceedings of the 27th ACM International Conference on Information and Knowledge Management. 2018.

由於微信平臺算法改版，公號內容將不再以時間排序展示，如果大家想第一時間看到我們的推送，強烈建議星標我們和給我們多點點【在看】。星標具體步驟為：

（1）點擊頁面最上方"AINLP"，進入公眾號主頁。

（2）點擊右上角的小點點，在彈出頁面點擊「設為星標」，就可以啦。

感謝支持，比心。

進群請添加AINLP小助手微信 AINLPer（id: ainlper)，備註推薦系統

推薦閱讀

這個NLP工具，玩得根本停不下來

徵稿啟示| 200元稿費+5000DBC（價值20個小時GPU算力）

完結撒花！李宏毅老師深度學習與人類語言處理課程視頻及課件（附下載）

從數據到模型，你可能需要1篇詳實的pytorch踩坑指南

如何讓Bert在finetune小數據集時更「穩」一點

模型壓縮實踐系列之——bert-of-theseus，一個非常親民的bert壓縮方法

文本自動摘要任務的「不完全」心得總結番外篇——submodular函數優化

Node2Vec 論文+代碼筆記

模型壓縮實踐收尾篇——模型蒸餾以及其他一些技巧實踐小結

中文命名實體識別工具（NER）哪家強？

學自然語言處理，其實更應該學好英語

史丹福大學NLP組Python深度學習自然語言處理工具Stanza試用

關於AINLP

AINLP 是一個有趣有AI的自然語言處理社區，專注於 AI、NLP、機器學習、深度學習、推薦算法等相關技術的分享，主題包括文本摘要、智能問答、聊天機器人、機器翻譯、自動生成、知識圖譜、預訓練模型、推薦系統、計算廣告、招聘信息、求職經驗分享等，歡迎關注！加技術交流群請添加AINLPer(id：ainlper)，備註工作/研究方向+加群目的。

閱讀至此了，分享、點讚、在看三選一吧🙏