作者 | 陳大鑫
近日，RecSys 2020官網公布了本屆最佳長短文論文獎。
來自騰訊PCG團隊的四位作者Hongyan Tang、Junning Liu、Ming Zhao、Xudong Gong憑藉研究出一種新的多任務學習個性化推薦模型獲得了最佳長論文獎，獲獎論文：
《Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations》
ACM RecSys（推薦系統會議）是用於介紹推薦系統廣泛領域中的最新研究成果、系統和技術的國際會議。推薦是信息過濾的一種特殊形式，它利用過去的行為和用戶相似性來生成信息項（items ）列表，這些信息項是針對最終用戶的喜好量身定製的。
RecSys與從事推薦系統的主要國際研究小組以及許多世界領先的電子商務公司匯聚在一起，因此，它已成為介紹和討論推薦系統研究的最重要的年度會議。
官網地址：https://recsys.acm.org/best-papers/
RecSys 2020這次也公布了五位最佳審稿人(Best Reviewer)：
Bart Goethals、Peter Knees、Scott Sanner、Steffen Rendle、Toine Bogers。
1
最佳長論文
獲獎論文：《Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations》
論文作者：四位作者全部來自騰訊PCG團隊。
論文連結：https://dl.acm.org/doi/10.1145/3383313.3412236
論文介紹：
多任務學習（Multi-task learning，MTL）已成功應用於許多推薦應用中。然而，由於現實世界推薦系統中任務相關性的複雜性和競爭性，MTL模型往往會出現負遷移的性能退化。
此外，通過對SOTA MTL模型的大量實驗，我們觀察到了一個有趣的現象，即一個任務的性能通常會通過影響其他任務的性能而得到改善。為了解決這些問題，我們提出了一個具有新穎共享結構設計的漸進式分層抽取（PLE）模型：
PLE將共享組件和任務特定組顯示分離，採用漸進式路由機制逐步提取和分離深層語義知識，提高了通用環境下跨任務聯合表示學習和信息路由的效率。
在一個具有10億樣本的騰訊視頻推薦數據集上，我們將PLE應用於複雜相關和正常相關的任務，從兩個任務案例到多個任務案例的結果都表明，在不同的任務相關性和任務組規模下，PLE的性能顯著優於最新的MTL模型。
此外，在騰訊大型內容推薦平臺上對PLE的在線評價顯示，與目前的SOTA MTL模型相比，瀏覽量增加了2.23%，觀看時間增加了1.84%，這是模型的一個顯著提升，證明了PLE的高效性。最後，在公開基準數據集上進行的大量離線實驗表明，除了建議消除蹺蹺板現象外（seesaw phenomenon），PLE還可以應用於各種場景。
目前PLE已成功部署到騰訊在線視頻推薦系統中。
2
最佳短論文
論文題目：《ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning for Session-based Recommendation 》
論文連結：https://dl.acm.org/doi/10.1145/3383313.3412218
論文作者：均來自蘇黎世聯邦理工學院
論文介紹：
近年來，隨著人們對隱私問題的關注，基於會話的推薦也越來越受到人們的關注。儘管最近基於神經會話的推薦系統取得了成功，但它們通常是使用靜態數據集以離線方式開發的。然而，推薦建議需要不斷的調整，以照顧到新的和過時的項目和用戶，並需要在實際應用中「不斷學習」。在這種情況下，推薦系統會使用每個更新周期中到達的新數據進行持續和周期性更新，更新後的模型需要在下一次模型更新之前為用戶活動提供推薦。
使用神經模型進行持續學習的一個主要挑戰是災難性遺忘，在這種情況下，一個持續訓練的模型會忘記它以前學習過的用戶偏好模式。為了應對這一挑戰，我們提出了一種自適應蒸餾樣本重放（ADER）方法，通過周期性地將先前的訓練樣本重放到當前同時具有自適應蒸餾損失的模型中。實驗是基於SOTA模型SASRec進行的，使用兩個已被廣泛使用的數據集，用幾種著名的持續學習技術對ADER進行基準測試。經驗證明，在每次更新周期中，ADER的性能始終優於其他baseline模型，甚至優於使用所有歷史數據的方法。這一結果表明，ADER是一個有希望的解決方案，以減輕災難性遺忘問題、建立更現實和可擴展的基於會話的推薦系統。
3
最佳長論文Runner-up（亞軍）
獲獎論文：《Exploiting Performance Estimates for Augmenting Recommendation Ensembles》
論文連結：https://dl.acm.org/doi/10.1145/3383313.3412264
論文介紹：
通過疊加將多個推薦系統集成在一起，可以有效地提高協同推薦的效率。最近的工作擴展了stacking ，使用額外的用戶性能預測器，例如用戶所做的評分總數來幫助確定每個基礎推薦應該為集成系統貢獻多少。
儘管如此，然而，儘管手工判別預測器的成本很高，且通常需要深入了解集成中每個推薦的優缺點，但只觀察到一些微小的改進。為了克服這一局限性，我們建議通過利用用戶自己的歷史評分來直接評估這些性能，而不是設計複雜的特徵來預測給定用戶的不同推薦的性能。
對來自多個領域的真實數據集進行的實驗表明，使用性能估計作為附加特徵可以顯著提高SOTA集成器的精度，與不使用它們相比，實現nDCG@20平均提高了23%。
4
最佳長論文提名
在公布本次最佳長論文之前，RecSys 2020在開幕式上先提前公布了四篇最佳長論文提名，如上圖所示。
如上所介紹，第二篇論文獲得了最佳長論文獎，第四篇論文則是獲得了最佳長論文獎亞軍。
這裡再介紹一下第一篇提名的論文:
《SSE-PT:Sequential recommendation via ressonalized transformer》
論文連結：https://dl.acm.org/doi/pdf/10.1145/3383313.3412258
代碼和數據連結：https://github.com/fulliwei9278/SSE-PT
論文作者：吳立偉，博士就讀於UC Davis（加利福尼亞大學戴維斯分校）......
論文介紹:
時間信息對於推薦問題至關重要，因為用戶偏好在現實世界中是動態的。
深度學習的最新進展，特別是在自然語言處理中廣泛使用的RNN和CNN之外，發現了各種注意機制和更新的體系結構，使得每個用戶都能更好地使用項目的時間順序。特別是SASRec模型，受自然語言處理中流行的Transformer模型的啟發，取得了SOTA結果。然而，SASRec和最初的Transformer模型一樣，本質上是一個非個性化的模型，不包括個性化的用戶嵌入。
為了克服這一局限性，我們提出了一種個性化Transformer(SSE-PT）模型，在5個真實世界的數據集上的NDCG@10比SASRec高出近5%。此外，在研究了一些隨機用戶的參與歷史之後，我們發現我們的模型不僅更易於解釋，而且能夠關注每個用戶最近的參與模式。
此外，對我們的SSE-PT模型稍加修改—>SSE-PT++，它可以處理非常長的序列，並且在訓練速度相當的情況下優於SASRec，在性能和速度要求之間取得了平衡。我們新穎地應用隨機共享嵌入（SSE）正則化是個性化成功的關鍵。
NeurIPS 2020錄用結果已出，歡迎各位作者投稿