IJCAI 2020|推薦中的深度反饋網絡

2020-12-05 AI 科技評論

本文介紹的是IJCAI-2020論文《Deep Feedback Network for Recommendation》，作者論文作者是來自騰訊微信的謝若冰、凌程、王亞龍、王瑞、夏鋒和林樂宇研究員。

作者 | 謝若冰

編輯 | 叢 末

1

導語

在推薦系統中，用戶的顯式反饋、隱式反饋、正反饋和負反饋都能夠反映用戶對於被推薦物品的偏好。這些反饋信息在推薦系統中十分有用。然而，現在的大規模深度推薦模型往往以點擊為目標，只看重以用戶點擊行為為代表的隱式正反饋，而忽略了其它有效的用戶反饋信息。

作者在本文中關注用戶多種顯式/隱式和正/負反饋信息，學習用戶的無偏興趣偏好。具體地，作者提出了一個Deep Feedback Network (DFN)模型，綜合使用了用戶的隱式正反饋（點擊行為）、隱式負反饋（曝光但未點擊的行為）以及顯式負反饋（點擊不感興趣按鈕行為）等信息。DFN模型使用了internal feedback interaction component抓住用戶行為序列中的細粒度的行為級別的交互，然後通過external feedback interaction component，使用精確但稀少的隱式正反饋和顯式負反饋作為監督，從噪音較多的隱式負反饋中進一步抽取用戶的正負反饋信息。

在實驗中，作者基於微信看一看的數據，進行了豐富的離線和在線實驗，模型與baseline相比均取得顯著提升。

2

模型背景與簡介

推薦系統在日常生活中被廣泛使用，為用戶獲取信息與娛樂提供便利。推薦系統算法往往基於用戶與系統的交互，這些交互行為可以大致分為以下兩類：顯式反饋與隱式反饋。

顯式反饋從用戶對於物品的直接態度中獲取，例如評論中的一星到五星，或者微信看一看系統中的「不感興趣」按鈕。這類反饋能夠直接表達用戶的正向以及負向偏好，但是這類反饋的數量往往不多。

隱式反饋從用戶的行為中間接獲得，例如用戶的點擊/不點擊行為。這些信息在推薦系統中往往是海量的，但是這些信息有著較多噪聲（用戶點擊的並不一定是他真正喜歡的）。另外，隱式反饋通常是以正反饋的形式出現，推薦中的隱式負反饋存在巨大噪聲（未展現信息或者未點擊信息並不一定意味著用戶不喜歡這些內容）。

在近期的深度推薦系統中，CTR導向的目標受到極大關注。因此，模型不可避免地只關注和目標緊密相關的用戶點擊行為，忽略了其它用戶行為中蘊含的豐富信息。僅考慮CTR導向目標的推薦模型往往會遇到以下兩個問題：

（1）CTR導向目標只關注用戶喜歡什麼，沒有關注用戶不喜歡什麼。這樣，模型的推薦結果容易同質化和趨熱化，損害用戶體驗。因此，負反饋信息是必要的。

（2）用戶除了被動地接受系統推薦的物品，有時也需要能夠主動和即時的反饋機制。用戶希望能夠高效和準確地告知系統自己喜歡或者不喜歡什麼。

另外，用戶的顯式和隱式反饋之間也會存在割裂（用戶點擊的並不一定是他真正喜歡的）。因此，顯式反饋也是必要的。顯式信息和隱式信息能夠作為彼此的補充，相輔相成。已有工作通過使用用戶的未點擊/未曝光行為作為用戶的隱式負反饋，這樣會引入極大的噪聲。另外一些工作嘗試使用用戶的顯式負反饋信息。這些信息固然精確，但是也往往比較稀疏。

圖1：微信看一看系統中的三種反饋，從左到右分別為隱式正反饋（點擊行為）、隱式負反饋（曝光但未點擊的行為）以及顯式負反饋（點擊不感興趣按鈕行為）

為了解決這些問題，綜合使用用戶多種顯式/隱式和正/負反饋信息學習更好的無偏用戶表示，作者提出了一個Deep Feedback Network (DFN)模型。圖1中給出了在微信看一看場景中的三種用戶反饋。

DFN通過internal feedback interaction component抓住用戶行為序列中的細粒度行為級別的交互，然後通過external feedback interaction component，使用精確但稀少的隱式正反饋和顯式負反饋作為監督，從噪音較多的隱式負反饋中進一步抽取用戶的正負反饋信息。這些反饋特徵會和其他用戶/物品特徵混合，並行使用FM、Deep和Wide層進行特徵交互，最後進行CTR預估。作者基於微信看一看推薦系統，設計了離線和線上實驗，在多個指標上具有顯著提升。這篇工作的主要貢獻如下：

1、作者第一次融合隱式正反饋（點擊行為）、隱式負反饋（曝光但未點擊的行為）、顯式負反饋（點擊不感興趣按鈕行為）和它們之間的交互信息進行用戶行為建模；

2、作者提出了一個全新的Deep Feedback Network (DFN)模型，能夠學習到用戶無偏的興趣偏好；

3、模型在離線和在線任務上都得到了顯著提升，具有工業級實用價值。論文中也提出了一個feed流中的顯式負反饋預測任務。

3

模型結構

DFN模型主要分為三個階段：首先，deep feedback interaction module以用戶的多種反饋行為作為輸入，輸出用戶的反饋特徵。然後，Feature Interaction Module進一步考慮用戶的其它特徵和物品特徵，使用FM、Deep和Wide層進行特徵交互。最後，輸出層使用CTR作為訓練目標。圖2給出了DFN的整體結構。

圖2：DFN的整體結構

deep feedback interaction module是模型的主要創新點。它包括了兩個組成部分：Internal Feedback Interaction Component和ExternalFeedback Interaction Component。圖3給出了deep feedback interaction module的結構。

圖3：deep feedback interaction module

首先，在Internal Feedback Interaction Component中，用戶的隱式正反饋、隱式負反饋和顯式負反饋序列和target item一起，通過一個transformer層，得到了在各個序列內部細粒度的item-level的交互信息，然後經過average層得到三種反饋的特徵表示，其中隱式正反饋特徵中蘊含高質量的用戶正向偏好，顯式負反饋特徵中蘊含高質量的用戶負向偏好。

第二步，在External Feedback Interaction Component中，隱式負反饋序列往往是三種行為中最多的行為，但也是噪聲最大的行為。作者把高質量的和target item交互後的隱式正反饋特徵和顯式負反饋特徵看作一種高質量指導，從用戶未點擊序列中挖掘用戶或許喜歡/不喜歡的物品，補充用戶的正向負向偏好。作者使用了一個attention層得到了兩種用戶弱正向/負向反饋特徵。這兩種弱反饋特徵和第一步的三種反饋特徵拼接後成為最終的用戶反饋特徵。

第三步，在Feature Interaction Module中，作者使用了FM、Wide和Deep層，對用戶其它特徵、物品特徵和用戶反饋特徵等進行低階/高階特徵交互。這一個模塊是為了充分利用各種特徵輔助推薦，使得模型在真實工業級任務上達到最好的效果。使用Wide層主要是為了給潛在的特徵工程留下接口。

最後，作者基於CTR loss進行訓練。除去傳統的正例和未點擊負例，作者還增加了一項預測用戶負反饋點擊的loss。由於在實際推薦系統中，用戶給出主動顯式負反饋的次數極少，顯式負反饋中的負向信息也極其強烈，所以作者單獨在loss中強調了這一項，並且給予了較大的訓練權值。

4

實驗結果

離線和線上實驗均在微信看一看上進行，離線數據集包含千萬級用戶在百萬級物品上的億級行為。模型離線CTR預估結果如圖4：

圖4：CTR預估結果

DFN模型取得了SOTA結果。作者還在圖5給出一個新的不感興趣預估實驗。由於用戶點擊不感興趣按鈕說明了用戶對於推薦結果很失望，這類推薦結果會極大損害用戶體驗，模型應該能夠對這類反饋及時捕捉並且響應，理想狀態下應該通過用戶實時行為避免用戶產生顯式負反饋的結果。

圖5：dislike預估結果

作者還進行了消融實驗證明了反饋模塊的每一個組成部分都是有效的。

圖6：消融實驗結果

最後，作者還給出了參數實驗，探索不感興趣的loss的權重影響。

圖7：參數實驗結果

5

總結

在本文中，作者初步研究了推薦系統中的多種顯式/隱式和正/負反饋之間的協同合作機制。DFN模型能夠基於多種反饋信息即時學習到用戶的無偏的正負向興趣，在點擊預估和不感興趣預估等多個任務上均有提升效果。直觀而有效的模型也使得DFN能成功在工業級推薦系統中得到部署和驗證。

我們預測用戶的顯式反饋，特別是顯式負反饋的信息將會未來推薦系統中起到更加重要的作用，在發掘推薦系統可解釋性同時提升用戶體驗。

ACL 2020原定於2020年7月5日至10日在美國華盛頓西雅圖舉行，因新冠肺炎疫情改為線上會議。為促進學術交流，方便國內師生提早了解自然語言處理（NLP）前沿研究，AI 科技評論將推出「ACL 實驗室系列論文解讀」內容，同時歡迎更多實驗室參與分享，敬請期待！

相關焦點

  • AAAI 2021論文接收列表放出,IJCAI 2020即將召開!AI頂會最新動態...
    大會官網：https://ijcai20.org/　　大會主席：Marie desJardins；PRICAI主席：Hideyuki Nakashima　　大會線上舉辦具體日程表：　　日程表網址：https://static.ijcai.org/ijcai-pricai-2020-schedule/　　IJCAI 2020論文審稿和錄取情況：
  • IJCAI 2019 論文收錄結果最新出爐!歷年傑出論文帶你重溫 AI 發展...
    近來，生成式對抗網絡（GAN）在文本生成中表現出色。然而，通過 GAN 生成的文本往往在面臨質量差、缺乏多樣性和模式崩潰（mode collapse ）的問題。在這篇論文中，我們提出了一個新的框架——SentiGAN，包含有多個生成器和一個多類別判別器，以解決上述問題。在該框架中，多個生成器同時訓練，旨在無監督環境下產生不同情感標籤的文本。
  • 只花5-10分鐘評審,還不提供拒稿理由,IJCAI就「槍斃」42%論文
    經過summary-reject階段，在接收的5147篇論文中，有2191篇被拒稿。通過瀏覽領域主席的評論，我注意到他們有些評論並不是以論文作者能夠閱讀的形式寫下的，所以我決定不向被拒稿的作者提供領域主席對論文做出的任何評價。我知道大家在沒有任何其他反饋的情況下收到拒稿通知，可能會非常失望。
  • 乾貨| 深度講解電路反饋知識
    反饋，就是把放大電路的輸出量的一部分或全部，通過反饋網絡以一定的方式又引回到放大電路的輸入迴路中去，以影響電路的輸入信號作用的過程根據反饋的交直流性質，可分為直流反饋和交流反饋。如果反饋信號中只含直流成分，則稱為直流反饋，直流負反饋用於穩定靜態工作點，對放大電路的動態性能沒有影響。如果反饋信號中只含交流成分，則稱為交流反饋。
  • IJCAI 2020|基於內部-環境注意力網絡的推薦多隊列冷啟動召回
    作者 | 謝若冰編輯 | 叢 末1導語真實世界中的綜合推薦系統（例如微信看一看）通常需要從上百萬異質物品中進行推薦。直接在百萬候選集上使用複雜的推薦算法，往往會引入難以承受的時間成本。圖1給出了看一看場景中綜合推薦的示例，包含文章、長視頻、短視頻三種召回隊列（channel）。圖1：微信看一看綜合推薦示例在現實系統中，綜合推薦系統經常會引入新的數據源。微信看一看中較主要的信息來源和召回隊列就超過了幾十個。這部分冷啟動的召回通道在建立初期，用戶行為往往比較稀疏，基於用戶行為的CTR預估模型表現較差。
  • 網絡表示學習領域(NRL/NE)必讀論文匯總
    Hamilton, Rex Ying論文地址：https://arxiv.org/pdf/1709.05584.pdf論文摘要：在不同圖（Graph）上的機器學習是一項重要且無處不在的任務，其應用範圍從藥物設計到社交網絡中的好友推薦。該領域的主要挑戰是找到一種方法來表示或編碼圖結構，以便機器學習模型可以輕鬆利用它。
  • IJCAI 2020|推薦系統中的隱私威脅與對策
    本文介紹的是由微眾銀行聯合香港科技大學研究員高大山、譚奔、鞠策、鄭文琛和楊強教授共同完成，被國際人工智慧頂會IJCAI 2020下設聯邦學習專項研討會(FL-IJCAI』20)錄用的論文《Privacy Threats Against Federated Matrix Factorization》。
  • 人工智慧系列(六) 深度學習中的神經網絡
    原力君在系列的第五篇《人工智慧系列(五) 深度學習簡介》中提到深度學習可以看作是一種更高級的函數擬合方法；人工神經網絡、激活函數、代價函數、梯度下降、反向傳播是深度學習的幾個關鍵點；常見的深度學習神經網絡結構有多層感知機、DNN、CNN、RNN等。
  • 優必選獲IJCAI 2017最佳學生論文獎 13篇論文入選國際頂級人工智慧...
    在這13篇論文中，《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》這篇論文一舉斬獲最佳學生論文獎（Student Best Paper2017,地址：https://www.ijcai.org/proceedings/2017/0404.pdf），《General Heterogeneous
  • 優必選斬獲 IJCAI 2017最佳學生論文獎,13篇論文入選
    在這13篇論文中，《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》這篇論文一舉斬獲最佳學生論文獎（Student Best Paper 2017, 地址：https://www.ijcai.org/proceedings/2017/0404.pdf），《General Heterogeneous
  • 今日Paper | 空間注意力網絡;深度信念網絡;GhostNet;位置預測等
    用單個深度學習模型代替移動相機ISP基於深度信念網絡來識別阿爾茲海默症的蛋白質組危險標誌物分層時空LSTM在位置預測中的應用GhostNet：廉價運營帶來的更多功能  VSGNet：基於圖卷積的人體物體交互檢測的空間注意力網絡
  • 推薦| 九本不容錯過的深度學習和神經網絡書籍
    選自aioptify機器之心編譯參與：微胖、李亞洲、蔣思源針對 30 多本深度學習和神經網絡書籍，我們（AI Optify 數據團隊）使用不同指標（比如，在線評價、打分、所涉主題、作者影響力、出版年份、社交媒體是否提及等）訓練機器學習算法，為每本書打分、排名。讀者可能會喜歡我們的推薦，因為這份榜單基於數據並且客觀。排名靠前的九本書如下。1.
  • iDST院長金榕IJCAI演講:阿里巴巴的深度學習應用(附PPT)
    ：深度學習過去十年在各個領域都取得了巨大的成功，但當把深度學習技術應用到實際問題中時，常會遇到諸多挑戰。阿里巴巴作為在電商領域有諸多業務的企業，對深度學習有很大的需求，不可避免地當他們將深度學習應用到業務中時會遇到許多學界人士不可能遇到的問題。
  • 電路中反饋及運放的原理和種類分析
    打開APP 電路中反饋及運放的原理和種類分析 發表於 2017-12-26 11:43:17 我們有時把引入反饋的放大電路稱為閉環放大器，沒有引入的稱為開環放大器。 按正負反饋分：反饋輸入信號能使原來的輸入信號減小即為負反饋，反之則為正反饋。怎麼判斷電路是正反饋還是負反饋呢? 這裡採用的方法是瞬時極性法。
  • 便攜設備中反饋網絡和擴譜調製技術的應用
    便攜設備中反饋網絡和擴譜調製技術的應用 秩名 發表於 2013-01-05 17:49:01 　　前言 　　當今利用反饋網絡與頻率擴展技術改善開關的
  • 深度CTR預估模型在應用寶推薦系統中的探索
    近年來，CTR預估技術從傳統的邏輯回歸，到深度學習DeepFM, Wide&Deep, DIN, DCN等算法落地，經歷了突飛猛進的發展。本文旨在以深度CTR預估模型為基礎，探索在應用寶推薦場景下的算法優化。文章作者：趙程，騰訊算法研發工程師。
  • 深度學習在統計機器翻譯和會話中的應用 |微軟IJCAI2016演講PPT
    微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學習、深度神經網絡應用於不同場景的情況，之前第一部分提到了其應用於語義理解上的一些經驗和收穫，本文為第二部分。神經網絡在基於短語的SMT中的示例l  神經網絡作為線性模型中的組成部分   翻譯模型   預壓模型 捲曲神經網絡的使用   聯合模型 FFLM與原始詞彙
  • CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡
    演講主題：加法神經網絡：在深度學習中我們是否真的需要乘法？簡介：陳漢亭，北京大學智能科學系碩博連讀三年級在讀，同濟大學學士，師從北京大學許超教授，研究興趣主要包括計算機視覺、機器學習和深度學習。在 ICCV,AAAI,CVPR 等會議發表論文數篇，目前主要研究方向為神經網絡模型小型化。摘要：和廉價的加法操作相比，乘法操作需要更大的計算量。
  • 我國網絡安全產業發展進入「快車道」 2020年網絡安全產業深度對話...
    中國青年報客戶端訊（中青報·中青網記者 何春中）11月30日，2020年中國網絡安全產業高峰論壇在北京開幕。為緊跟國內外網絡安全產業發展動態，關注重點產業的綜合現狀，作為高峰論壇的重要一環，網絡安全產業深度對話分論壇同期召開。
  • 怎樣辨別生物和人工神經網絡中的遞歸?
    在這篇文章中，我們將重點介紹這兩個群體中遞歸使用的歷史差異，重點介紹一些比較新的神經科學領域的深度學習神經網絡模型，指出一些神經科學研究揭示遞歸的功能，並對未來進行預測。　　深度學習社區所指的是經常性連接類似於神經科學界所說的橫向連接。 即局部區域中的互連神經元。　　在神經科學界，經常性網絡是一種多樣性的網絡，包括前饋、橫向和反饋連接。