機器之心分析師網絡
作者：仵冀穎
編輯：H4O
在推薦系統無所不在的網絡環境中，用戶越來越強烈地意識到自己的數據是需要保密的。因此，能夠實現隱私保護的推薦系統的研究與發展越來越重要。聯邦學習框架的引入為這一問題提供了解決方案。
一、由推薦系統談起
隨著網際網路覆蓋範圍的擴大，越來越多的用戶習慣於在網上消費各種形式的內容，推薦系統應運而生。推薦系統在我們的日常生活中無處不在，它們非常有用，既可以節省時間，又可以幫助我們發現與我們的興趣相關的東西。目前，推薦系統是消費領域最常見的機器學習算法之一[1]。以網絡新聞為例，由於每天都有大量的新聞文章發布在網上，在線新聞服務的用戶面臨著嚴重的信息過載。不同的用戶通常喜歡不同的新聞信息。因此，個性化新聞推薦技術被廣泛應用於用戶的個性化新聞展示和服務中。關於新聞的推薦算法 / 模型研究已經引起了學術界和產業界的廣泛關注。
經典的推薦算法大致分為三類：內容過濾（Content filtering）、協同過濾（Collaborative filtering，CF）和混合過濾（Hybrid filtering）。
內容過濾：這類算法側重於通過將用戶、item 劃分為特定的信息特徵來繪製用戶肖像，從而直接建立對用戶興趣的理解。初期的推薦系統中多採用的是內容過濾的方法。例如，我在某寶上瀏覽了幾件黑色女式羽絨服，系統根據內容過濾算法直接提取 「黑色」、「羽絨服」、「女式」 等 item 特徵，在這個應用場景下，item 具體為 「物品」。通過對物品進行多次關聯性分析，發現我多次在某寶中的點擊之間的關聯性，從而生成推薦結果，將「女式羽絨服」 推薦到我的某寶首頁中。這種內容過濾的方法具有以下特點：一是，方法原理簡單、易於實現，直接根據用戶點擊的數據進行分析，因此不存在稀疏性和冷啟動的問題。二是，直接基於 item 進行特徵構建和推薦，推薦準確度過高，且不受其它用戶熱門推薦的影響。三是，所依賴的 item、特徵等直接影響了推薦效果，必須保證特徵準確且在具體的應用場景中是真實有效的。四是，推薦結果存在重複性問題。以新聞推薦類應用為例，你瀏覽了一篇關於 2021 年考研的權威發布新聞，系統可能再次向你推送的是同一條新聞。
協同過濾：這些算法在沒有用戶或 item 的先驗信息的情況下工作，並且只根據用戶的交互數據建立對用戶興趣的理解。這種方法也是目前應用最廣泛的推薦算法。協同過濾的基本考慮是「物以類聚，人以群分」。協同過濾主要有兩類方法：基於用戶 (User-based) 的推薦和基於 item(Item-based)的推薦。協同過濾一般與評分系統結合使用，通過分數去刻畫用戶對於 item 的喜好程度。協同過濾的方法具有以下特點：一是，無需建模，且領域無關，具有很好的普適性。二是，便於借鑑他人經驗，能夠使用其它評分結果輔助發現用戶的潛在興趣偏好。三是，基於歷史數據進行評分和評估，因此對於系統中的新用戶和新 item 存在冷啟動問題，且受歷史數據的數據規模、稀疏程度等影響較大。四是，對用戶的新愛好轉變或特殊愛好的需求支持度較差，這些新愛好或特殊愛好一般也是缺少歷史數據支持的情況。
混合過濾：這些算法是上述兩種算法的結合。它通過利用上面兩種方法中的技術優勢來構建更好的推薦系統。
然而，在推薦系統無所不在的網絡環境中，用戶越來越強烈的意識到自己的數據是需要保密的。此外，從政府層面看，隨著 GDPR 在歐洲的啟動和美國類似法律的出臺，越來越多的國家將效仿這一做法，進一步導致傳統的推薦系統所依賴的訓練數據越來越匱乏。在這樣的背景下，能夠實現隱私保護的推薦系統的研究與發展越來越重要。從另外一個角度分析，在推薦 / 搜索中引入隱私也有一定的好處。我們可以利用用戶不共享的更好的元數據進行推薦系統的訓練，例如手機上的應用程式信息、位置等。我們還可以在較新的領域中（如醫療保健、金融服務）更好地採用機器學習模型，用戶不再需要猶豫是否將數據共享給其他人。
聯邦學習將模型的學習過程分發給各個客戶端（即用戶的設備），使得從特定於用戶的本地模型中訓練出全局模型成為可能，確保用戶的私有數據永遠不會離開客戶端設備，從而實現了對用戶隱私性的保護。將聯邦學習框架引入到推薦系統問題中，能夠實現隱私保護的推薦系統。
二、聯邦協同過濾
來自華為 Finland R&D Center 的研究人員首次提出了聯邦協同過濾方法（Federated Collaborative Filter ，FCF）[2] ，該方法聚合用戶特定的梯度更新模型權重來更新全局模型。具體地說，作者提出了一種聯邦學習框架下的用於隱式反饋數據集的 CF 方法。同時，這種方法是可推廣的，可以擴展到各種推薦系統應用場景中。FCF 的完整框架如圖 1。在中央伺服器上更新主模型 Y（item 因子矩陣），然後將其分發到各個客戶端中。每個特定於用戶的模型 X（用戶因子矩陣）保留在本地客戶端中，並使用本地用戶數據和來自中央伺服器的 Y 在客戶端上更新。在每個客戶端上計算通過計算 Y 的梯度得到更新並將更新傳輸到中央伺服器中，在那裡將這些更新聚合以進一步更新全局模型 Y。
圖 1. 聯邦學習模式下的協同過濾
2.1 聯邦用戶因子更新
首先，經典 CF 模型是由低維潛在因子矩陣 X 和 Y 的線性組合表示的：
（1）
其中，其中 r_ui 表示用戶 u 和 item i 之間的交互。r_ui 通常表示顯式反饋，例如用戶直接給出的評級結果 r_ui。r_ui 也可以表示隱式反饋，例如用戶觀看了視頻，或者從網上商店購買了一件商品，或者任何類似的行為。本文主要考慮隱式反饋的情況，對於 r_ui 的預測可以表示為：
（2）
在隱式反饋場景中引入一組二進位變量 p_ui，以表徵用戶 u 對 item i 的偏好，其中：
（3）
在隱式反饋情況下，值 r_ui=0 可以有多種解釋，例如用戶 u 對 item i 不感興趣，或者用戶 u 可能不知道 item i 的存在等等。為了解決這種不確定性，本文引入一個置信參數如下：
（4）
其中，α>0。基於的本人引入置信參數 c_ui，對所有的用戶 u 和 item i 進行優化的代價函數如下所示：
（5）
其中，λ為正則化參數。代價函數的第一項為預測結果與置信參數的偏差，第二項為正則化處理項。J 相對於 x_u 和 y_i 的微分由下式得出：
（6）
則 x_u 的最優解為：
（7）
在用戶因子的每次更新迭代中，中央伺服器將最新的 item 因子向量 y_i 發送到每個客戶端。用戶基於自己的本地數據 r_ui 分別用公式（3）和公式（4）計算 p(u)和 C^u。然後，在每個客戶端使用公式（7）更新 x_ u 得到(x_ u)*。可以針對每個用戶 u 獨立地更新，而不需要參考任何其他用戶的數據。
2.2 聯邦 item 因子更新
優化公式（5）中的代價函數，可以得到 y_i 的最優估計：
（8）
（9）
由公式（9），為了得到 (y_i)*，需要知道用戶因子向量 x_i 和用戶與 item 交互的相關信息 C^u、p(u) 值。因此，item 因子 y_i 的更新不能在客戶端上完成，必須在中央伺服器中進行。然而，從用戶隱私保護的角度出發，用戶 - item 交互信息應當僅保留在客戶端設備中，因此，不能直接使用公式（9）計算 y_i。為了解決這一問題，本文提出了一種隨機梯度下降方法，允許在中央伺服器中更新 y_i，同時保護用戶的隱私。具體的，使用下式在中央伺服器更新 y_i：
（10）
其中，使用公式（8）確定增益參數γ和J/(y_i)。然而，公式（8）包含一個分量，它是所有用戶 u 的總和。因此，將 f(u,i)定義為：
（11）
其中 f(u,i)是在每個客戶端 u 上獨立於所有其他客戶端計算的。然後，所有客戶端向中央伺服器發送梯度值 f(u,i)。將公式（8）重寫為客戶端梯度的聚合，並在中央伺服器進行如下計算：
（12）
最後，利用公式（12）中的特定於 item 的梯度進行更新，然後使用公式（10）在中央伺服器上更新 y_i。當使用梯度下降法更新 Y 時，需要多次迭代梯度下降更新以達到 Y 的最優值。因此，FCF 的一次 epoch 包括更新到 CF 中的 X，然後用幾次梯度下降步驟來更新 Y。
2.3 隱私設計解決方案
本文的隱私保護聯邦學習方案不需要在中央伺服器上知道用戶的身份。這主要是因為每個用戶只需向中央伺服器發送 f(u,i)的更新，利用公式（12）聚合這些更新，在此過程中無需參考用戶的身份。
完成的 FCF 流程見如下算法 1：
2.4 實驗結果
作者評估了 CF 和 FCF 的推薦性能，分別計算前 10 個推薦結果的標準評估指標（the standard evaluation metrics）、精度（Precision），召回率（Recall），F1，平均平均精度（MAP）和均方根誤差（RMSE）。此外，還計算了 FCF 和 CF 的性能指標之間的 「diff%」 如下：
表 1 給出了兩個真實數據集和模擬數據集在 10 輪模型重建實驗中用戶平均的測試集性能指標。其中，真實數據集分別為 The MovieLens rating datasets 和 In-house Production Dataset。模擬數據集是通過隨機模擬用戶、電影和瀏覽活動生成的。具體來說，創建一個由 0 和 1 組成的用戶 - item 交互矩陣。其中 80% 的數據是稀疏的，附加的約束條件是每個用戶至少有 8 個瀏覽活動，並且每個 item 至少被觀察一次。在表 1 實驗的模型構建過程中，每個用戶的數據被隨機分為 60% 的訓練、20% 的驗證和 20% 的測試集。使用驗證集和訓練集來尋找最優的超參數和學習模型參數，測試集則是用來預測推薦和評估在未知用戶數據上的性能分數。結果表明，FCF 和 CF 模型的結果在測試集推薦性能指標方面非常相似。平均而言，五個指標中任何一個指標的 diff% CF 和 FCF 小於 0.5%。標準差 std 也很小，表明多次運行後能夠收斂到穩定和可接受的解決方案中。
表 1. 使用所有用戶的平均值比較協同過濾器（CF）和聯邦協同過濾器（FCF）之間的測試集性能指標。這些值表示 10 個不同模型構建的平均標準差。diff% 指 CF 和 FCF 平均值之間的百分比差。
本文是使用聯邦學習框架實現隱私保護推薦系統的第一次嘗試，是基於 CF 的推薦系統實現的。在這篇文章中，作者表示將會繼續探索基於模擬器的對真實世界場景的分析，以持續異步的方式（在線學習）從客戶端收集更新。此外，對通信有效載荷和通信效率的分析有助於評估此類系統在實際場景中的應用效果。最後作者計劃進一步通過結合安全聯邦學習方法來研究攻擊和威脅對推薦系統的影響。
三、解決聯邦協同過濾中存在的問題 - 新聞推薦
由第二節中的介紹可知，FCF 實現了聯邦學習框架下的推薦系統，解決了推薦系統中的用戶隱私保護問題，同時 FCF 與經典 CF 的推薦性能相差不大。但是，FCF 也存在一些問題，FCF 要求所有用戶都參與到聯邦學習的過程中來訓練他們的向量，這在現實世界的推薦場景中是不實際的，一些用戶受限於設備、網絡性能等，無法進行模型訓練。此外，FCF 使用 item 的 ID 來表示 item，這就要求預先對需要處理的 item 進行編號，而沒有進行編號的新 item 就無法處理了。但是我們知道，在真正的推薦系統應用場景中，大量的新 item、新知識都是實時刷新推送的，這種強制預知的方式在實際問題中是不適用的。
在論文《Privacy-Preserving News Recommendation Model Learning》[3]中，來自清華和微軟研究院的研究人員針對新聞推薦問題對 FCF 進行了改進，具體提出了一種隱私保護方法（Fed-NewsRec），利用海量用戶的行為數據，訓練出準確的新聞推薦模型。此外，提出應用局部差分隱私來保護用戶客戶端設備和中央伺服器之間通信的局部梯度中的私有信息。Fed-NewsRec 的完整結果見圖 2。在 Fed-NewsRec 框架中，新聞平臺（網站或應用程式）上的用戶行為存儲在用戶的本地設備中，而不需要上傳到伺服器中。另外，提供新聞服務的伺服器不記錄也不收集用戶的行為，這可以減輕用戶的隱私顧慮和減少數據洩露的風險。
圖 2. 隱私保護新聞推薦方法的框架
2.1 新聞模型（News Model）
在 Fed-NewsRec 中，沿用經典新聞推薦模型中的新聞模型。新聞模型的目的是學習新聞表徵，從而對新聞內容進行建模，其結構如圖 3。新聞模型從下到上一共四層。第一層是詞嵌入，它將新聞標題中的詞序轉換成語義嵌入向量序列。第二層是一個 CNN 網絡，它通過捕捉本地上下文來學習單詞表示。第三層是一個多頭自注意力網絡，它可以通過模擬不同單詞之間的長期關係來學習上下文單詞的表示。第四層是注意力網絡，它通過選擇信息詞，從多頭自注意力網絡的輸出中構建新聞表徵向量 t。
圖 3. 新聞模型結構
2.2 用戶模型（User Model）
用戶模型用於學習用戶表示以模擬他們的個人興趣。其結構如圖 4 所示。
圖 4. 用戶模型結構
具體的，用戶模型從用戶點擊的新聞文章中學習用戶表現，同時考慮用戶的長期和短期興趣。通過一個多頭自注意力網絡和一個注意力池網絡相結合來學習用戶所有的歷史行為，以得到長期興趣建模。用戶模型將 GRU 網絡應用於用戶最近的行為，以得到短期用戶興趣建模。最後，將長期興趣和短期興趣結合成一個統一的用戶注意力網絡嵌入向量 u。
2.3 基於用戶行為的模型訓練
用戶在新聞網站和 App 上的行為可以為新聞推薦模型的訓練提供有用的監督信息。例如，如果一個用戶 u 點擊了一篇由模型預測的低得分排名的新聞文章 t，那麼我們可以立即調整模型，從而為這個 「用戶 - 新聞」 信息對提供更高的排名分數。本文提出了一種基於點擊和非點擊行為的新聞推薦模型。
對於用戶 u 點擊的每一條新聞，隨機抽取一個 「曾經也顯示過但用戶並未點擊的」 樣本新聞 H。假設該用戶共有 B_u 次點擊行為，則參數為Θ的新聞推薦模型的損失函數定義為：
（13）
其中 L^i 的定義為：
（14）
其中，s(u,t)表示用戶 u 對新聞 t 的排名得分，可以使用嵌入向量的點積來表示，例如 s(u,t)=u^T t。(t_i)^c 和(t_i)^nc 分別表示用戶點擊和未點擊的新聞文章。由於準確的新聞推薦模型能夠有效地改善用戶的新聞閱讀體驗，而單個用戶的行為數據遠遠不足以訓練出一個準確無偏的模型，因此在 FedNews-Rec 框架中，作者提出引入大量的用戶設備來共同訓練新聞推薦模型。參與模型訓練的每個用戶設備稱為客戶端。每個客戶端都有一個由伺服器維護的當前新聞推薦模型Θ的副本。假設用戶 u 的客戶端在新聞平臺上積累了一組行為，用 B_u 表示，然後根據行為 B_u 和公式（13）中定義的損失函數計算模型的局部梯度 g_u。雖然局部模型梯度 g_u 是由一組行為而不是單個行為來計算的，但是它仍然可能包含一些用戶行為的隱私信息。因此，為了更好地保護隱私，作者將局部差分隱私（Local Differential Privacy，LDP）技術應用於局部模型梯度。將應用於 g_u 的隨機算法表示為 M，定義為：
（15）
（16）
其中，n 是拉普拉斯噪聲，均值為 0。
在 Fed-NewsRec 框架中，使用一個中央伺服器來維護新聞推薦模型，並通過來自大量用戶的模型梯度對其進行更新。在每一輪更新中，中央伺服器隨機選擇用戶客戶端的一小部分 r（如 10%），並將當前的新聞推薦模型發送給他們。然後，它從選定的用戶客戶端收集並聚合本地模型梯度，如下所示：
（17）
其中，U 是本輪學習過程中選擇的用戶集，B_u 是用於局部模型梯度計算的用戶 U 的行為集。然後使用聚合梯度更新中央伺服器中維護的全局新聞推薦模型：
（18）
然後將更新的全局模型分發到用戶設備以更新其本地模型。重複這個過程，直到模型訓練收斂。
2.4 實驗結果
本文實驗是在一個來自挪威新聞網站的公共新聞推薦數據集（Adressa）和另一個從微軟新聞中收集得到的真實數據集（MSN-News）上進行的。假設不同用戶的行為日誌以分散的方式存儲，以模擬隱私保護新聞推薦模型訓練的實際應用。使用用戶上周產生的行為數據進行測試，剩下的行為數據用於訓練。另外，由於在實際應用中並不是所有的用戶都能參與模型的訓練，所以隨機選取一半的用戶進行訓練，並對所有用戶進行測試。
作者將 Fed-NewsRec 與多個已有方法進行對比，具體包括：（1）因子分解機（Factorization machine，FM），經典的推薦方法；（2）深度融合模型（Deep fusion model，DFM），專門的新聞推薦模型；（3）EBNR，使用 GRU 進行用戶建模；（4）DKN，利用具有知識意識的 CNN 網絡進行新聞推薦；（5）DAN，使用 CNN 從新聞標題和實體中學習新聞表示，使用 LSTM 學習用戶表示；（6）NAML，多視角關注學習新聞表徵；（7）NPA，利用個性化注意力網絡學習新聞和用戶表徵；（8）NRMS，通過多頭自注意力網絡學習新聞和用戶的表徵；（9）FCF，聯邦協同過濾推薦方法，即我們第二章中介紹的方法；（10）Cen-NewsRec，它與 Fed-NewsRec 具有相同的新聞推薦模型，但是它是根據集中的用戶行為數據進行訓練的。
表 2. 不同方法的新聞推薦結果
實驗結果見表 2。
首先，通過比較 Fed-NewsRec 和目前主流的新聞推薦方法，如 NRMS、NPA 和 EBNR，驗證了 Fed-NewsRec 在個性化新聞推薦模型學習中的有效性。而且，與現有方法基於集中存儲的用戶行為數據訓練的方式不同，Fed-NewsRec 中的用戶行為數據分散存儲在本地用戶設備上，從不上傳。因此，Fed-NewsRec 可以在訓練出準確的新聞推薦模型的同時，更好地保護用戶隱私。
其次，Fed-NewsRec 比現有的基於聯邦學習的推薦方法（FCF）的性能更好。FCF 在新聞推薦中的表現並不理想，這是因為 FCF 要求每個用戶和每個 item 都參與到訓練過程中來學習它們的嵌入，且用戶和 item 為預先已知的。然而，在實際應用中，由於各種原因，並不是所有的用戶都能參加訓練。此外，網絡新聞平臺上的新聞文章很快就會過期，新的新聞文章不斷湧現。因此，許多推薦新聞 item 在訓練階段都是未知的，而 FCF 無法處理這些 item。Fed-NewsRec 從新聞內容中學習新聞表示，並使用神經網絡模型從用戶行為中學習用戶表示。因此，Fed-NewsRec 能夠處理新用戶和新 item 的問題，更適合新聞推薦場景。
最後，Fed-NewsRec 的性能比 Cen-NewsRec 差，後者與 Fed-NewsRec 有相同的新聞推薦模型，但訓練的是集中的用戶行為數據。集中存儲的數據比分散的數據更有利於模型訓練，因此 Cen-NewsRec 優於 Fed-NewsRec 是很好理解的。此外，在 Fed-NewsRec 中，採用局部差分隱私技術和 Laplace 噪聲來保護模型梯度中的隱私信息，這進一步導致了聚合梯度模型更新的準確性不高。
四、進一步解決聯邦協同過濾中存在問題的普適方法
在第三節中，Fed-NewsRec 解決了 FCF 中的 「要求所有用戶都參與到聯邦學習的過程中來訓練他們的向量」 的問題，但是它只適合於新聞推薦應用場景，無法應用到其它場景中，不具備普適性。本節中我們介紹一個通用的基於內容的聯邦多視圖推薦框架 FL-MV-DSSM（Federated Learning-Multi View-Deep Structured Semantic Models）[4]。該框架通過利用來自不同 APP 的信息訓練一個共享的用戶子模型，從而具有更好的 item 推薦性能。
首先，通過將一個通用的深度學習模型（Deep-Structured Semantic Models，DSSM）轉換為一個聯邦學習環境，FL-MV-DSSM 可以將用戶和 item 映射到共享的語義空間，以便進一步實現基於內容的推薦，FL-MV-DSSM 能夠處理現有 FedRec 的冷啟動問題（Cold Start）。然後，本文設計了一種新的 FL-MV-DSSM 方法，從多個數據源學習聯邦模型以獲取更豐富的用戶級特徵，從而大大提高了 FL-MV-DSSM 的推薦性能。此外，FL-MV-DSSM 提供了一種新的聯邦多視圖設置，例如可以使用來自不同手機 APP 的數據共同學習一個聯邦模型。
圖 5. FL-MV-DSSM 框架
4.1 FL-MV-DSSM 框架分析
DSSM 最初是為 web 搜索而設計的，它通過多層神經網絡從用戶的查詢詞和候選文檔中提取語義向量，然後利用餘弦相似度來度量查詢與文檔在語義空間中的相關性。在本文通用聯邦多視圖推薦設置中，採用 DSSM 作為推薦方法的基本模型，如圖 5(a)所示。
假設每個 FL 客戶端有 N 個用戶級特性的視圖（每個 App 考慮對應一種視圖），記為第 i 個視圖的特徵 U_i，第 i 個視圖（App）只能訪問 U_i 對應的數據集。從推薦提供程序中下載 item 數據集 I（item dataset）。所有視圖都可以訪問共享數據集 I。對於聯邦學習推薦系統任務，假設老用戶有一些可以生成行為數據 y，而新用戶沒有任何行為數據。FL-MV-DSSM 建立在傳統的 FedAvg 算法基礎上，需要 FL 中央伺服器提供初始模型，如圖 5(c)所示。
如下 Algorithm 1 給出了 FL-MV-DSSM 的訓練算法，假設在 FL-MV-DSSM 的訓練階段，所有的 FL 客戶端都是具有基於 item 數據集 I 生成行為數據 y 的老用戶。在每個視圖 i 中，根據第 i 個視圖的私有用戶數據 U_i 和本地共享 item 數據 I 計算用戶子模型（user sub-model）和item 子模型（item sub-model）的梯度。雖然 FL-MV-DSSM 是一種基於內容的聯邦學習推薦系統任務，但與僅使用用戶子模型的聚合梯度相比，item 子模型的聚合梯度具有更好的推薦性能。
因此，在 FL-MV-DSSM 中，item 子模型的梯度將以 FL 方式聚合，而用戶梯度的聚合可通過 Algorithm 1 中第 9 行的 「aggregate_user_submodel」 標誌配置，這可以生成 FL-MV-DSSM 的一個變體，即 SEMI-FL-MV-DSSM。每輪 FL 訓練結束後，根據 FL 中央伺服器發布的新的全局梯度，以 FedAvg 方式更新用戶和 item 子模型。用戶和 item 子模型的梯度都包含了需要保護的視圖中特定的信息，因此 FL-MV-DSSM 提供了兩個安全聚合原語：local_secure_aggregate()和 remote_secure_aggregate()，以保護本地和遠程梯度聚合。
Algorithm 2 給出了 FL-MV-DSSM 的預測算法。對於每個 item x_Ij，無論是舊 item 還是新 item，item 子模型都輸出其結果 y_Ij。同時，用 y_Ij 的多個用戶視圖進行局部相似度比較，以確定用戶的安全性。根據相似度比較結果，FL-MV-DSSM 將為用戶輸出 top-K item，無論是舊 item 還是新 item。
4.2 安全問題分析
除了傳統 FL 的安全要求外，FL-MV-DSSM 還需要額外的安全保證。在聯邦多視圖設置中，雖然所有視圖都協同訓練一個模型，但是視圖之間不應該有原始數據交互，因為每個數據集 U_i 中都包含了需要被保護的私有視圖特定信息。此外，每個視圖對 item 子模型的貢獻（從共享的本地數據集 I 中學習）也應受到保護，因為惡意視圖可以通過監視其對共享局部 item 子模型的更改，從梯度中推斷出正常視圖的原始數據。
在本文聯邦多視圖設置中，考慮以下威脅模型：
【傳統 FL】：違背 FL 協議的 FL 客戶端和 / 或 FL 中央伺服器本身就是潛在的惡意攻擊者（Adversaries），例如向誠實用戶發送錯誤和 / 或任意選擇的消息、中止、省略消息、彼此共享其對協議的全部視圖，以及如果中央伺服器是主動對手也與中央伺服器共享其對協議的完整視圖。
【聯邦多視圖】：某個視圖可能是完全惡意的，這意味著作為一個 APP 它會做出各種不安全動作，例如，監視網絡接口以觀察正常視圖的網絡流量，對共享的本地 item 子模型進行空更新以推斷得到正常視圖的更新，監視 item 子模型的變化等等，從而推斷出正常視圖中的數據信息。
對此，本文作者進行了如下假設：
視圖級別隔離（View-Level Isolation）：每個視圖的數據集 U_i 和模型 W_Ui 僅可訪問第 i 個視圖。隔離可以通過加密或可信執行環境（Trusted execution environment ，TEE）來實現。TEE 是一種在多環境共存的條件下，建立策略以保護每個環境的代碼和數據的方法。TEE 在連接設備中提供一個安全區域，確保敏感數據在隔離、可信的環境中存儲、處理和保護。
為了抵抗這些安全問題，FL-MV-DSSM 採用了兩種安全原語：local_secure_aggregate() 和 remote_secure_aggregate()，用於 Algorithm 1 和 2 中。local_secure_aggregate（）和 remote_secure_aggregate（）的目的都是在本地或遠程安全聚合 N 個向量，並返回聚合結果，而不會將每個參與者的原始數據暴露給其他參與者（本地 FL-MV-DSSM 框架或遠程 FL 中央伺服器）。
4.3 FL-MV-DSSM 的變體
最後，作者還介紹了一些 FL-MV-DSSM 的方法變體。
FL-DSSM。基於前面介紹的 FL-MV-DSSM 算法，通過將視圖數 N 設置為 1，可以簡單回歸為 FL-DSSM 訓練和預測算法。關於 FL-DSSM 的詳細結構可見圖 5(b)。與圖 5(c)中的 FL-MV-DSSM 不同，圖 5(b)中 FL-DSSM 向中央伺服器發送的僅為一個視圖的{[user],item}gradients，而不再是多個視圖對應的{[user1],[user2],[item]}gradients。
SEMI-FL-MV-DSSM。通過將 Algorithm 1 中的 「aggregate_user_sub-model」 標誌設置為 false，可以得到 SEMI-FL-MV-DSSM。SEMI-FL-MV-DSSM 只對 item 子模型的梯度進行安全聚合，而不聚合用戶子模型的梯度。關於 SEMI-FL-MV-DSSM 的詳細結構可見圖 5(d)。與圖 5(c)中的 FL-MV-DSSM 不同，圖 5(d)中 SEMI-FL-MV-DSSM 向中央伺服器發送的僅為gradients，而不再是{[user1],[user2],item}gradients。
4.4 實驗結果
FL-MV-DSSM 及其它方法在 MovieLens 數據集上的性能見表 3。從結果可以看出，FL-MV-DSSM 比 FL-DSSM 具有更好的性能，因為 FL-MV-DSSM 可以從多個視圖（如多個用戶 APP）合併更多的用戶特徵，共同訓練出更好的模型。一個有趣的結果是，作者發現 SEMI-FL-MV-DSSM 只聚合共享 item 子模型而不聚合用戶子模型，但其性能優於 FCF 和 FED-MVMF，經過 60 輪 FL 訓練後，其結果甚至優於經典的集中式 DSSM 的結果。作者認為，這是可以理解的，對於所有的聯邦推薦系統算法，其性能數據都是通過 「聯合評估」 來收集的，如果不將其它 FL 參與者的貢獻聚合起來，那麼用戶子模型的性能將很快適應用戶本地數據。
表 3. FL-MV-DSSM 在 MovieLens 數據集上的推薦性能及其變體方法、已有聯邦推薦算法的性能對比
此外，本文作者為了評估 FL-MV-DSSM 的冷啟動性能，構建了三個冷啟動實驗場景：冷啟動用戶（CS-Users）、冷啟動 item（CS-Items）和冷啟動用戶 item（CS-Users-Items）。對於冷啟動用戶，在模型訓練過程中完全排除了 10% 的用戶及其交互數據，並用剩餘 90% 的用戶及其交互數據學習模型參數。對於冷啟動 item，在模型訓練期間，忽略 10%item 的隨機子集，剩下 90% 的 item 學習模型參數。對於冷啟動用戶 item，從模型訓練中排除 10% 的用戶和 item 的隨機子集，並與其他用戶、交互數據和 item 一起學習模型參數。
表 4 給出了三次冷啟動的實驗結果。結果表明，FL-MV-DSSM 在保持通用性的前提下，可以可靠地用於冷起動推薦系統。此外，FL-MV-DSSM 對新用戶具有良好的冷啟動預測性能，這對於隱私保護的推薦服務具有重要的意義。然而，冷啟動 item 和用戶 item 的性能低於冷啟動用戶。作者認為，其原因可能是，在本文使用的實驗數據集中，用戶之間（考慮年齡、性別、職業等）的差異小於 item（電影標題、流派等）的差異，FL-MV-DSSM 可以正確地了解這種差異並以更高的精度推薦。
表 4. FL-MV-DSSM 在 MovieLens 數據集上的冷啟動推薦性能
本文提出了第一個通用的基於內容的聯邦多視圖框架 FL-MV-DSSM，它可以同時解決冷啟動問題和推薦質量問題。此外，本文還將傳統的聯邦設置擴展到了一個新的聯邦多視圖環境中，這可能會在推薦場景中啟用新的 FL 模型，並帶來新的安全挑戰。針對這些安全挑戰，本文還提出了一種新的解決方案來滿足安全需求。
五、本文小結
我們在這個聯邦學習推薦系統的專題中具體討論了聯邦學習框架系列中的 「推薦系統」 問題。我們從第一個基於協作過濾 CF 的聯邦推薦系統談起，具體分析了其在推薦問題中的有效性。從作者原文給出的實驗結果可以看出，FCF 具有與 CF 相當的推薦性能，也就是說聯邦學習的架構並未對推薦模型本身造成太多的影響。
但是，FCF 也存在一些問題，例如要求用戶和 item 信息都是已知的，要求每個用戶和每個 item 都參與到訓練過程中來學習它們的嵌入等等。這些問題阻礙了 FCF 在實用場景中的推廣。接下來，我們具體分析了在新聞學習中的聯邦推薦系統 Fed-NewsRec，它能夠很好地解決 FCF 的上述問題，利用海量用戶的行為數據訓練出準確的新聞推薦模型。
Fed-NewsRec 是專門為新聞推薦構建的方法，其中使用的新聞模型、用戶模型都僅限於該領域。在第四節中，我們進一步分析了一個普適的基於內容的聯邦多視圖推薦框架 FL-MV-DSSM。該方法可以將用戶和 item 映射到共享的語義空間，以便進一步實現基於內容的推薦。此外，該方法也是基於多視圖進行模型訓練的，能夠進一步提升推薦系統的性能。
當然，除了我們上述介紹的文章，還有很多基於矩陣分解（Matrix Factorization）、元學習（Meta-Learning）的聯邦推薦系統也都在不同的實驗、應用場景中獲得了較好的效果。聯邦推薦系統具有很好的、巨大的應用前景，我們將會在聯邦學習系列專題中繼續關注和報導相關的研究進展。
機器之心聯邦學習系列文章：
《打破數據孤島：聯邦學習近期重要研究進展》
《當傳統聯邦學習面臨異構性挑戰，不妨嘗試這些個性化聯邦學習算法》
《聯邦學習 OR 遷移學習？No，我們需要聯邦遷移學習》
《模型攻擊：魯棒性聯邦學習研究的最新進展》
本文參考引用的文獻
[1] https://blog.openmined.org/federated-learning-recommendations-part1/
[2] Muhammad Ammad-ud-din, Elena Ivannikova, Suleiman A. Khan, Were Oyomno, Qiang Fu, Kuan Eeik Tan, and Adrian Flanagan. Federated collaborative filtering for privacy-preserving personalized recommendation system. CoRR, abs/1901.09888, 2019， https://arxiv.org/pdf/1901.09888.pdf
[3] Tao Qi, Fangzhao Wu, Chuhan Wu, Yongfeng Huang, and Xing Xie. Fedrec: Privacy-preserving news recommendation with federated learning. arXiv preprint arXiv:2003.09592, 2020，https://arxiv.org/pdf/2003.09592.pdf
[4] A Federated Multi-View Deep Learning Framework for Privacy-Preserving Recommendations
https://arxiv.org/pdf/2008.10808.pdf
分析師介紹：
仵冀穎，工學博士，畢業於北京交通大學，曾分別於香港中文大學和香港科技大學擔任助理研究員和研究助理，現從事電子政務領域信息化新技術研究工作。主要研究方向為模式識別、計算機視覺，愛好科研，希望能保持學習、不斷進步。