我還是推薦系統小白,因此對此課題理解相當淺顯,但一定很好懂。這才是學一樣新東西的正確開始方式。
故事的背景包括 4 個小孩和 5 部動畫,每個小孩為每部動畫打分
悠悠覺得「小豬佩奇」還可以,給了 3 分。建立一個 4 × 5 的矩陣
每行代表一個小孩給所有動畫打的分數
每列代表一部動畫被所有小孩打的分數
當悠悠給「小豬佩奇」打完分後,在矩陣第 1 行第 1 列填入 3 分。
假設 4 個小孩為 5 部動畫打分完畢,哪一個打分矩陣最像真的?
最左邊不像,小孩的喜好不會這麼千篇一律
最右邊不像,小孩的喜好不會這麼毫無聯繫
中間的最像,小孩的喜好會有一定的規律
悠悠和丫丫年齡差不多,總在一起看動畫片,她倆的對動畫的品位出奇相似(5 部動畫給出同樣的評分),比如大愛「小豬佩奇」,小愛「獅子王」,不喜歡「冰雪奇緣」「超人特工隊」「瑪莎和熊」。
規律 1:不同用戶的喜好可能相似。
樂樂喜歡看帶「人物」的動畫,他給「冰雪奇緣」和「超人特工隊」高分;丫丫喜歡看帶「動物」的動畫,她給「小豬佩奇」和「獅子王」高分;多多還比較小,只要是動畫都喜歡,他給所有動畫高分(多多給的分是樂樂和丫丫給的分之和)。
規律 2:一個用戶的喜好可能包含其他多個用戶的喜好。
「瑪莎和熊」的評分是「獅子王」和「冰雪奇緣」的評分的均值。可能原因是「獅子王」裡只含有動物,「冰雪奇緣」裡絕大部分是人,而「瑪莎和熊」裡既有動物又有人,而且數目相當。
規律 3:一個動畫內容可能包含其他多個動畫內容。
先看一個最簡單的推薦系統。
當所有人給所有電影打 3 分,問丫丫應該給「超人特工隊」打多少分?
從評分矩陣來看,每個人對每個電影喜歡一樣,因此預測出丫丫會給「超人特工隊」打 3 分。
再看一個稍微複雜的推薦系統。
問丫丫應該給「瑪莎和熊」打多少分?
從評分矩陣第一行和第三行來看,悠悠和丫丫的喜歡相同,因此預測出丫丫會給「瑪莎和熊」打 2 分,和悠悠一樣。
上面例子太簡單,如果小孩有很多個,動畫有很多部,我們怎麼才能從評分矩陣中學到所有的規律呢?
答案:找到隱含特徵!
回到上面的例子,如果特徵是動畫片的類別,那麼特徵值有兩個,人物類和動物類。那麼根據不同小孩對這兩類動畫特徵的喜好,如上圖,
悠悠和丫丫喜歡動物類,不喜歡人物類
樂樂喜歡人物類,不喜歡動物類
多多都喜歡
再根據具體動畫片含這兩類特徵的比重,如下圖
我們可以將 4 × 5 的評分矩陣分解成
4 × 2 的「小孩-特徵」矩陣
2 × 5 的「特徵-動畫」矩陣
如下。
因此我們要做的事情就是講評分矩陣分解成兩個非負矩陣的乘積,專業術語是非負矩陣分解(Non-negative Matrix Factorization, NMF), 機器學習包 Scikit-Learn 裡有實現哦。
import numpy as npfrom sklearn.decomposition import NMF用上面數據試了下,雖然分別的矩陣不是完全一樣,但矩陣中是 0 的還是 0,其他元素只是差了一個縮放因子(scaling factor),你看最後把兩個分解矩陣相乘,差不到能得到原來的評分矩陣。
實際情況下,不可能每個小孩對每部動畫都給出評分,因此不能直接用 NMF,那些缺失值才體會推薦系統的價值,我們要根據已有的評分來預測未給的評分,再決定是否推薦。
實際情況,打 ?都是未給出評分,這時
設「小孩-特徵」矩陣為 U
設「特徵-動畫」矩陣為 V
用以下誤差函數(只考慮未缺失的 Ri,j)
(Ri,j – U 第 i 行和 V 第 j 列內積)2
怎麼解?梯度下降唄!解完 U 和 V 後相乘發現 R4,4 = 5,那麼妥妥的給多多推薦獅子王!
讓我知道你「在看」