奇異值分解(SVD)

2021-02-18 LeadAI OpenLab

最近兩天都在看奇異值分解及其在推薦系統和圖像壓縮方面的應用，這部分知識比較散也比較難理解，看代碼不是很好懂，所以通過編學邊整理的方式幫助大腦理解這部分知識。


SVD思維導圖

奇異值分解（Singular Value Decomposition，SVD），是一種提取信息的方法。比如有一份記錄用戶關於餐館觀點的數據，要對其進行處理分析，提取背後的因素，這個因素可能是餐館的類別，烹飪配料等，然後利用這些因素估計人們對沒有去過的餐館的看法，從而進行推薦，提取這些信息的方法就叫奇異值分解法。

奇異值分解能夠簡約數據，去除噪聲和冗餘數據。其實它說白了也是一種降維方法，將數據映射到低維空間。看到這裡其實就會想，它和主成分分析（PCA）有什麼聯繫或者差異呢？奇異值分解和主成分分析一樣，也是告訴我們數據中重要特徵，奇異值是數據矩陣乘以該矩陣的轉置的特徵值的平方根（Data*Data^T特徵值的平方根）。

前面說的關於奇異值分解是什麼，其實是從應用角度上來說的，從數學的角度講，它就是一種矩陣分解法。

顧名思義，矩陣分解就是把一個大矩陣分解成易於處理的形式，這種形式可能是兩個或多個矩陣的乘積，就如同我們在代數中的因子分解，這種因子分解在數學裡便於我們計算，賦予現實的含義，給一個真實的應用背景，就能方便我們解決生活中遇到的問題。


SVD分解矩陣圖

SVD將原始的數據集矩陣Data分解成三個矩陣：U、Sigma、V^T，如果原始矩陣是m行n列，那麼U、Sigma和V^T分別就是m行m列、m行n列、n行n列。比較值得一提的是矩陣Sigma，該矩陣只有對角元素，其他元素均為0，有一個慣例是：Sigma的對角元素是從大到小排列的。這些對角元素就稱為奇異值。

在科學和工程中，一直存在一個普遍事實：在某個奇異值的數目r之後，其他的奇異值均置0，也就是我們僅保留r個重要特徵，其餘特徵都是噪聲或者冗餘特徵。那麼問題來了，這個r到底是多少勒？如何選取呢？確定要保留的奇異值個數有很多啟發式的策略，其中一個典型的做法就是保留矩陣90%的能量信息。為了計算能量信息，將所有的奇異值求平均和，直到累加到總值的90%為止。

另一個啟發式策略是當矩陣有上萬個奇異值時，保留前面的2000個或3000個。其實這兩種方法要想為什麼的話可能就涉及到繁雜的數學證明了，每一個為什麼的地方都有可能有創新點，留著有靈感的時候深入思考吧。

比如給了一些用戶和菜系，如下面的矩陣，這個矩陣的值代表了用戶對吃過的菜系的評分，沒吃過的評分為0，要給這些用戶推薦幾個他沒吃過的菜系。


用戶和菜系

拿到這個問題，最直觀的一個思路流程就是：計算菜系的相似度->結合評分->對沒吃過的菜系計算預測評分->預測評分排序->推薦前x個菜。


這也是簡單版本的推薦系統的程序流程，計算相似度有歐式距離、皮爾遜相關係數和餘弦相似度等常用計算方法。SVD做的改進就是將矩陣分解，從數據中構建出一個主題空間，再在該主題空間下計算相似度，提高了推薦效果（但是SVD會降低程序的速度，尤其是大規模數據集中，這一點以後再談）。


在上例中，對數據矩陣進行SVD處理，會得到兩個奇異值。因此，有兩個概念或主題與此數據集相關聯，比如我們基於每個組的共同特徵來命名，可能是美式BBQ和日式食品這二維（這兩個維度是我們通過分析數據得到的，在生活中，我們一看那些菜就發現菜是有類型的，我們按照類型定相似度，進行推薦，奇異值是我生活的經驗映射在數學空間的一種體現，來自於數學角度的解釋，是巧合也是必然），如何將原始數據變換到這二維呢？V^T矩陣會將用戶映射到BBQ／日式食品空間，U矩陣會將菜系映射到BBQ/日式食品空間，在這個空間下求的相似度，然後進行後續流程，實現推薦。詳細的推薦系統實現會在下一篇中介紹。

Numpy線性代數庫中有一個實現SVD的方法，可以直接拿來用。具體SVD是如何用程序實現的我打算專門寫一篇程序實現的介紹，也包括比如特徵值到底怎麼求的等等方法。這裡就簡介調用方式。

import numpy as np
def load_data():  
 return [[0,0,0,2,2],                
[0,0,0,3,3],              
 [0,0,0,1,1],              
 [1,1,1,0,0],                
[2,2,2,0,0],              
 [5,5,5,0,0],                
[1,1,1,0,0]]
data = load_data()
u, sigma, vt = np.linalg.svd(data)
 print (sigma)

運行結果如下：

[  9.64365076e+00   5.29150262e+00   8.36478329e-16   6.91811207e-17 3.04963694e-34]

可以發現前兩個值比後三個值大的多，所以可以取這兩個奇異值，把其餘三個置0。對於Sigma矩陣為什麼長成行向量的樣子，是Python內部的機制，為了節省空間，因為它除了對角線都是0，記著Sigma是個矩陣就好。

具體的推薦系統和詳細代碼解析我會在下一篇中介紹，還在理解和實驗當中。

原文連結：http://www.jianshu.com/p/56b2967d20ba

相關焦點

  • 數學推導+純Python實現機器學習算法28:奇異值分解SVD
    ，即特徵值為奇異值的平方。下面基於numpy.linalg線性代數模塊下的svd函數來看一個計算實例。其原理就是保存像素矩陣的前k個奇異值，並在此基礎上做圖像恢復。由SVD的原理我們可以知道，在SVD分解中越靠前的奇異值越重要，代表的信息含量越大。     下面我們嘗試對一個圖像進行SVD分解，並分別取前1~50個奇異值來恢復該圖像。需要恢復的圖像如下（厚著臉皮拿筆者自己作為示例）：
  • 一文讀懂機器學習中奇異值分解SVD
    2.SVD具體介紹2.1 特徵值、特徵向量、特徵值分解特徵值分解和奇異值分解在機器學習中都是很常見的矩陣分解算法。兩者有著很緊密的關係，特徵值分解和奇異值分解的目的都是一樣，就是提取出一個矩陣最重要的特徵。
  • 奇異值分解SVD
    奇異值分解（SVD）在計算機視覺中有著廣泛的應用，如數據降維、推薦系統、自然語言處理等。本文是介紹SVD的數學計算過程，並從SVD的性質說明其應用的原理。奇異值分解（SVD）與特徵分解類似，是將矩陣分解為由奇異值（特徵值）和特徵向量表示的矩陣之積的方法。因而，在介紹SVD前有必要先介紹特徵值、特徵向量和特徵分解。
  • 人工智慧的數學(1)奇異值分解
    奇異值分解本篇使用到了numpy這個筆記系列的每一篇都不會很長，適合在各種碎片時間裡閱讀。
  • 數據科學中需要知道的5個關於奇異值分解(SVD)的應用
    線性代數的一種這樣的用途是奇異值分解(SVD)用於降維。你在數據科學中一定很多次遇到SVD。它無處不在，特別是當我們處理降維時。但它是什麼？它是如何工作的？SVD應用有什麼？事實上，SVD是推薦系統的基礎，而推薦系統是谷歌，YouTube，亞馬遜，Facebook等大公司的核心。
  • 奇異值分解(SVD) 的 幾何意義
    換句話說，如果某些奇異值非常小的話，其相對應的幾項就可以不同出現在矩陣 M 的分解式中。因此，我們可以看到矩陣 M 的秩的大小等於非零奇異值的個數。實例二我們來看一個奇異值分解在數據表達上的應用。假設我們有如下的一張 15 x 25 的圖像數據。
  • 奇異值分解(SVD) 的幾何意義
    如何獲得奇異值分解？( How do we find the singular decomposition? )事實上我們可以找到任何矩陣的奇異值分解，那麼我們是如何做到的呢？假設在原始域中有一個單位圓，如下圖所示。
  • 奇異值分解(SVD)原理
    奇異值分解(Singular Value Decomposition，簡稱SVD)是在機器學習領域廣泛應用的算法，它不光可以用於降維算法中的特徵分解
  • 經典 | 奇異值分解(SVD) 的 幾何意義
    關於線性變換部分的一些知識可以猛戳這裡  奇異值分解(SVD) --- 線性變換幾何意義奇異值分解( The singular value decomposition )該部分是從幾何層面上去理解二維的SVD：對於任意的 2 x 2
  • 奇異值分解及其應用
    概述PCA的實現一般有兩種，一種是用特徵值分解去實現的，一種是用奇異值分解去實現的。 在機器學習領域，有相當多的應用與奇異值都可以扯上關係，比如做feature reduction的PCA，做數據壓縮（以圖像壓縮為代表）的算法，還有做搜尋引擎語義層次檢索的LSI（Latent Semantic Indexing）奇異值與特徵值基礎知識特徵值分解和奇異值分解在機器學習領域都是屬於滿地可見的方法。
  • 奇異值分解(SVD)原理總結
    的特徵向量時，矩陣A轉換後的向量也是基向量 。用矩陣的形式表示（3.3）式：是M*K的矩陣，需要擴展成方陣形式：將正交基是M*N對角矩陣,V是N*N方陣因此（3.4）式寫成向量形式為：（4.2）式對列進行了降維，即右奇異矩陣V可以用於列數的壓縮，與PCA降維算法一致。
  • 太巧妙了: 實際跑的 SVD 分解原來是這樣實現的
    1引言調用 sklearn 裡的 PCA，你可能會發現有個參數 svd_solver 可以設置 svd_solver = 'randomized'。這裡的隨機是什麼意思呢？如果用默認設置 'auto' 的話，那麼會根據矩陣大小自動選擇求解器。
  • 強大的矩陣奇異值分解(SVD)及其應用
    ，一種是用奇異值分解去實現的。在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 【基礎】奇異值分解的原理與應用
    本文對適用範圍很廣的奇異值分解方法進行了介紹，並通過代碼演示說明了其工作方式、計算方法及其常見的幾種基礎應用。矩陣分解也叫矩陣因子分解，涉及到用給定矩陣的組成元素描述該矩陣。奇異值分解（SVD）可能是最著名和使用最廣泛的矩陣分解方法。所有矩陣都有一種 SVD 方法，這使得其比特徵分解（eigendecomposition）等其它方法更加穩定。
  • 奇異值分解, 這一篇就夠了
    奇異值分解2. 計算奇異值分解3. 根據 SVD 重建矩陣4. 用於偽逆的 SVD5. 用於降維的 SVD奇異值分解奇異值分解（SVD）是一種用於將矩陣歸約成其組成部分的矩陣分解方法，以使後面的某些矩陣計算更簡單。
  • 數據降維 SVD 分解 小案例
    Aarray([[2, 1, 0],       [4, 3, 0]])調用 Numpy中的奇異值分解API：#奇異值分解np.linalg.svd(A)得到的結果為三個數組 USigmaV轉置(array([[-0.40455358, -0.9145143
  • 幾何角度理解奇異值分解SVD
    二、SVD的幾何意義奇異值分解SVD ( The singular value decomposition )從幾何意義上來說：對於任意矩陣M，通過SVD。可以將一個相互垂直的坐標變換到另外一個相互垂直的坐標。
  • 通俗易懂的講解奇異值分解(SVD)和主成分分析(PCA)
    本教程包含以下內容特徵分解對稱矩陣的特徵分解奇異值分解（The Singular Value Decomposition，奇異值分解（SVD）特徵分解適用於n×n維的方形矩陣，而由於m×n維的矩形矩陣在變換過程中會改變矩陣原本的維數，從而對於矩形矩陣並沒有對其特徵值進行過定義。
  • 奇異值分解簡介:從原理到基礎機器學習應用
    奇異值分解（SVD）可能是最著名和使用最廣泛的矩陣分解方法。所有矩陣都有一種 SVD 方法，這使得其比特徵分解（eigendecomposition）等其它方法更加穩定。因此，這種方法在很多應用中都有應用，包括壓縮、去噪、數據壓縮。在這份教程中，你將了解用於將矩陣分解成其組成元素的奇異值分解方法。
  • 入門 | 奇異值分解簡介:從原理到基礎機器學習應用
    本文對適用範圍很廣的奇異值分解方法進行了介紹，並通過代碼演示說明了其工作方式、計算方法及其常見的幾種基礎應用。矩陣分解也叫矩陣因子分解，涉及到用給定矩陣的組成元素描述該矩陣。奇異值分解（SVD）可能是最著名和使用最廣泛的矩陣分解方法。