奇異值分解(SVD) 的 幾何意義

2021-03-06 數模樂園

換句話說，定義在單位圓上的函數|Mx|分別在v1和v2方向上取得最大和最小值。這樣我們就把尋找矩陣的奇異值分解過程縮小到了優化函數|Mx|上了。結果發現（具體的推到過程這裡就不詳細介紹了）這個函數取得最優值的向量分別是矩陣 MT M 的特徵向量。由於MTM是對稱矩陣，因此不同特徵值對應的特徵向量都是互相正交的，我們用vi 表示MTM的所有特徵向量。奇異值σi = |Mvi| ， 向量 ui 為Mvi 方向上的單位向量。但為什麼ui也是正交的呢？

推倒如下：

σi 和 σj分別是不同兩個奇異值

Mvi = σiui 
Mvj = σjuj.

我們先看下MviMvj，並假設它們分別對應的奇異值都不為零。一方面這個表達的值為0，推到如下

Mvi Mvj = viTMT Mvj = vi MTMvj = λjvi vj = 0

另一方面，我們有

Mvi Mvj = σiσj ui uj = 0

因此，ui 和 uj是正交的。但實際上，這並非是求解奇異值的方法，效率會非常低。這裡也主要不是討論如何求解奇異值，為了演示方便，採用的都是二階矩陣。

應用實例(Another example)

現在我們來看幾個實例。

實例一

經過這個矩陣變換後的效果如下圖所示

在這個例子中，第二個奇異值為 0，因此經過變換後只有一個方向上有表達。

M = u1σ1 v1T.

換句話說，如果某些奇異值非常小的話，其相對應的幾項就可以不同出現在矩陣 M 的分解式中。因此，我們可以看到矩陣 M 的秩的大小等於非零奇異值的個數。

實例二

我們來看一個奇異值分解在數據表達上的應用。假設我們有如下的一張 15 x 25 的圖像數據。

如圖所示，該圖像主要由下面三部分構成。

我們將圖像表示成 15 x 25 的矩陣，矩陣的元素對應著圖像的不同像素，如果像素是白色的話，就取 1，黑色的就取 0. 我們得到了一個具有375個元素的矩陣，如下圖所示

如果我們對矩陣M進行奇異值分解以後，得到奇異值分別是

σ1 = 14.72
σ2 = 5.22
σ3 = 3.31

矩陣M就可以表示成

M=u1σ1 v1T + u2σ2 v2T + u3σ3 v3T

vi具有15個元素，ui 具有25個元素，σi 對應不同的奇異值。如上圖所示，我們就可以用123個元素來表示具有375個元素的圖像數據了。

實例三

減噪(noise reduction)

前面的例子的奇異值都不為零，或者都還算比較大，下面我們來探索一下擁有零或者非常小的奇異值的情況。通常來講，大的奇異值對應的部分會包含更多的信息。比如，我們有一張掃描的，帶有噪聲的圖像，如下圖所示

我們採用跟實例二相同的處理方式處理該掃描圖像。得到圖像矩陣的奇異值：

σ1 = 14.15

σ2 = 4.67

σ3 = 3.00

σ4 = 0.21

σ5 = 0.19

...

σ15 = 0.05

很明顯，前面三個奇異值遠遠比後面的奇異值要大，這樣矩陣 M 的分解方式就可以如下：

M  u1σ1 v1T + u2σ2 v2T + u3σ3 v3T

經過奇異值分解後，我們得到了一張降噪後的圖像。

實例四

數據分析(data analysis)

我們搜集的數據中總是存在噪聲：無論採用的設備多精密，方法有多好，總是會存在一些誤差的。如果你們還記得上文提到的，大的奇異值對應了矩陣中的主要信息的話，運用SVD進行數據分析，提取其中的主要部分的話，還是相當合理的。

作為例子，假如我們搜集的數據如下所示：

我們將數據用矩陣的形式表示：

σ1 = 6.04

σ2 = 0.22

由於第一個奇異值遠比第二個要大，數據中有包含一些噪聲，第二個奇異值在原始矩陣分解相對應的部分可以忽略。經過SVD分解後，保留了主要樣本點如圖所示

就保留主要樣本數據來看，該過程跟PCA( principal component analysis)技術有一些聯繫，PCA也使用了SVD去檢測數據間依賴和冗餘信息.

相關焦點

  • 奇異值、奇異矩陣、SVD分解、正交矩陣
    同時，由|A|≠0可知矩陣A可逆，這樣可以得出另外一個重要結論:可逆矩陣就是非奇異矩陣，非奇異矩陣也是可逆矩陣。如果A為奇異矩陣，則AX=0有非零解或無解。如果A為非奇異矩陣，則AX=0有且只有唯一零解。svd設A為m*n階矩陣，A'表示A的轉置矩陣，A'*A的n個特徵值的非負平方根叫作A的奇異值。記為σi(A)。
  • 幾何角度理解奇異值分解SVD
    一、左乘矩陣的幾何意義 向量左乘對角矩陣，幾何上相當對這個向量的長度進行縮放，此處坐標軸保持不變； 向量左乘對稱矩陣，幾何上相當於對這個向量的長度進行縮放，並且對坐標軸也進行旋轉； 給向量左乘普通矩陣，總能找到一組正交的坐標軸來表示該向量，這組坐標軸是由原來的坐標軸通過縮放和旋轉而得到。
  • 數據科學中需要知道的5個關於奇異值分解(SVD)的應用
    線性代數的一種這樣的用途是奇異值分解(SVD)用於降維。你在數據科學中一定很多次遇到SVD。它無處不在，特別是當我們處理降維時。但它是什麼？它是如何工作的？SVD應用有什麼？事實上，SVD是推薦系統的基礎，而推薦系統是谷歌，YouTube，亞馬遜，Facebook等大公司的核心。
  • SVD奇異值分解的數學涵義及其應用實例
    [online]Ams.org.Availableat: http://www.ams.org/publicoutreach/feature-column/fcarc-svd [Accessed 27 Feb. 2019].[2] Wikipedia contributors. "酉矩陣."維基百科, 自由的百科全書.
  • 奇異值分解及其應用
    概述PCA的實現一般有兩種，一種是用特徵值分解去實現的，一種是用奇異值分解去實現的。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 強大的矩陣奇異值分解(SVD)及其應用
    ，一種是用奇異值分解去實現的。在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 通俗易懂的講解奇異值分解(SVD)和主成分分析(PCA)
    本教程包含以下內容特徵分解對稱矩陣的特徵分解奇異值分解（The Singular Value Decomposition，奇異值分解（SVD）特徵分解適用於n×n維的方形矩陣，而由於m×n維的矩形矩陣在變換過程中會改變矩陣原本的維數，從而對於矩形矩陣並沒有對其特徵值進行過定義。
  • 奇異值分解簡介:從原理到基礎機器學習應用
    奇異值分解（SVD）可能是最著名和使用最廣泛的矩陣分解方法。所有矩陣都有一種 SVD 方法，這使得其比特徵分解（eigendecomposition）等其它方法更加穩定。因此，這種方法在很多應用中都有應用，包括壓縮、去噪、數據壓縮。在這份教程中，你將了解用於將矩陣分解成其組成元素的奇異值分解方法。
  • 矩陣的奇異值與特徵值有什麼相似之處與區別之處?
    奇異值分解正是對線性變換這三種效應的一個析構。A=，和是兩組正交單位向量，是對角陣，表示奇異值，它表示我們找到了和這樣兩組基，A矩陣的作用是將一個向量從這組正交基向量的空間旋轉到這組正交基向量空間，並對每個方向進行了一定的縮放，縮放因子就是各個奇異值。如果維度比大，則表示還進行了投影。可以說奇異值分解將一個矩陣原本混合在一起的三種作用效果，分解出來了。
  • 推薦系統 | 矩陣分解(SVD)原理和實戰
    推薦系統中的SVD3.1 問題定義3.2 SVD應用3.2.1 traditional-SVD3.2.2 FunkSVD3.2.3 BiasSVD3.2.4 SVD++3.3 矩陣分解推薦小結3.4 SVD實現用戶評分預測(MovieLens數據集)特徵分解——>奇異值分解（
  • 奇異值分解和矩陣分解傻傻分不清楚?一文幫你理清兩者差異!
    在推薦系統的相關研究中，我們常常用到兩個相關概念：矩陣分解和奇異值分解。這兩個概念是同一種算法嗎？兩者到底有什麼差別？在本文中，作者梳理了兩種算法的概念、來源和內容，並進行了比較。通過對相關內容的梳理，作者提出，矩陣分解是推薦系統中最初使用的概念，奇異值分解是對該方法的進一步發展。在現在的討論中，一般將兩種方法統一成為奇異值分解。
  • 深入了解SVD與糾纏
    但你可能不知道的是，它背後的線性代數很簡單。如果你熟悉奇異值分解（SVD），那麼你就有99%的把握了。我這篇文章的目標是縮小這1%的差距。特別是，我想解釋一些叫做施密特秩的東西，希望能幫助糾纏的數學感覺不那麼... 糾結。而要做到這一點，請你暫時忘記前面的幾句話，暫時忽略這篇文章的標題。
  • 矩陣分解 (乘法篇)
    常見乘法分解LU分解LU分解， 故名思議就是， 把矩陣分成下三角矩陣（Lower）和上三角矩陣（Upper）的一種分解。 所以LU分解只用到了三角矩陣。 那麼前面我們提到， LDU分解是LU分解的另外一種表達。 那麼， 對稱矩陣也可以進行LL分解的。
  • 如何用張量分解加速深層神經網絡?(附代碼)
    SVD概況奇異值分解使我們能夠分解任何具有n行和m列的矩陣A：S是一個對角矩陣，其對角線上有非負值（奇異值），並且通常被構造成奇異值按降序排列的。U和V是正交矩陣：如果我們取最大的奇異值並將其餘的歸零，我們得到A的近似值：
  • 線性變換的幾何意義
    一直以來對SVD分解似懂非懂，此文為譯文，原文以細緻的分析+大量的可視化圖形演示了SVD的幾何意義。能在有限的篇幅把這個問題講解的如此清晰，實屬不易。原文舉了一個簡單的圖像處理問題，簡單形象，真心希望路過的各路朋友能從不同的角度闡述下自己對SVD實際意義的理解，比如 個性化推薦中應用了SVD，文本以及Web挖掘的時候也經常會用到SVD。
  • 高考數學核心題型滿分策略:導數的幾何意義出題規律和解題模式
    高考數學核心題型滿分策略：導數的幾何意義出題規律和解題模式導數的幾何意義出題規律導數的幾何意義是高考命題的重點,主要有以下命題角度:(1)求已知函數圖象上某點處的切線方程;(2)已知切線方程求函數解析式中的參數;(3)利用導數的幾何意義求解最值.
  • 先要搞明白導數公式、運算法則及幾何意義
    隨著高考改革的不斷深化，高考中對於導數的概念、計算及其幾何意義的考查也上升到了解導數的實際背景、概念，掌握瞬時變化率的計算以及導數的幾何意義計算；以及通過研究函數的圖象從動態的角度去理解導數的幾何意義；然後根據圖象體會原函數與導函數之間的關係，同時要求能夠求解一些特定曲線在指定位置的切線方程等相關知識的考察，本文將進行簡單的複習，希望能夠讓學生和老師有所感悟，