矩陣的奇異值與特徵值有什麼相似之處與區別之處?

2021-02-20 芝蘭玉樹生於階庭

一個線性變換的作用可以包含旋轉、縮放和投影三種類型的效應。

奇異值分解正是對線性變換這三種效應的一個析構。A=，和是兩組正交單位向量，是對角陣，表示奇異值，它表示我們找到了和這樣兩組基，A矩陣的作用是將一個向量從這組正交基向量的空間旋轉到這組正交基向量空間，並對每個方向進行了一定的縮放，縮放因子就是各個奇異值。如果維度比大，則表示還進行了投影。可以說奇異值分解將一個矩陣原本混合在一起的三種作用效果，分解出來了。

而特徵值分解其實是對旋轉縮放兩種效應的歸併。（有投影效應的矩陣不是方陣，沒有特徵值）特徵值，特徵向量由Ax=x得到，它表示如果一個向量v處於A的特徵向量方向，那麼Av對v的線性變換作用只是一個縮放。也就是說，求特徵向量和特徵值的過程，我們找到了這樣一組基，在這組基下，矩陣的作用效果僅僅是存粹的縮放。對於實對稱矩陣，特徵向量正交，我們可以將特徵向量式子寫成，這樣就和奇異值分解類似了，就是A矩陣將一個向量從x這組基的空間旋轉到x這組基的空間，並在每個方向進行了縮放，由於前後都是x，就是沒有旋轉或者理解為旋轉了0度。
總結一下，特徵值分解和奇異值分解都是給一個矩陣(線性變換)找一組特殊的基，特徵值分解找到了特徵向量這組基，在這組基下該線性變換隻有縮放效果。而奇異值分解則是找到另一組基，這組基下線性變換的旋轉、縮放、投影三種功能獨立地展示出來了。我感覺特徵值分解其實是一種找特殊角度，讓旋轉效果不顯露出來，所以並不是所有矩陣都能找到這樣巧妙的角度。僅有縮放效果，表示、計算的時候都更方便，這樣的基很多時候不再正交了，又限制了一些應用。

建議小夥伴們看看下面網址，老外的教學真是神了。

http://www.ams.org/samplings/feature-column/fcarc-svd



作者：趙文和
連結：https://www.zhihu.com/question/19666954/answer/54788626
來源：知乎
著作權歸作者所有，轉載請聯繫作者獲得授權。

相關焦點

  • 奇異值、奇異矩陣、SVD分解、正交矩陣
    然後，再看此方陣的行列式|A|是否等於0，若等於0，稱矩陣A為奇異矩陣；若不等於0，稱矩陣A為非奇異矩陣。 同時，由|A|≠0可知矩陣A可逆，這樣可以得出另外一個重要結論:可逆矩陣就是非奇異矩陣，非奇異矩陣也是可逆矩陣。如果A為奇異矩陣，則AX=0有非零解或無解。如果A為非奇異矩陣，則AX=0有且只有唯一零解。
  • 強大的矩陣奇異值分解(SVD)及其應用
    在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 矩陣的特徵值與特徵向量
    一、特徵值與特徵向量定義：    A為n×n的方陣且有，其中λ為一標量，則稱λ為向量v對應的特徵值
  • 奇異值分解及其應用
    特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 通俗易懂的講解奇異值分解(SVD)和主成分分析(PCA)
    為了證明這個性質，我們首先假設有以下兩個互不相等的特徵值和特徵向量，如下：通過下面的等式，我們能夠推出λ1(x1*x2)= λ2(x1*x2)：根據前面步驟的結果，我們可以得到如下等式:我們一開始便假設特徵值λ1與λ2並不相等。
  • 餛飩和抄手有什麼區別?它們有什麼不同之處,又有何相似之處呢?
    不知大家平時有沒有吃到過餛飩和抄手呢？知不知道這兩者之間有什麼區別呢？或許很多人會說：吃了以後感覺兩者並沒有太大的差距，並不清楚兩者之間有什麼不同。而有些人會說：其實餛飩和抄手之間的差距很大，無論是製作工藝還是餡料都有很大的不同之處。
  • 奇異值分解和矩陣分解傻傻分不清楚?一文幫你理清兩者差異!
    在推薦系統的相關研究中，我們常常用到兩個相關概念：矩陣分解和奇異值分解。這兩個概念是同一種算法嗎？兩者到底有什麼差別？在本文中，作者梳理了兩種算法的概念、來源和內容，並進行了比較。通過對相關內容的梳理，作者提出，矩陣分解是推薦系統中最初使用的概念，奇異值分解是對該方法的進一步發展。在現在的討論中，一般將兩種方法統一成為奇異值分解。
  • 2013考研數學衝刺複習:矩陣的特徵值與特徵向量講解
    矩陣的特徵值與特徵向量問題是考研數學中一常考點，然而在最後衝刺這一階段，同學們在做真題和模擬題《考研數學絕對考場最後八套題》時對這一考點還存在一些疑惑，對此，文都考研數學的輔導老師特撰此文講解矩陣的特徵值與特徵向量問題，助同學們考研成功。
  • 矩陣的特徵值分解的物理意義
    矩陣的特徵值分解目的就是提取出一個矩陣最重要的特徵。這其實是在平面上對一個軸進行的拉伸變換（如藍色的箭頭所示），在圖中，藍色的箭頭是一個最主要的變化方向（變化方向可能有不止一個），如果我們想要描述好一個變換，那我們就描述好這個變換主要的變化方向就好了。
  • 矩陣特徵值與特徵向量的幾何意義
    即， 如果對於數 λ，存在一個 n 維非零列向量X（即 X∈Rn 且 X≠0），使得AX= λX則稱數 λ 為矩陣 A 的一個特徵值， X 稱為矩陣 A 對應於 λ 的特徵向量。在線性代數中，研究線性變換就是研究相應的矩陣 A，矩陣 A 的特徵向量和特徵值是線性變換研究的重要內容。
  • 推薦系統 | 矩陣分解(SVD)原理和實戰
    三者均用於矩陣降維。其中：特徵分解可用於主成分分析。奇異值分解（SVD）和隱語義模型（LFM）可用於推薦系統中，將評分矩陣補全、降維。一.特徵分解1.1 特徵求解：特徵分解是指將矩陣分解為由其特徵值和特徵向量表示的矩陣之積的方法，我們首先回顧下特徵值和特徵向量的定義：
  • 另一個角度看矩陣分析
    矩陣計算的根本是什麼 當然，計算過程中，不是求解一個線性方程組的解就夠了的。就拿優化問題來說，解決問題的基本思路中要使用求導（求梯度）。如果我們僅僅是將問題採用矩陣表示，的確是簡潔了，但不會求解（求導）又有什麼用呢？而從就矩陣僅僅問題的一種表示方法而言，矩陣的運算不應該是一種全新的運算法則，而應和數的計算相契合。
  • 三色堇和角堇外形上也有諸多相似之處,那麼該如何區別呢
    因而外形上也有諸多相似之處。那麼該如何區別三色堇和角堇呢？蝴蝶花和角堇的區別之外形三色堇的花可比角堇大多了，一般是其的2-3倍大，一般角堇的花約為2-4cm，而三色堇的花有4-12cm，大小對比還是很明顯的。另外，三色堇的花形偏圓點，角堇則較偏長。
  • 「矩陣接近奇異值,或者縮放錯誤」解決方法
    對矩陣求逆或者求解線性方程組時，若出現「矩陣接近奇異值，或者縮放錯誤。結果可能不準確。Matrix is close to singular or badly scaled.Matlab中一般有四種求解線性方程組的方法，下面依次進行簡單介紹，具體函數使用方法可查詢MATLAB官方文檔。假設有線性方程組Ax=b其中A為係數矩陣，x為待求解未知量列向量。
  • 奇異值分解簡介:從原理到基礎機器學習應用
    奇異值分解（SVD）可能是最著名和使用最廣泛的矩陣分解方法。所有矩陣都有一種 SVD 方法，這使得其比特徵分解（eigendecomposition）等其它方法更加穩定。因此，這種方法在很多應用中都有應用，包括壓縮、去噪、數據壓縮。在這份教程中，你將了解用於將矩陣分解成其組成元素的奇異值分解方法。
  • 線性代數:矩陣相似對角化知識總結,從最通俗有趣的角度來講!
    （2）相似矩陣的理解相似矩陣的數學解釋(線性變換角度)：同一個線性變換在不同基下的矩陣。很多同學初次接觸到特徵值與特徵向量的時候，也不知道這是個什麼東西，按照老師說的，也就是記住這個公式，考試的時候就直接套用，其他什麼就不知道了。小編從幾何的角度，來通俗地解釋一下。
  • 數據科學中需要知道的5個關於奇異值分解(SVD)的應用
    線性代數的一種這樣的用途是奇異值分解(SVD)用於降維。你在數據科學中一定很多次遇到SVD。它無處不在，特別是當我們處理降維時。但它是什麼？它是如何工作的？SVD應用有什麼？事實上，SVD是推薦系統的基礎，而推薦系統是谷歌，YouTube，亞馬遜，Facebook等大公司的核心。
  • 隋朝的開皇之治與大業盛世,既有相似之處,又有不同之點
    隋朝地圖開皇之治與大業盛世，因出現在同一個朝代，所以它們是有相似之處的，但由於開創的皇帝與時間不同，因而又有各自不同的特點。今天就給大家分析如下：一。開皇之治與大業盛世的相似之處首先是政治制度類同，隋朝建立後，隋文帝建立了一整套規模龐大、組織完備的官僚機構，比如在選官上，廢除九品中正制，設立分科考試制度選拔官員；在官僚制度上，採用五省六曹制，後改稱五省六部制；除此之外，隋文帝對包括中央和地方的政治體制、賦稅、土地制度、法律、錢幣、對外關係等方面，都進行了一系列的改革，從而開創了一代新局面。
  • 古希臘神話與中國神話,有哪些相似之處?
    其實並非如此，二者之間其實有很多相似的神話傳說，只不過大家沒有注意罷了。 先是從混沌中誕生了大地之母蓋亞，蓋亞生天空之神烏拉諾斯等。總之都是由混沌中誕生世界萬物的神話起源。