第三十課:奇異值分解——MIT線性代數課程學習筆記

2021-02-21 深度學習算法與自然語言處理

公眾號關注  「DL_NLP」

設為 「星標」，重磅乾貨，第一時間送達！

◎ 原創 | 深度學習算法與自然語言處理

◎ 作者 | 丁坤博

一. 知識概要

本節介紹矩陣的奇異解分解，本質就是將行空間的一組正交基變換成列空間裡的一組正交基。示意如下圖

二. 奇異值分解 SVD 2.1 基變換

對矩陣做奇異值分解，首先如上圖，先在行空間中找一組正交基𝑣1，𝑣2，....𝑣𝑖，然後通過矩陣 A 對其進行線性變換，得到列空間中一組正交基𝑢1，𝑢2，....𝑢𝑖。

2.2 矩陣形式

接下來將我們這個過程用矩陣形式表示出來，

2.3 計算方法

但是在這種變形方式中，U 與 V 並不好同時尋找，我們考慮使用變形技巧來簡化求解過程，如：

假設現在希望做些處理，將 U 消去。

使用

這樣變形之後，我們就只需要選擇 V 就可以了。同樣，我們經過相似處理，使用

我們在看看這個

下面我們來通過一個例子來熟悉上述流程：

三. 學習感悟

SVD 很重要，與最小二乘法也有一定的聯繫。這部分內容主要是將之前學習的內容進行應用與聯繫。其實 SVD 的用處遠不止我們介紹的這些而已。它還可以減小一些計算量，進行圖像變換等。

推薦閱讀：

第二十七課：複數矩陣和快速傅立葉變換——MIT線性代數課程學習筆記

第二十八課：正定矩陣和最小值——MIT線性代數課程學習筆記

第二十九課：相似矩陣和若爾當形——MIT線性代數課程學習筆記

相關焦點

  • 第四課:A 的 LU 分解——MIT線性代數課程學習筆記
    公眾號關注  「DL_NLP」設為 「星標」，重磅乾貨，第一時間送達！
  • 第三十四課:左右逆和偽逆——MIT線性代數課程學習筆記
    ◎ 原創 | 深度學習算法與自然語言處理◎ 作者 | 丁坤博一. 知識概要 本節從矩陣的左右逆談起，並介紹了偽逆矩陣。本節內容更多的是複習以及擴展以往知識。二. 複習 2.1 滿秩逆矩陣四．學習感悟 本節綜合之前的學習內容，從逆，左逆，右逆引申到各個空間上的特點，即又歸結於那張體現四個空間關係的圖上。最後介紹了一般情況下求解偽逆的方法以及偽逆的意義。
  • 第二十一課:特徵值和特徵向量——MIT線性代數課程學習筆記
    ◎ 原創 | 深度學習算法與自然語言處理◎ 作者 | 丁坤博一. 知識概要 本節課討論了特徵值與特徵向量。主要目的是掌握求特徵值的技巧並對一些特別的情況進行說明。本節內容比較基礎。二.學習感悟 本節內容不是很困難，重點在於特徵值與特徵向量的求解，其實只要使用 A-λx 求解就沒錯，特別注意一下虛數情況就好了。重點是理解特徵值如何求解以及特徵值到底代表著什麼。
  • 附筆記pdf下載,MIT中文線性代數課程精細筆記[第四課]
    pdf版本下載學習，這裡我把相關資源放到github上並重新更新完，希望對大家學習有所幫助。該筆記總結了我們在學習MIT線性代數課程的學習經驗和過程。課程順序是按照麻省理工公開課的 Linear Algebra. 記錄的學習筆記。
  • 奇異值分解(SVD)
    SVD思維導圖奇異值分解（Singular Value Decomposition，SVD），是一種提取信息的方法。比如有一份記錄用戶關於餐館觀點的數據，要對其進行處理分析，提取背後的因素，這個因素可能是餐館的類別，烹飪配料等，然後利用這些因素估計人們對沒有去過的餐館的看法，從而進行推薦，提取這些信息的方法就叫奇異值分解法。
  • 不瞞你說,我是聽著MIT教授Gilbert Strang線性代數課入門的!現86歲,仍堅持課堂!
    一  MIT線性代數課程資料無論你是在學校、youtube、B 站還是其他地方學《線性代數》，相信你對 MIT 的 Gilbert Strang 老爺子都不會陌生。我本人接觸這門課是在網易雲課堂，那裡面還有中文字幕翻譯，當時本科同學強烈安利這門課程，大家也確實看了這個課後，才說自己懂了矩陣，了解了線代。
  • 奇異值分解及其應用
    ，一種是用奇異值分解去實現的。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 強大的矩陣奇異值分解(SVD)及其應用
    ，一種是用奇異值分解去實現的。在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 線性代數(Gelbert)---奇異值分解
    Gelbert課裡提到會在後面課程中講的內容，基本是在複習三的25′52″左右開始的。    矩陣的分解幾乎貫穿了整個Gelbert的線代課，從《準備》中A=LDU（可逆消元），到《矩陣的冪》中A = S∧S-1（特徵向量都線性無關），《對稱矩陣》A = Q∧QT，最後到奇異值分解，用Gelbert的話就是最終和最好的分解，而且它對任意矩陣都可以。
  • 一文讓你通俗理解奇異值分解
    特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。
  • 一文讀懂機器學習中奇異值分解SVD
    1.1 矩陣分解作用1.2 矩陣分解的方法一文讀懂機器學習中奇異值分解SVD1.3 推薦學習的經典矩陣分解算法SVD具體介紹2.1 特徵值、特徵向量、特徵值分解2.2 SVD分解2.3 SVD分解的應用1.
  • 奇異值分解簡介:從原理到基礎機器學習應用
    矩陣分解在機器學習應用中的重要性無需多言。本文對適用範圍很廣的奇異值分解方法進行了介紹，並通過代碼演示說明了其工作方式、計算方法及其常見的幾種基礎應用。矩陣分解也叫矩陣因子分解，涉及到用給定矩陣的組成元素描述該矩陣。
  • 【基礎】奇異值分解的原理與應用
    在這份教程中，你將了解用於將矩陣分解成其組成元素的奇異值分解方法。在完成本教程後，你將了解： 那就開始吧！教程概覽本教程分為 5 部分，依次為：1. 奇異值分解2. 計算奇異值分解3. 根據 SVD 重建矩陣4.
  • 【數值分析】課程學習筆記
    本來系統寫了一些學習筆記，但是是在A4紙上，還在學校，沒有帶回來，所以暫時就不能系統的給大家整理《數值分析》這門課的學習筆記了，趁著下雨天廠裡賣廢品的少
  • 86歲還在錄網課:MIT教授Gilbert Strang最新「線性代數」課程上線
    機器之心機器之心報導參與：張倩、Jamin、Raccon X講 MIT 線性代數經典課程的 Gilbert Strang 教授已經 86 歲高齡了。他的書被清華選作教材，課程吸引了國內外大批學子。
  • 奇異值分解, 這一篇就夠了
    奇異值分解2. 計算奇異值分解3. 根據 SVD 重建矩陣4. 用於偽逆的 SVD5. 用於降維的 SVD奇異值分解奇異值分解（SVD）是一種用於將矩陣歸約成其組成部分的矩陣分解方法，以使後面的某些矩陣計算更簡單。
  • 人工智慧的數學(1)奇異值分解
    奇異值分解本篇使用到了numpy這個筆記系列的每一篇都不會很長，適合在各種碎片時間裡閱讀。
  • 入門 | 奇異值分解簡介:從原理到基礎機器學習應用
    本文對適用範圍很廣的奇異值分解方法進行了介紹，並通過代碼演示說明了其工作方式、計算方法及其常見的幾種基礎應用。矩陣分解也叫矩陣因子分解，涉及到用給定矩陣的組成元素描述該矩陣。奇異值分解（SVD）可能是最著名和使用最廣泛的矩陣分解方法。
  • Linear Algebra|MIT教授Gilbert Strang上線全新「線性代數」公開課,易學易懂!
    這門名為「A 2020 Vision of Linear Algebra」的課程一共分為6節，每節課的長度不超過15分鐘。在這門課中，Strang教授以獨立向量和矩陣的列空間作為學習線性代數的起點，逐步引出正交向量、特徵值和特徵向量、奇異值等知識點。
  • 85歲MIT教授上線全新「線性代數」公開課:大牛幫你重新梳理知識點
    如果你覺得英文視頻有一丟丟難啃，好消息是，這份課程還附帶文字稿下載。另外，北郵愛可可老師已經將這門新課程的英文字幕版搬運到了B站，方便大家學習。課程大綱話不多說，一起來看看課程內容。這門名為「A 2020 Vision of Linear Algebra」的課程一共分為6節，每節課的長度不超過15分鐘。在這門課中，Strang教授以獨立向量和矩陣的列空間作為學習線性代數的起點，逐步引出正交向量、特徵值和特徵向量、奇異值等知識點。