另一個角度看矩陣分析

2021-02-24 EETOP

1. 為何要引入矩陣

這個問題很好解釋,矩陣使得公式表達更加的方便。就這一便利性而言就值得引入矩陣這一概念,譬如:

在引入基本的矩陣乘法之後,就可以將上述的方程組表達成為,其中。當然,問題的表達是解決問題的關鍵,但我們的目的是解決問題。就拿線性方程組來說,如果我們要求解X,且對於A而言,存在B使得AB=I,那麼顯然有X=Bb。然而這一條件太嚴格了,A 需要是一個滿秩方陣。

易證,當上述方程AX=b是相容方程(即有解),此時B 要滿足的條件是ABA=A。按照求解線性方程組的思路,矩陣的逆、廣義逆、偽逆、矩陣的秩出現得就自然而然了。求解過程中需要應用到矩陣的滿秩分解,範數等知識。

2. 矩陣計算的根本是什麼

當然,計算過程中,不是求解一個線性方程組的解就夠了的。就拿優化問題來說,解決問題的基本思路中要使用求導(求梯度)。如果我們僅僅是將問題採用矩陣表示,的確是簡潔了,但不會求解(求導)又有什麼用呢?而從就矩陣僅僅問題的一種表示方法而言,矩陣的運算不應該是一種全新的運算法則,而應和數的計算相契合。

先考慮一個最簡單的,如下所示

矩陣(向量)表示是

導數表示為

第一個問題是,求導到底求的是什麼?一直以來,我們只會對一個變量求導,導數是切線的斜率;即使是多變量,也是一個一個求偏導。當然,導數的另一個理解是一階逼近,即

從這一點來說,數量函數對向量(矩陣)求導實際上是(矩陣導數有其嚴格定義,此處不做說明)

所以這個最簡單例子的求導結果是,這個例子說明了有關矩陣求導的兩個特點:定義不是瞎定義的,是和數值函數導數相符合的;求解實際上是分別對矩陣(向量)中的元素分別求偏導。當然,這個例子引出了一個新的問題——既然最後我們還要分別求偏導,那麼為何我們還要寫成矩陣形式?

這個問題的解答有兩點:一是針對數量函數對矩陣的導數而言,也有基本的運算公式可以使用,而且有一些基本的導數是顯而易見的;其二是有時候我們可以直接利用定義以及矩陣的性質求解,譬如前段時間同學問的問題

可以採用如下方式求解

那麼,回到本節的標題,矩陣計算的根本是什麼?矩陣提供了一種更簡潔的描述問題的方式,採用矩陣這一方法表示問題進行計算時,對於矩陣有一套相應的運算規則,這就是矩陣計算。而採用矩陣計算出來的結果,必須是與不利用矩陣計算得出的結果相同的,這是矩陣計算推導過程中要遵循的準則。

在這一思路下,包括矩陣求導,積分,微分方程在內的運算就不難理解了。再擴展開一點,包括矩陣序列、級數和函數的計算也遵循這一思路。

3. 空間——讓矩陣不僅僅是矩陣

矩陣存在的意義難道僅僅只在於給出公式更有利的表示和簡單的計算方法?當然不是,要不然矩陣課本也不會花那麼大的力氣從線性空間討論起了。當我們回顧本文的第一小節,方程組的解是X=Bb。解是由矩陣、向量表示的,這給予我們一種新的思路——矩陣不僅簡潔的表示了公式,矩陣還能夠表示解

有一點是很好理解的,那就是如果,那麼

其中,我們似乎已經很習慣了這種表示,但是是否思考過為何能這樣表示呢?這一表示至少意味著具有以下性質,對於

實際上是一線性空間,正是因為是線性空間,我們才能夠利用一組基表示這一空間中的元素。當然,基顯然不是唯一的。拿空間來說,是一組基;也是一組基。空間中的任意一向量可以表示為

由此引出兩個問題:不同基之間對應的關係是什麼;哪組基更好。第一個問題的結論很簡單,如果

那麼坐標之間的關係為Kα=PKβ,不同基下的坐標之間的關係,我們可以理解為一種線性變換,即f(X)=AX。第二個問題,則必須提出一個合適的評判標準了。引入線性變換後,這個問題可以轉換為另一個問題——具體來說,實際上線性變換的矩陣P 針對不同的基具有不同的表達形式,也就是說我們只要關心矩陣P 就足夠了。關於線性變換,wiki上有如下的圖示

上圖表示了在下不同變換矩陣時的變化關係,其中藍色是原始空間,綠色是映射後的圖示。那麼到這裡可以解釋「哪組基更好」,這取決於你更希望你的空間滿足什麼樣的幾何需求。

4. 特徵向量的特徵

映射(這裡指線性變換)往往使得取值發生變化,然而我們總是希望在變化尋求一個不變的量,稱之為特徵。如果某一向量在經過線性變化後保持其方向的不變性,即那麼就稱為特徵向量,為相應的特徵值。脫離實際例子來談「特徵」很不「特徵」,關於這一部分內容可以參考機器學習中的數學(5)-強大的矩陣奇異值分解(SVD)及其應用,解釋很詳細並有距離。一點小的瑕疵是沒有闡明SVD和特徵值之間的關係,舉例中有一點小錯誤。本節接下來的內容將致力於闡明矩陣對角化的相關聯繫。

求解特徵值就是求解,如果是一個對角陣,那麼顯然有特徵值為。有注意的是特徵值和線性變換是密不可分的,完了,寫不下去了……我自己也說不明白了……(待修改)

鑑於原先思路已經寫不下去了,那就先簡單講講各個對角化之間的關係吧。

對於同一線性變換而言,不同基下的矩陣表示滿足(相似關係)

前文還是說明了一點,那就是對角矩陣對於一個線性變換來說是極其的方便的,所以我們希望矩陣能夠相似於一個對角陣。但是很不幸的是,不是所有的矩陣都能相似於對角陣,於是提出了一個Jordan標準型的東西。(還沒怎麼遇到過涉及Jordan標準型的問題)

而更多情況是,我們不僅僅想要相似對角陣,還對有要求,畢竟其列向量就是特徵向量。我們希望一組基是正交的,歸一化的。也就是說,這就是酉對角化的概念。酉對角化要求更為嚴苛,需滿足

Hermite矩陣是滿足這一條件的,那麼對於任意一個矩陣,我們可以通過求或是的酉對角化求得的奇異值分解。

也就是說,在相似對角化的基礎上進行約束或是妥協,儘可能的發現矩陣的特徵。所以矩陣的很多內容在講對角化,目的大抵如此。

5. 總結

3.4結寫得有點混亂不堪,矩陣方面的知識還需要進一步的掌握。或許要了解到足夠多的實際問題,在解決的過程中體會才會有更深的理解。

而學習過程中多問幾個為什麼,為什麼要做這樣做以及這樣做的好處是什麼,對學習將會是大有裨益的。

(來源:暗海風的cnblog)

在關注微信號 eetop-1 之後

回復如下關鍵詞 變換,複數,查看下列相關文章

簡單說說傅立葉變換和拉普拉斯變換(z 變換)

傅立葉變換、拉普拉斯變換、Z變換最全攻略

複數的物理意義

傅立葉變換的物理意義

拉普拉斯變換的物理意義

卷積的物理意義

論頻譜中負頻率成分的物理意義

FFT結果的物理意義

相關焦點

  • 走進「陰陽」(另一個角度看世界)
    ,另外因為它有柯氏力(柯氏力就是使水(也就是流體)在北半球朝另一個方向旋轉的力,在另一邊,在南半球則讓颶風(同樣是流體)朝相反方向旋轉),因為柯氏力被加到了場方程中,當我們把環面的因素和柯氏力這個第二因素加到時空複合體之上,得到的就是這個雙環面結構——雙環面複合體,這樣一種動力形式,從頂上看,我們也可以將它看成是一個旋轉著的「陰陽」圖案。
  • 每周研究一個問題「22:宏觀角度看數據分析」
    本周研究的一個問題是數據分析,這可能是研究這麼多個問題花時間最長的一次了,可能得有十幾個小時,看了之前整理在收藏夾的幾十篇文章,可能得有幾十萬字,然後整理成這一篇,準確的說算不上原創,只能算東抄一點西抄一點。
  • 另一個角度看馬航事件的陰謀論
    不過這一結果在國內引發了很大反彈,其中不乏有以「陰謀論」觀點指責馬方倉促公布結論「另有隱情」。不久前美國進行的一項針對1800人的統計表明,有49%的受訪者至少同意一個醫療陰謀論。去年4月發布的另一項調查表明,有37%的美國人認為全球變暖是一個騙局,還有11%的人相信美國政府在知情的情況下允許了9•11恐怖襲擊的發生。可以說,陰謀論的盛行和人們對其的消費已經成為了一個社會現象。而這其中,關於飛機失事的陰謀論更是幾乎充斥於每一次大型空難。
  • 從諮詢公司學到的思考分析方法:矩陣思維
    這裡的矩陣不涉及數學概念,我第一次接觸到它,還是在大學畢業季,那時不斷為面試準備,囫圇吞棗地學了不少應試招數。其中一種叫波士頓矩陣(BCG Matrix)。它是由波士頓諮詢公司創始人首創。波士頓矩陣在傳統以營銷為主導的企業中,不論是日用品消費還是生產製造加工,企業一定有一系列的產品。波士頓矩陣認為,產品戰略管理可以從兩個角度衡量:市場增長率和相對市場佔有率。
  • 陰陽 ▎ 走進「陰陽」(另一個角度看世界)
    ,另外因為它有柯氏力(柯氏力就是使水(也就是流體)在北半球朝另一個方向旋轉的力,在另一邊,在南半球則讓颶風(同樣是流體)朝相反方向旋轉),因為柯氏力被加到了場方程中,當我們把環面的因素和柯氏力這個第二因素加到時空複合體之上,得到的就是這個雙環面結構——雙環面複合體,這樣一種動力形式,從頂上看,我們也可以將它看成是一個旋轉著的「陰陽」圖案。
  • 線性代數:矩陣相似對角化知識總結,從最通俗有趣的角度來講!
    (2)相似矩陣的理解相似矩陣的數學解釋(線性變換角度):同一個線性變換在不同基下的矩陣。相似矩陣的通俗解釋(5星重點):假如我要給某個美女拍照,我可以從低一點的角度把美女拍得高一點,得到一張照片。這時我還可以從側面角度美女,拍一張照片。
  • 理解矩陣背後的現實意義
    首先說說空間(space),這個概念是現代數學的命根子之一,從拓撲空間開始,一步步往上加定義,可以形成很多空間。線形空間其實還是比較初級的,如果在裡面定義了範數,就成了賦范線性空間。賦范線性空間滿足完備性,就成了巴那赫空間;賦范線性空間中定義角度,就有了內積空間,內積空間再滿足完備性,就得到希爾伯特空間。總之,空間有很多種。
  • 對角矩陣、單位矩陣、數量矩陣
    各位晚上好,今天分享的內容是一個特殊矩陣——對角矩陣,以及由此而衍生出的單位矩陣和數量矩陣。
  • 【分析技術】土地利用轉移矩陣
    土地利用/覆蓋(LUCC)作為全球環境變化研究的重點問題為越來越多的國際研究機構所重視,研究它的變化既是對已有的工業化、城市化過程的一個較為直觀的反映,也是對於未來土地變化進行預測和模擬的一個不可或缺的基礎。對於一個地區土地利用變化的研究,有利於對該地區進行更好的生態環境綜合評價及合理的國土空間規劃。
  • 矩陣(二)
    在這一節我們將繼續矩陣的學習,主要對其運用以及相關函數進行學習了解,下面我們就開始吧!① 轉置運算   t ()  對於矩陣來說,我們通常使用函數t()來表示矩陣的轉置,如:m1<-matrix(1:4,nrow=2)m1*m1     矩陣代數乘積常用符號「%*%」進行運算,示例如下:  【注意】此運算要求前一個矩陣的列數等於後一個矩陣的行數
  • 【ADAMS】矩陣/數組函數
    (1)矩陣/數組的基本操作函數ALIGN 將數組轉換到從特定值開始ALLM 返回矩陣元素的邏輯值ANGLES 將方向餘弦矩陣轉換為指定旋轉順序下的角度矩陣ATAN(x) 數字表達式x 的反正切值ATAN2(x1,x2) 兩個數字表達式x1,x2 的四象限反正切值(3)取整函數INT(x)
  • (加餐)歐拉角及矩陣旋轉
    剛體是理想模型,合理的理想化模型有助於簡化複雜系統分析。分析剛體運動是後續非剛體運動分析的基礎,這是因為可以將人體等非剛體運動視作一系列剛體運動的組合,從而簡化人體等微都卜勒特徵分析。一般的,剛體的運動可以表述為平移和旋轉的組合。為了描述剛體運動,需要引入局部坐標系(xyz)和全局坐標系(XYZ),如圖1所示。其中距離向量R義為全局坐標系原點指向局部坐標系原點的有向向量。
  • 拋棄複雜的運算來理解「矩陣乘法」和「行列式」
    上一篇我們知道了,矩陣其實就是一個線性變換,矩陣的各列就是由原來的基向量變換而來。在此基礎上,假如我們把兩個矩陣放在一起,也就是說,讓兩個矩陣做乘法,它又有什麼含義呢?矩陣乘法我們還是先從矩陣和向量的乘法看起:矩陣乘以一個向量,得到一個新向量。如果我們把新向量再乘以一個矩陣呢?
  • 從另一個角度看複利
    這就是複利思維的力量再來一個問題一片池塘出現了一小塊浮萍,它每天增長一倍,預計10天就能長滿整個池塘,請問,多少天能長滿一半水面?你第九天看的時候,才覆蓋池塘的一半,但只需一天時間,就覆蓋全部了。聽起來魔幻,但事實如此!再看一張圖,更加直觀就這麼一小點,一點點的付出的收穫是不是有天壤之別?蒙的次數多了就不是蒙,而是實力了。
  • 奇異值、奇異矩陣、SVD分解、正交矩陣
    定義:設A為m*n階矩陣,A'表示A的轉置矩陣,A'*A的n個特徵值的非負平方根叫作A的奇異值。記為σi(A)。如果把A『*A的特徵值記為λi(A『*A),則σi(A)=sqrt(λi(A』*A))。奇異矩陣:奇異矩陣是線性代數的概念,就是對應的行列式等於0的矩陣。奇異矩陣的判斷方法:首先,看這個矩陣是不是方陣(即行數和列數相等的矩陣。若行數和列數不相等,那就談不上奇異矩陣和非奇異矩陣)。
  • 矩陣的瑰寶:深入挖掘特徵值和特徵向量,直觀地看抽象概念
    它們代表著從一個坐標到另一個坐標的運動。當一個向量乘以一個矩陣時,就相當於應用了一個線性變換。這就產生了沿著兩個向量拉伸(或擠壓)坐標系的效果。例如,矩陣[[3,1],[1,2]]將x軸沿向量[3,1]和將y軸沿向量[1,2]對齊。視覺上,我們可以看出點(0,1)實際上映射到了(1,2)這可以通過將它乘以矩陣來實現。
  • 如何從信號分析角度理解卷積神經網絡的複雜機制?
    研究 CNN 的運行機理是當今一個熱門話題。基本上,有三種主流觀點:1>優化、2>近似、3>信號。前兩種觀點主要集中在純數學分析,它們試圖分析神經網絡的統計屬性和收斂性,而第三種觀點信號嘗試解決以下問題:1)為什麼非線性激活函數(activation function)對所有中間層的過濾式輸出(filter output)是必不可少的?
  • 如何用波士頓矩陣分析業務單位?
    波士頓矩陣是由波士頓諮詢集團(Boston Consulting Group, BCG)在上世紀70年代初開發的。BCG矩陣將組織的每一個戰略事業單位(SBUs)標在一種2維的矩陣圖上,從而顯示出哪個戰略事業單位提供高額的潛在收益,以及哪個戰略事業單位是組織資源的漏鬥。
  • 【土地利用變化分析1】如何在ArcGIS中計算土地利用轉移矩陣
    在一些土地利用變化的分析展示中,土地利用轉移矩陣是最直觀、常見的。
  • 昴宿二外星人訊息19:原始矩陣是什麼
    今天我們將談論你們稱之為初始矩陣或原始矩陣的東西,根據我的理解,你們也是這樣的矩陣。但首先,您如何從您的角度概括地定義矩陣?斯瓦魯:你好,戈西亞!在一組規則中的矩陣,它在一個封閉的遊戲中。就像一個有固定規則的電子遊戲。這是事實。就像你的電影《黑客帝國》一樣。這裡有更多的矩陣,但地球是矩陣中的矩陣。夢中有夢。是我搖醒了你!