1. 為何要引入矩陣
這個問題很好解釋,矩陣使得公式表達更加的方便。就這一便利性而言就值得引入矩陣這一概念,譬如:
在引入基本的矩陣乘法之後,就可以將上述的方程組表達成為,其中。當然,問題的表達是解決問題的關鍵,但我們的目的是解決問題。就拿線性方程組來說,如果我們要求解X,且對於A而言,存在
易證,當上述方程AX=b是相容方程(即有解),此時B 要滿足的條件是ABA=A。按照求解線性方程組的思路,矩陣的逆、廣義逆、偽逆、矩陣的秩出現得就自然而然了。求解過程中需要應用到矩陣的滿秩分解,範數等知識。
2. 矩陣計算的根本是什麼
當然,計算過程中,不是求解一個線性方程組的解就夠了的。就拿優化問題來說,解決問題的基本思路中要使用求導(求梯度)。如果我們僅僅是將問題採用矩陣表示,的確是簡潔了,但不會求解(求導)又有什麼用呢?而從就矩陣僅僅問題的一種表示方法而言,矩陣的運算不應該是一種全新的運算法則,而應和數的計算相契合。
先考慮一個最簡單的,如下所示
矩陣(向量)表示是
導數表示為
第一個問題是,求導到底求的是什麼?一直以來,我們只會對一個變量求導,導數是切線的斜率;即使是多變量,也是一個一個求偏導。當然,導數的另一個理解是一階逼近,即
從這一點來說,數量函數對向量(矩陣)求導實際上是(矩陣導數有其嚴格定義,此處不做說明)
所以這個最簡單例子的求導結果是,這個例子說明了有關矩陣求導的兩個特點:定義不是瞎定義的,是和數值函數導數相符合的;求解實際上是分別對矩陣(向量)中的元素分別求偏導。當然,這個例子引出了一個新的問題——既然最後我們還要分別求偏導,那麼為何我們還要寫成矩陣形式?
這個問題的解答有兩點:一是針對數量函數對矩陣的導數而言,也有基本的運算公式可以使用,而且有一些基本的導數是顯而易見的;其二是有時候我們可以直接利用定義以及矩陣的性質求解,譬如前段時間同學問的問題
可以採用如下方式求解
那麼,回到本節的標題,矩陣計算的根本是什麼?矩陣提供了一種更簡潔的描述問題的方式,採用矩陣這一方法表示問題進行計算時,對於矩陣有一套相應的運算規則,這就是矩陣計算。而採用矩陣計算出來的結果,必須是與不利用矩陣計算得出的結果相同的,這是矩陣計算推導過程中要遵循的準則。
在這一思路下,包括矩陣求導,積分,微分方程在內的運算就不難理解了。再擴展開一點,包括矩陣序列、級數和函數的計算也遵循這一思路。
3. 空間——讓矩陣不僅僅是矩陣
矩陣存在的意義難道僅僅只在於給出公式更有利的表示和簡單的計算方法?當然不是,要不然矩陣課本也不會花那麼大的力氣從線性空間討論起了。當我們回顧本文的第一小節,方程組的解是X=Bb。解是由矩陣、向量表示的,這給予我們一種新的思路——矩陣不僅簡潔的表示了公式,矩陣還能夠表示解。
有一點是很好理解的,那就是如果,那麼
其中,我們似乎已經很習慣了這種表示,但是是否思考過為何能這樣表示呢?這一表示至少意味著具有以下性質,對於
實際上是一線性空間,正是因為是線性空間,我們才能夠利用一組基表示這一空間中的元素。當然,基顯然不是唯一的。拿空間來說,是一組基;也是一組基。空間中的任意一向量可以表示為
由此引出兩個問題:不同基之間對應的關係是什麼;哪組基更好。第一個問題的結論很簡單,如果
那麼坐標之間的關係為Kα=PKβ,不同基下的坐標之間的關係,我們可以理解為一種線性變換,即f(X)=AX。第二個問題,則必須提出一個合適的評判標準了。引入線性變換後,這個問題可以轉換為另一個問題——具體來說,實際上線性變換的矩陣P 針對不同的基具有不同的表達形式,也就是說我們只要關心矩陣P 就足夠了。關於線性變換,wiki上有如下的圖示
上圖表示了在下不同變換矩陣時的變化關係,其中藍色是原始空間,綠色是映射後的圖示。那麼到這裡可以解釋「哪組基更好」,這取決於你更希望你的空間滿足什麼樣的幾何需求。
4. 特徵向量的特徵
映射(這裡指線性變換)往往使得取值發生變化,然而我們總是希望在變化尋求一個不變的量,稱之為特徵。如果某一向量在經過線性變化後保持其方向的不變性,即那麼就稱為特徵向量,為相應的特徵值。脫離實際例子來談「特徵」很不「特徵」,關於這一部分內容可以參考機器學習中的數學(5)-強大的矩陣奇異值分解(SVD)及其應用,解釋很詳細並有距離。一點小的瑕疵是沒有闡明SVD和特徵值之間的關係,舉例中有一點小錯誤。本節接下來的內容將致力於闡明矩陣對角化的相關聯繫。
求解特徵值就是求解,如果是一個對角陣,那麼顯然有特徵值為。有注意的是特徵值和線性變換是密不可分的,完了,寫不下去了……我自己也說不明白了……(待修改)
鑑於原先思路已經寫不下去了,那就先簡單講講各個對角化之間的關係吧。
對於同一線性變換而言,不同基下的矩陣表示滿足(相似關係)
前文還是說明了一點,那就是對角矩陣對於一個線性變換來說是極其的方便的,所以我們希望矩陣能夠相似於一個對角陣。但是很不幸的是,不是所有的矩陣都能相似於對角陣,於是提出了一個Jordan標準型的東西。(還沒怎麼遇到過涉及Jordan標準型的問題)
而更多情況是,我們不僅僅想要相似對角陣,還對有要求,畢竟其列向量就是特徵向量。我們希望一組基是正交的,歸一化的。也就是說,這就是酉對角化的概念。酉對角化要求更為嚴苛,需滿足。
Hermite矩陣是滿足這一條件的,那麼對於任意一個矩陣,我們可以通過求或是的酉對角化求得的奇異值分解。
也就是說,在相似對角化的基礎上進行約束或是妥協,儘可能的發現矩陣的特徵。所以矩陣的很多內容在講對角化,目的大抵如此。
5. 總結
3.4結寫得有點混亂不堪,矩陣方面的知識還需要進一步的掌握。或許要了解到足夠多的實際問題,在解決的過程中體會才會有更深的理解。
而學習過程中多問幾個為什麼,為什麼要做這樣做以及這樣做的好處是什麼,對學習將會是大有裨益的。
(來源:暗海風的cnblog)
在關注微信號 eetop-1 之後
回復如下關鍵詞 變換,複數,查看下列相關文章
簡單說說傅立葉變換和拉普拉斯變換(z 變換)
傅立葉變換、拉普拉斯變換、Z變換最全攻略
複數的物理意義
傅立葉變換的物理意義
拉普拉斯變換的物理意義
卷積的物理意義
論頻譜中負頻率成分的物理意義
FFT結果的物理意義