圖說冪法求特徵值和特徵向量

冪法是一種計算矩陣主特徵值及對應特徵向量的迭代方法。

原理很簡單：矩陣乘任一向量（非特徵向量），可將向量往主特徵向量的方向「拉扯」。

如圖中坐標原點是兩條粗藍線的交點，紅色的向量是[1, - 0.8]』。

矩陣A=[1.1 , 0.3 ;  1.8, 1.4 ] 作用在空間上,使得空間伸縮旋轉,相對於上圖,本圖中紅色的向量也跟著轉了,A*x=[0.86,0.68]』 ,不過在新的變換後的坐標系下,仔細看值還是[1, -0.8]』 。

再用A乘,即A*A*x=A2x，空間及紅色的向量進一步扭轉。

再在原坐標系下看，多次變換後，即A的n次方後，紅色的向量會趨近於主特徵向量方向。

A的特徵向量是圖中的綠線。上圖的紅色向量經過n次A乘後，就很接近長的綠色的特徵向量了。

從代數上來講，也很容易得出此結論，（因λ1>λ2，λ1的n次方>>λ2的n次方），此處略。

再用圖示補充一下空間變換、特徵值、特徵向量的概念，如圖（先不考慮紅色的向量）

單位圓上的向量（黑色點表示），

經A變換後，或者說都被A乘後，就變成綠色的向量(點)。

圖中綠色的線是A的特徵向量[-1,2]』, [1,3]』。在特徵向量的方向上的向量，如粗黑色的向量[-0.3162， -0.9487]』，經A乘後，如下圖：

粗黑色的向量，變成藍色的向量，方向還在特徵向量的方向是，只是長度乘了「特徵值」2，（這裡A的特徵值是2和0.5）。

注意，A使得圓變成了橢圓，就是對空間的「線性」變換的結果。圖是二維的，正好有兩個特徵方向上的向量只伸縮，即Ax=λx

顏色一致的方向是特徵向量方向。

(2017.12.12繪此圖)

看圖發現沒有？特徵向量並沒在橢圓的軸上，看下圖中軸向上黃色的兩個向量，那麼橢圓軸上是什麼？

問題來了，順便我把這個矩陣A=[1.1 , 0.3 ;  1.8, 1.4 ]有關的向量都畫出來，（看著不暈吧！畫的有點亂,但都和A有關係）

因為是「圖說」，只簡單說明一下圖,圖上方網格是原來的空間，斜網格是A變換後的空間（為什麼叫線性變換、線性代數，網絡線還是直的，沒彎曲）。

按圖中標號，黑色1、2是A的列向量，組成新空間的基向量，也可以看作是由原來的兩個單位基向量[1，0]』、[0，1]』變換得到。紅色的3是前面講的任一向量，經A乘後變為紅色的向量4；如前所述，綠色的5、6是A的特徵向量，藍色的7是前面講的特徵向量方向上一向量（黑色被覆蓋）伸長λ後的向量。  黃色的8及9正在橢圓軸上，它們是矩陣A的左奇異向量u。也畫出紫色的10及11，是A的右奇異向量v，矩陣的奇異值分解，和特徵值特徵向量一樣都是很重要，應用很廣泛的內容。

圖中用到下列數據：    

A=[1.1， 0.3 ; 1.8， 1.4 ]

特徵向量C=[-1 ，1; 2 ，3],或C=[-0.4472， -0.3162; 0.8944， -0.9487]

特徵值D=[0.5 ， 0; 0，  2]

奇異值s =[ 2.5184 ， 0;   0  ， 0.3971]

奇異向量u =[  -0.4298， -0.9029;  -0.9029 ， 0.4298]

v =[  -0.8331 ， -0.5531;  -0.5531 ， 0.8331]

下面再換點顏色繪圖：

來源：康建科學網博客

http://blog.sciencenet.cn/blog-797552-1033056.html