正定矩陣與半正定矩陣

「多元函數為凸函數的充要條件為其二階Hessian矩陣半正定」

這是判斷一個多元函數是否為凸函數的重要依據。今天學習兩個知識點，一個是Hessian矩陣，一個是正定與半正定。

1. 什麼是Hessian矩陣？

在數學中，海森矩陣（Hessian matrix 或 Hessian）是一個多變量實值函數的二階偏導數組成的方塊矩陣，假設有一實數函數

如果 f 所有的二階偏導數都存在，那麼 f的海森矩陣的第(i,j)項即f{\displaystyle f}f{\displaystyle 

其中，。那麼，

2. 正定矩陣與半正定矩陣

A. 正定矩陣

在線性代數裡，正定矩陣 (positive definite matrix) 有時會簡稱為正定陣。 

A是n階方陣，如果對任何非零向量x，都有

那麼就稱A為正定矩陣。

性質:

正定矩陣的行列式恆為正；
實對稱矩陣A正定若且唯若A與單位矩陣合同；

（合同矩陣：設A,B是兩個n階方陣，若存在可逆矩陣C，使得，則稱方陣A與B合同，記作 A≃B。）

兩個正定矩陣的和是正定矩陣；
正實數與正定矩陣的乘積是正定矩陣。

等價命題:
對於n階實對稱矩陣A，下列條件是等價的：

A是正定矩陣；
A的一切順序主子式均為正；
‍‍A的一切主子式均為正；

A的特徵值均為正；

存在實可逆矩陣C，使A=C'C；

存在秩為n的m×n實矩陣B，使A=B'B；

存在主對角線元素全為正的實三角矩陣R，使A=R'R

‍‍

根據正定矩陣的定義及性質，判別對稱矩陣A的正定性有兩種方法：

求出A的所有特徵值。若A的特徵值均為正數，則A是正定的；若A的特徵值均為負數，則A為負定的。

計算A的各階順序主子式。若A的各階順序主子式均大於零，則A是正定的；若A的各階順序主子式中，奇數階主子式為負，偶數階為正，則A為負定的。

B. 半正定矩陣

設A是實對稱矩陣。如果對任意的實非零列向量x有

稱A為半正定矩陣。
對於半正定矩陣來說，所有的主子式非負。順序主子式非負並不能推出矩陣是半正定的。
性質:

半正定矩陣的行列式是非負的；
兩個半正定矩陣的和是半正定的；
非負實數與半正定矩陣的數乘矩陣是半正定的。

等價條件:

A是半正定的；
A的所有主子式均為非負的；
A的特徵值均為非負的；
存在n階實矩陣C，使A=C'C；
存在秩為r的r×n實矩陣B，使A=B'B。

例如：

其中，

那麼等價於下面三個約束條件：

3. Hessian矩陣的正定性

Hessian矩陣的正定性在判斷優化算法可行性時非常有用，簡單地說，Hessian矩陣正定，則

函數的二階偏導數恆 > 0

函數的變化率（斜率）即一階導數始終處於遞增狀態

函數為凸

因此，在諸如牛頓法等梯度方法中，使用Hessian矩陣的正定性可以非常便捷的判斷函數是否有凸性，也就是是否可收斂到局部/全局的最優解。