[PRML]線性回歸模型--線性基函數模型

本文主要包含以下內容：

1 簡介

2 最大似然和最小二乘

3 最小二乘幾何

4 序列學習

5 正則化最小二乘

6 多元輸出

1 簡介

其中

因此，通過輸入變量的固定的非線性函數的組合來擴展這個模型的類：

其中

參數

式中

在模式識別的應用中，對原始數據變量，會應用固定的預處理形式或特徵提取。如果原始變量包含向量

通過使用非線性基函數，則函數

式2形式的函數被稱為線性模型，因為在

多項式回歸就是這個模型的一個特例，基函數是

其中

另一個s形的基函數的概率形式為：

同樣地，可以用tanh函數，因為圖1所示。

另一個基函數的可能選擇是傅立葉基函數，其是正弦函數的擴展。每個基函數表示一個特定的頻率並且有無限的空間延伸。對比發現，基函數是在由不同空間頻率光譜組成的輸入空間的有限區域內局部化。在許多信號處理中，感興趣的是在空間和頻率上局部化的基函數，即小波(wavelets)。它們也被定義為相互正交，以簡化它們的應用。小波最適用於輸入值位於規則晶格上的情況，例如時間序列中連續的時間點，或圖像中的像素。

2 最大似然和最小二乘

假設目標變量

式中

如果假設損失函數是平方損失函數，則對於新值式8，條件均值可以簡化為：

高斯噪聲假設暗示給定

現在考慮輸入數據集式8中採樣，則得到以下的似然函數的表達式，它是可調參數

式中利用了式3。在監督學習中如回歸和分類，我們不是尋找輸入變量的分布模型。因為

取似然函數的對數並利用單元高斯的標準形式，則有：

式中平方和誤差函數定義如下：

已經寫好了似然函數，下面用似然函數確定

梯度設為0：

然後得到：

上式被稱為最小二乘問題的正規方程(normal equations)。

數量：

被稱為矩陣

此時，我們可以對偏差參數式12)變為：

對

式中定義了：

因此偏差

也可以對噪聲精度參數式11，得到：

因此可以看到噪聲精度的逆由回歸函數周圍的目標值的剩餘方差(residual variance)給出。

3 最小二乘幾何

考慮最小二乘解的幾何解釋。考慮一個圖2所示。

定義式12等於

根據圖2，這種解決方案對應於

在實踐中，正規方程的一個直接的解決方案會導致數值困難當

4 序列學習

批處理技術，例如涉及一次性處理整個訓練集的最大似然解(式15)，對於大型數據集來說計算成本很高。如果數據集足夠大，那麼使用順序算法(sequential algorithms)可能是值得的，也稱為在線算法(on-line algorithms)，在這種算法中，每次考慮一個數據點，並在每次這樣的展示後更新模型參數。順序學習也適用於實時應用，在這種應用中，數據觀察是在一個連續的流中到達的，並且必須在看到所有數據點之前做出預測。

我們可以通過應用隨機梯度下降(stochastic gradient descent)技術，也稱為順序梯度下降(sequential gradient descent)，來獲得一個順序學習算法。如果誤差函數包含數據點的和

式中式12，得：

式中

5 正則化最小二乘

為了控制過擬合，我們在誤差函數中引入了添加正則項的思想，從而使總誤差函數最小化：

也要考慮平方和誤差函數：

則總誤差函數變為：

這種特殊的正則化選擇在機器學習文獻中被稱為權值衰減(weight decay)，因為在順序學習算法中，它鼓勵權值向零衰減，除非有數據支持。在統計學中，它提供了一個參數收縮(parameter shrinkage)方法的示例，因為它將參數值收縮到接近於零。

它的優點是誤差函數仍然是式27關於

這代表了最小二乘解(式15)的簡單擴展。

有時會使用更一般的正則化，正則化誤差採用這種形式：

其中式27)。圖3給出了不同

為了了解這一點，我們首先注意到最小化(式29)等價於最小化受約束的非正則化平方和誤差(式12)

為了獲得參數圖4中看出，在約束條件(式30)下誤差函數的最小值。隨著

通過限制模型的有效複雜度，正則化使得複雜模型可以在有限大小的數據集上進行訓練，而不會出現嚴重的過擬合。然而，確定最優模型複雜度的問題從尋找合適的基函數數量轉移到確定正則化係數的合適值。

6 多元輸出

到目前為止，已經考慮了單一目標變量

式中，

如果有一組觀測

和之前一樣，我們可以最大化這個關於

如果檢查每個目標變量

其中

推廣到具有任意協方差矩陣的一般高斯噪聲分布是直接的。同樣，這導致了