Softmax分類器

Softmax回歸

在我們之前學習的過程中，我們知道對於簡單的二分類任務，只需要用logistic回歸模型就可以得到想要的結果，對於多分類任務，我們需要用一種新的softmax回歸模型來對數據進行分類。

各xi的softmax函數值之和為1，符合概率之和為1，為了適應不同的數據，引入參數θ，得到假設函數形式如下：

當k=2時，也就是分類數只有兩個時，其實並不需要計算兩個的softmax值，只需要計算其中一個，因為兩種分類的預測概率和必定為1，接下來的另一個只需用1減去第一個softmax值即可。這時softmax的假設函數為：

由於softmax回歸參數冗餘，即被過度參數化了。對於用於擬合數據的假設參數，可以求出多組參數值。那麼我們可以固定一個參數為0，即從兩個參數向量中都減去向量θ1，得到：

令（θ2-θ1） = -θ，則可以看出在二分類條件下，與logistic回歸是一致的（logistic回歸假設函數如下）：

最後我們來看一下softmax在神經網絡中所處的位置，可以看出，softmax是在最後一個全連接層轉輸出的時候用的。

代價函數

log後為假設函數h（x），根據假設函數的定義知道0≤hθ(x)≤1。當yi= 類別數，比如假設狗為class1，貓為class 2，馬為class 3，那麼當yi = 3，也就是真實分類為馬時，將會將其他預測結果h（x）全部刪掉，只保留j = 3時的h（x）。當h（x）越接近1時代價函數越小，反之越大，降低代價函數就會提升模型準確率。

同假設函數一樣，上述公式是logistic回歸代價函數的推廣。logistic代價函數為：

當yi= 1時，後一項為0，其中我們根據假設函數的定義知道0≤hθ(x)≤1，那麼h（xi）越接近1，損失函數越接近0，說明預測越準確，反之損失函數會很大，說明預測結果不準確。這樣降低損失函數就會提升模型準確率。損失函數的形式解釋了為什麼要把softmax定義為指數的形式，這是因為對數似然中的log可以抵消softmax中的exp，使得計算更加簡便：

Softmax回歸的pytorch實現

def softmax(x):    return torch.exp(x)/torch.sum(torch.exp(x), dim=1).view(-1,1)
dim=1是讓torch.sum()逐列進行求和操作，.view(-1,1)是為了防止廣播。這裡提及一下運算中的廣播broadcast，以numpy為例，實現對一個1-d array的每一個元素乘以2。
a = np.array([1., 2., 3.])b = np.array([2., 2., 2.])print(a*b)
a = np.array([1., 2., 3.])b = 2.print(a*b)
輸出：


Reference
深度學習課程 --吳恩達
Deep learing --Ian Goodfellow，Yoshua bengio，Aaron Courville
https://zhuanlan.zhihu.com/p/35010592
https://zhuanlan.zhihu.com/p/30875066
https://zhuanlan.zhihu.com/p/42615390                  
https://medium.com/data-science-bootcamp/understand-the-softmax-function-in-minutes-f3a59641e86d