人工智慧機器學習三大類之回歸模型(RM)

人工智慧機器學習三大類之回歸模型（RM）

工程師1 發表於 2018-07-13 01:39:00

人工智慧之機器學習主要有三大類：1）分類；2）回歸；3）聚類。今天我們重點探討一下回歸模型（RM）。

回歸不是單一的有監督學習技術，而是許多技術所屬的整個類別。回歸的目的是預測數值型的目標值，如預測商品價格、未來幾天的PM2．5等。最直接的辦法是依據輸入寫出一個目標值的計算公式，該公式就是所謂的回歸方程（regressionequation）。求回歸方程中的回歸係數的過程就是回歸。回歸是對真實值的一種逼近預測。回歸是統計學中最有力的算法之一。

回歸概念：

回歸是一個數學術語，指研究一組隨機變量（Y1，Y2 ，…，Yi）和另一組（X1，X2，…，Xk）變量之間關係的統計分析方法，又稱多重回歸分析。其中， X1、X2，…，Xk是自變量，Y1，Y2，…，Yi是因變量。

回歸模型：

回歸模型（Regression Model）對統計關係進行定量描述的一種數學模型。它是一種預測性的建模技術，研究的是因變量（目標）和自變量（預測器）之間的關係。這種技術通常用於預測分析，時間序列模型以及發現變量之間的因果關係。

回歸分析：

回歸模型重要的基礎或者方法就是回歸分析。回歸分析是研究一個變量（被解釋變量）關於另一個（些）變量（解釋變量）的具體依賴關係的計算方法和理論，是建模和分析數據的重要工具。回歸分析是用已知樣本對未知公式參數的估計，給出一個點集D，用一個函數去擬合這個點集，並且使得點集與擬合函數間的誤差最小。

回歸分類：

在統計學中，回歸分析（regression analysis）指的是確定兩種或兩種以上變量間相互依賴的定量關係的一種統計分析方法。回歸分析按照涉及的變量多少，分為一元回歸和多元回歸分析；按照因變量的多少，可分為簡單回歸分析和多重回歸分析；按照自變量和因變量之間的關係類型，可分為線性回歸分析和非線性回歸分析。

常見的回歸種類有：線性回歸、曲線回歸、邏輯回歸等。

線性回歸：

如果擬合函數為參數未知的線性函數，即因變量和自變量為線性關係時，則稱為線性回歸。

通過大量訓練，得到一個與數據擬合效果最好的模型，可利用一些算法（比如最小二乘法、梯度下降法等）和工具（SPSS）來更快更好的訓練出適用的線性回歸模型。實質是求解出每個特徵自變量的權值θ。

在訓練過程中，特徵選擇，擬合優化等都需要考慮。

最終目標是確定每個權值（參數）θ或者通過算法逼近真實的權值（參數）θ。

需要注意的是，線性回歸不是指樣本的線性，樣本可以是非線性的，而是指對參數θ的線性。

線性回歸問題：可能會出現欠擬合、非滿秩矩陣問題等。

解決方法：解決欠擬合問題，可採用局部加權線性回歸LWLR（Locally Weighted Linear Regression）。解決非滿秩矩陣問題，可使用嶺回歸RR（ridge regression）、Lasso法、前向逐步回歸等。

算法優點：

1）最可解釋的機器學習算法之一，理解與解釋都十分直觀；

2）易於使用，因為需要最小的調諧；

3）運行快，效率高；

4）最廣泛使用的機器學習技術。

非線性回歸：

如果擬合函數為參數未知的非線性函數，則稱為非線性或曲線回歸。非線性函數的求解一般可分為將非線性變換成線性和不能變換成線性兩大類。

1） 變換成線性：處理非線性回歸的基本方法。通過變量變換，將非線性回歸化為線性回歸，然後用線性回歸方法處理。一般採用線性迭代法、分段回歸法、迭代最小二乘法等。

2）不能變換成線性：基於回歸問題的最小二乘法，在求誤差平方和最小的極值問題上，應用了最優化方法中對無約束極值問題的一種數學解法——單純形法。該算法比較簡單，收斂效果和收斂速度都比較理想。

常見的非線性回歸模型：1）雙曲線模型；2）冪函數模型；3）指數函數模型；4）對數函數模型；5）多項式模型。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴