一、什麼是回歸分析(Regression)
1、定義
確定兩種或兩種以上變量間相關關係的一種統計分析方法。通過數據間相關性分析的研究,進一步建立自變量(i=1,2,3,…)與因變量Y之間的回歸函數關係,即回歸分析模型,從而預測數據的發展趨勢。
2、分類
按照涉及的變量的多少,分為一元回歸和多元回歸分析;
按照因變量的多少,可分為簡單回歸分析和多重回歸分析;
按照自變量和因變量之間的關係類型,可分為線性回歸分析和非線性回歸分析。
二、線性回歸
1、簡單線性回歸
簡單線性回歸又叫一元線性回歸,即回歸模型中只有一個自變量和一個因變量,其回歸方程可以表示為:
Y=a+bx+
其中,Y表示因變量,x表示自變量,a是 常數,b是斜率,是隨機誤差。
2、最小二乘法:
如何確定參數a和b,則要用最小二乘法來實現。通過最小化誤差的平方和尋找數據的最佳函數匹配,即使得觀測點和估計點的距離的平方和最小。
3、線性回歸分析的步驟:
確定自變量和因變量
繪製散點圖,確定回歸模型類型
估計模型參數,建立回歸模型:最小二乘法進行模型參數估計
對回歸模型進行檢驗
利用回歸模型進行預測
4、多重線性回歸
定義:一個因變量與多個自變量的線性回歸問題,是一元線性回歸的推廣。其回歸方程可以寫為:
多重線性回歸方程中回歸係數的估計也是用到最小二乘法
三、用Excel做回歸分析
我們再來展示一下數據集中的真實數據——前11條數據。
EXCEL設置
在默認的EXCEL程序中,是沒有「數據分析」這一選項的。因此,需要進入「選項」啟用「數據分析」功能。
在初始界面點擊「文件」面板,選擇「選項」。
在彈出的界面下,選擇「加載項」,然後右面會出現「分析工具庫」,點擊之,再點擊「轉到」。
在後面跳出的對話框中,把「分析工具庫」勾中,點擊確定。在「數據」面板中就會出現「數據分析」按鈕。
線性回歸步驟
為了使用「數據分析」工具箱,需要跳轉至「數據」面板。
點擊「數據分析」按鈕,就會跳出下圖所示的「數據分析工具箱」。裡面有很多統計分析方法。本文中,只使用「回歸」功能。
選擇「回歸」,並且點擊「確定」。
隨後根據需求,設定回歸的參數。「Y值輸入區域」就是MEDV列;「X值輸入區域」就是前面的13列。注意,如果把第一行的標誌行也選中的話,需要將「標誌框」勾上,否則會報錯。
上圖就是回歸的結果。左側是回歸的數據,右側堆疊起來放置的是各種圖像。在上一個對話框中可以選擇是不是進行繪製。
結果解讀
第一個表格計算了相關係數、R2 、修正R值、標準誤差和觀測值。
第二張表就有些難以解釋了,但是可以用下表表示。
最後一張表記錄了線性回歸的係數、每個變量的標準誤差、置信區間等等。
至於其它表格中的計算結果,是關於每個數據點的偏離程度分析。