分享經典書籍： A Modern Approach to Regression with R.pdf
連結: https://pan.baidu.com/s/14NJt7CrOpUUe2hYyrJn_rg 提取碼: 7fv6
多元線性回歸
掌握多元線性回歸模型的估計方法、掌握多重共線性模型的識別和修正。
多元線性回歸模型，並識別和修正多重共線性。
普通最小二乘法、簡單相關係數檢驗法、綜合判斷法、逐步回歸法。
最小二乘估計的原理、t檢驗、F檢驗、擬合優度R方值。
1 用OLS估計模型
設定多元線性回歸模型為：
y=a0+a1*x1+a2*x2+a3*x3+a4*x4
用普通最小二乘法進行估計，點擊主界面菜單Quick\Estimate Equation，在彈出的對話框中輸入：Y C X1 X2 X3 X4，點擊確定即可得到回歸結果，如圖2所示。
根據圖2中的數據，可得到模型的估計結果為：
其中，括號內的數為相應的t檢驗值。從以上回歸結果可以看出，擬合優度很高，整體效果的F檢驗通過。但很明顯，在5%的顯著性水平下，模型中的各參數均不通過檢驗，在10%的顯著性水平下，也只有X2的係數通過檢驗。故認為解析變量之間存在多重共線性。
2 多重共線性模型的識別
2.1 綜合判斷法
由模型的估計結果可以看出R方=0.979655，可決係數很高，說明模型對樣本的擬合很好；F=60.18950檢驗值比較大，相應的P=0.000204，說明回歸方程顯著，即各自變量聯合起來確實對因變量Y有顯著影響；給定顯著性水平a=0.05，但變量X1、X2、X3、X4係數的t統計量分別為1.246、2.397、-0.693、0.420，相應的p值分別為0.2681、0.0619、0.5190、0.6916，說明變量均對因變量影響不顯著。綜合上述分析，表明模型存在非常嚴重的多重共線性。
2.2 簡單相關係數檢驗法
計算解析變量X1、X2、X3、X4的簡單相關係數矩陣。
選中X1、X2、X3、X4，產生一個組，然後點擊View\Covariance Analysis\僅選中Correlation，即可得出相關係數矩陣，如圖3所示。再點擊頂部的Freeze按鈕，可以得到一個Table類型獨立的Object：
相關係數矩陣看，各解析變量之間的相關係數較高，相關係數越靠近1，則高度相關，證實解析變量之間存在多重共線性。
3 多重共線性模型的修正
關於多重共線性的修正方法一般有變量變換法、先驗信息法、逐步回歸法等。
4 異方差性
異方差性模型的檢驗方法與處理方法
異方差模型的圖形法檢驗、Goldfeld-Quanadt檢驗與White檢驗，使用WLS方法、異方差穩健標準誤方法對異方差進行修正
4.1 檢驗模型的異方差性
4.1.1 圖形檢驗法
生成殘差序列。在得到圖2結果後，在工作文件中點擊Object\Generate Series…，在彈出的窗口中，在主窗口鍵入命令如下「e2=resid^2」，如圖3所示，得到殘差平方和序列e2。
繪製殘差平方和序列e2對變量xi的散點圖。按住Ctrl鍵，同時選擇變量X與e2，以組對象方式打開，進入數據列表，再點擊View\Graph\Scatter\Simple Scatter，可得散點圖，如果殘差平方和e2對xi大致存在遞增關係，即存在單調增型異方差。
4.1.2 White檢驗
回歸估計結果中，點擊View\Residual Diagnostics\ heteroskedasticity Test\White,進入White檢驗，進過估計出現White檢驗的結果如圖9所示。
White統計量nR^2，該值大於5%顯著性水平下自由度為k-1的卡方分布的相應臨界值,則拒絕同方差性的原假設。
4.2 異方差性的修正
4.2.1 加權最小二乘法
運用OLS方法估計過程中，我們選用權數w=1/abs(e) (其中abs是取殘差序列的絕對值)。權數生成過程如下，在圖2的情況下，在工作文件中點擊Object\Generate Series…，在彈出的窗口中，在Enter equation處輸入w=1/@abs(resid).
在工作文件中點擊Quick\Estimate Equation，輸入回歸表達式對應命令，
然後，點擊Options選項，選中Weights裡的Type選中Inverse std. dev，在Weight series框中輸入w，點擊確定，即可得到加權最小二乘法的結果
4.2.2 異方差穩健性標準誤方法
回歸界面--Spection窗口，點擊Option按鈕，在出現的Estimation Options窗口中，在Coefficient covariance matrix中選中White ，再點擊確定按鈕，即得到結果。
4.2.3 對數變換法
5 自相關性
自相關性模型的圖形法檢驗和DW檢驗，使用廣義最小二乘法和廣義差分法進行修正。
DW檢驗：
該回歸方程的中的DW值結合查表即可知，模型中Dw<Dl，顯然模型中存在正自相關。
具體關係如下：https://baike.baidu.com/item/D-W檢驗/8030379
殘差圖：
殘差圖中，殘差的變動有系統模式，連續為正和連續為負，表明殘差存在一階正自相關，模型中t統計量和F統計量的結論不可信，需要採取補救措施。
點擊工作文件窗口工具欄中的Object\Generate Series…,在彈出的對話框中輸入et=resid,如圖4所示，點擊OK得到殘差序列et。
點擊Quick\Graph，在彈出的對話框中輸入：et，再點擊OK，彈出來的窗口選擇Line&Symbol，點擊OK，得到殘差項e與時間的關係圖，如圖5所示，點擊Quick\Graph，在彈出的對話框中輸入：et(-1) et,再點擊OK，在彈出的窗口中選擇Scatter點擊OK,得到殘差項 e(t)與e(t-1)時間的關係圖，如圖6所示。
圖 5 圖 6
從圖5和圖6中可以看出，隨機幹擾項呈現正相關。
拉格朗日乘數檢驗：
在回歸結果界面--點擊View\Residual Diagnostics\Serial Correlation LM Test…，在彈出的對話框中輸入：1，點擊OK，得到
採用差分形式作為新數據，估計模型並檢驗相關性