作者：丁點helper
來源：丁點幫你
上一篇文章介紹了一般線性回歸的典型操作，並且留了一個思考題。
感謝小夥伴的參與，大家很厲害，沒有被迷惑到，線性回歸獲得的係數代表的是相關關係，而非因果關聯。
回歸是相關不是因果
多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在於自變量X的數量，在只有一個X時，就稱簡單線性回歸。
因為，回歸的使用僅能說明數據之前存在關聯，但這種關聯是否真正代表了兩者的內在聯繫還需要更深入的研究。
之所以採用回歸分析，就是通過納入多個自變量，達到控制混雜因素的作用，但是我們無法納入所有可能的因素，即所謂的「遺漏變量」（omitted variables），從而導致回歸的結果不準確。
例如，探究教育程度與收入的關係，如果我們在回歸分析中沒有納入「父母的平均教育程度」這個變量，此時，這個變量就被稱為「遺漏變量」。
根據常識，父母的教育程度應該是孩子未來收入的重要影響因素，同時也幾乎決定了孩子的教育程度。因此，遺漏這個變量有可能讓我們得出有偏差的結果（一般會高估個人教育程度對未來收入的影響）。
同時，如果X與Y之間的關係，不是X導致Y，而是Y導致X（稱作「反向因果」），此時的回歸分析也會得出有統計學意義的結果（總體回歸係數不為0）。
但這個結果無法顯示相關關係的方向，即無法判斷是X→Y，還是Y→X，從而誤導我們的判斷。
例如，常有人說，一個國家保護私人產權制度越完善，這個國家就越富裕。
這意味著完備的產權促進了國家經濟的發展，於是人們建議：貧窮的國家都要實施良好的私有產權保護。
不可否認，產權對提升經濟發展的確有作用。但我們不能忽略這其中的反向因果。
也就是說，很有可能是一個國家富裕之後才開始注意產權保護，產權制度才會更加完善，由此，並非是產權促進了經濟的發展，是經濟發展促進了產權的完善。
所以，我們不能只從兩組數據的相關就推測因果，除了那些沒有納入考慮的變量，反向因果也有可能對我們進行誤導。
由此來看，回歸分析更像是一種探索，它提供某種線索，啟示我們下一步的研究方向。
回歸診斷——殘差圖
多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在於自變量X的數量，在只有一個X時，就稱簡單線性回歸。
回歸分析有時候之所以不能揭示因果，除了上面談到的遺漏變量效應和反向因果外，某些假設條件的違反也會導致回歸的結果不準。
所以，我們要牢記做完回歸併不意味著萬事大吉，進行必要的診斷性分析十分必要。
回歸診斷，就是通過各種方法來驗證回歸分析的假設條件以及其他因素的影響，這裡我們重點講講回歸LINE條件的診斷和多重共線性的識別。
前文我們提到過做線性回歸的時候一般需滿足：線性、獨立、正態、方差齊（LINE）條件。
對這些假設條件的診斷其實有各種各樣的辦法，其中一種使用十分廣泛，簡單易學，同時效率也比較高的做法是作殘差圖。
畫殘差圖，一般是以回歸分析Y的預測值為橫軸，以殘差為縱軸做散點圖。
如果打開SPSS，可以看到回歸分析模塊中有很多種殘差：未標準化、標準化、學生化等等。
簡單起見，大家可以選擇所謂的「學生化」殘差。
不知有同學是否了解過，什麼叫「學生化殘差」？（不能再古怪了！）
實際上，它和我們前面學習的t檢驗還有聯繫。
t檢驗發明者的筆名就叫「學生」，即student，所以這裡的「學生化殘差」可以簡單理解為一種t變換（與標準化，即z變換類似）。
具體的細節感興趣的同學可以去查一查。在我們的具體應用中，採用「學生化殘差」和「預測值」做散點圖還是挺簡單的，而且可以發現一些問題。
一條原則：如果線性回歸效果較好，則殘差圖的各個散點會圍繞著「殘差=0」水平線上下均勻分布，如下圖中的紅線。
這可能是最簡單的診斷方法，通過觀察散點在上述紅線上下的分布情況來推測回歸分析的質量，同時提示需要改進的方向。
例如，下面這張散點圖，就提示Y與自變量X之間可能存在某種曲線關係。
當增加某個自變量的二次項後，回歸被改善。
沒有添加任何二次項
增加x1的二次項，擬合效果提示
除此以外，線性回歸診斷另一個常見的問題是，當自變量X之間互相存在高度相關性時，會導致回歸方程估計結果不穩定，回歸係數的標準誤大大增加（可以通過數學公式證明，標準誤計算的分母因為X之間的相關係數而變大，從而整個標準誤變小），稱為共線性。
共線性最大的問題是，導致本身有意義（P＜0.05）的結果變為無意義（P＞0.05）。
SPSS在線性回歸分析模塊也有專門的共線性診斷指標，我們在分析時點選即可：
根據上一篇文章中的例子，共線性診斷的的指標均在要求之內，提示共線性問題不嚴重。
最後，如果線性回歸的LINE沒有通過診斷分析，需要怎樣改進呢？如下圖，大家作為參考，這些內容後期有機會我們逐漸給大家講解。