1. 回歸方程的顯著性測驗：回歸分析
回歸方程假設檢驗的虛無假設陳述了兩個變量總體間不存在關係，具體表述為：方程沒有對Y值的變異做出有顯著性的貢獻和解釋。或者說回歸方程中算出的b值不能代表任何X和Y之間的真正關係，只是由隨機或者樣本誤差造成的，總體真正的b為零。
Y分數的SS可以被分成兩個部分：可預測的r2和殘差部分（1- r2）。與ANOVA一樣，回歸分析使用F分數來確定回歸方程能解釋的方差是否顯著大於隨機的期望值。
圖表表示為：
2. 多元回歸
之前討論的回歸都是用一個變量預測另一個變量。現實情況中，一個變量通常與多個因素相關，結合幾個預測變量得到更精確的預測的過程被稱為多元回歸。
需要注意的是多元回歸，即使限定於兩個預測變量，預測的過程也可能十分複雜。同時不同預測變量間常常彼此相關，彼此重疊，所以在回歸方程中加入一個預測變量並不總能增加預測的精準度。
如下圖所示IQ和高考成績都與大學成績相關。IQ預測了40%大學成績的方差（a+b）,高考成績預測了30%大學成績的方差（b+c）。當我們把高考成績作為第二個預測變量加入時，由於變量傾向於重疊（b）,加入的新變量不能顯著增加預測的質量。
2.1 兩個預測變量的回歸方程
我們將兩個預測變量表示為X1和X2。那麼兩個預測變量的多元回歸方程的一般形式為：
如果三個變量都轉化為標準z分數，那麼標準化形式是：
2.2 多元回歸方程的目的
多元回歸方程的目的在於得到更精確的估計Y值。這個目標由最小二乘法達成。在多元回歸方程中，誤差被定義為每個個體的預測Y值與實際Y值之間的差異，通過將這些誤差的平方相加，最後我們會通過計算得到最小誤差平方和b1,b2和a值。推導公式較為複雜，這裡不做詳細展開。
2.3 回歸方差所佔的百分比與殘差
對於多元回歸方程，R2描述了Y 分數的總體變異中能被回歸方程說明的那部分所佔的百分比。
SS殘差=（1-R2）SSY
估計的標準誤為
2.4 多元回歸方程的顯著性檢驗：回歸分析
與一元公式一樣，多元回歸顯著性也是通過計算F分數來評估。Y的總變異分為兩部分：
SS回歸，df=2
SS殘差,df=n-3。
A. 評估每個預測變量的貢獻
除了評估多元回歸方差的總體顯著性，研究者還常常需要評估每個預測變量的貢獻。在回歸方程中，由於b值被其他很多因素影響，即使b1大於b2,也不意味著X1是比X2更好地預測。但是在標準化回歸方程中，β值的相對大小可以說明兩個變量的相對貢獻。較大的β值說明該變量預測了更多的方差。
B. 評估每個貢獻的顯著性
除了判斷每個預測變量的相對貢獻，還可以評估每個貢獻的顯著性。虛無假設的一般表述為多元回歸方程並不一定比只有X1的簡單一元回歸方程好。或者公式中的b2值與零沒有顯著差異。假設檢驗首先需要確定用X1和X2共同進行預測的方差比用X1單獨預測的方差大多少。
2.5 多元回歸的應用：控制第三個變量
多元回歸是將第二個預測變量加到回歸方程上，考慮在第一個預測變量的貢獻以外新變量對預測的貢獻的大小。在這個過程中，通過一次只加入一個新的預測變量的做法，研究者就可以排除第三個變量可能對這個關係造成的影響。
參考書目：行為科學統計，現代心理與教育統計學