線性回歸方程的顯著性驗證,總體驗證的F檢驗與個體驗證的t檢驗

2020-12-04 許栩原創之管理與職場

許栩原創專欄《從入門到高手:線性回歸分析詳解》第8章,顯著性驗證,總體驗證的F檢驗與個體驗證的t檢驗。

上一章,我講述了回歸方程的精度,在回歸分析中,我們求出回歸方程後,除了確認回歸方程的精度外,我們要需要對回歸方程進行顯著性驗證,以確認回歸方程的有效性。

本章,我同樣分如下三個小節對顯著性驗證進行講解,歡迎閱讀與探討。我的《線性回歸分析》專欄總目錄見下圖。

1、什麼是顯著性驗證?

2、回歸方程的總體顯著性驗證(F檢驗)。

3、回歸係數的個體顯著性驗證(t檢驗)。

一、什麼是顯著性驗證?

如果回歸模型用於需求預測是有效的(顯著的),那麼,回歸模型不僅僅是對我們建模時所用到的數據有效,對其他數據也應該用樣有效。證明回歸模型對其他數據同樣有效的過程,就是顯著性驗證(significance testing),也稱有效性驗證。如果驗證的結果反饋對其他數據無效,那麼,代表我們的回歸模型(回歸方程)出現了問題,我們需要調整自變量或重新建模。

以上是我給顯著性驗證的一個粗暴定義。

顯著性驗證的定義其實非常複雜,也有些難懂(比如下面引用的百科定義)。在本專欄的兩點說明中,有一點我提到「儘可能減少原理性講述」,本著這個思路,我給出了如上的簡化定義。因為,我們不是研究回歸分析這個學科或學術,我們只是將回歸分析應用於需求預測。所以,對於應用回歸分析的我們來說,懂得這個粗暴定義應該足夠了。

【顯著性驗證百科定義】顯著性驗證,是事先對總體(隨機變量)的參數或總體分布形式做出一個假設,然後利用樣本信息來判斷這個假設是否合理,即判斷總體的真實情況與原假設是否有顯著性差異。

顯著性驗證的方法一般有兩種,一是測算回歸方程總體顯著性的F檢驗,二是測算變量解釋係數(即回歸係數)個體顯著性的t檢驗。

進行F檢驗或t檢驗,都需要知道一個概念,顯著性水平。什麼是顯著性水平呢?顯著性水平是估計總體參數落在某一區間內,可能犯錯誤的概率,用α表示。

有點繞吧,我將其翻譯成簡單點的:顯著性水平就是對這個模型運行結果沒有把握的程度,與之相對應的是置信度。比如說,用回歸分析對火鍋店的業績進行預測,對預測結果,有80%的把度,這80%就是置信度,20%(1-80%)則是顯著性水平。(置信度與置信區間我將在下一章詳細講述。)

接下來我分別介紹F檢驗和t檢驗這兩種顯著性驗證方法。

二、回歸方程的總體顯著性驗證(F檢驗)。

如本專欄說明所說,「儘可能減少原理性講述」,F檢驗和t檢驗,我都不進行原理性講解,只介紹計算方法和判定標準。

F檢驗測算的是回歸方程的總體顯著性,我們以Excel的數據分析工具進行F檢驗。(原始數據仍使用本專欄模擬的「回歸火鍋店」的數據。)

我們看上圖。上圖是以5%的顯著性水平(置信度95%),用Excel的數據分析工具中的回歸分析計算的結果。結果顯示,F統計值為15.19。

那麼,F統計值為15.19,這個15.19,是高還是低呢?在回歸方程的總體顯著性驗證中怎麼評估呢?這就需要根據F檢驗的評價標準而定。

F檢驗的評價標準及怎麼去評價,我們分兩步進行。

相關焦點

  • 回歸係數顯著性t檢驗_多元線性回歸方程及回歸係數的顯著性檢驗...
    SSR回歸平方和表示,數據可解釋的差異【也就是回歸方程能解釋的差異】          RSS殘差平方和,表示不可解釋的差異。這裡的y就是因變量,x就是自變量,但是這裡需要注意的就是,x是分類變量的時候,就變成了方差分析的形式了,當x是連續型變量的時候,就變成了線性回歸的形式了。第六:線性回歸的T檢驗檢測對象:單個回歸係數參數是否顯著為0。構造原理:檢測的係數是否足夠接近0值?服從的分布是t分布。
  • 回歸方程的顯著性檢驗 - CSDN
    回歸方程的顯著性檢驗  t 檢驗(回歸係數的檢驗)  F 檢驗(回歸方程的檢驗)  相關係數的顯著性檢驗  樣本決定係數  三種檢驗的關係 二、回歸方程的顯著性檢驗  目的:檢驗   3.相關係數的顯著性檢驗  因為一元線性回歸方程討論的是變量 x 與變量 y 之間的線性關係,所以變量 x 與 y 之間的相關係數來檢驗回歸方程的顯著性。用相關係數來反應 x 與 y 的線性關係的密切程度。
  • 的方法 線性回歸方程檢驗專題及常見問題 - CSDN
    解:運用Excel對數據進行回歸分析,得到回歸方程和決定係數R平方;決定係數為0.9149,相關係數r=0.9565;相關係數r的假設檢驗過程如下:回歸方程的檢驗對回歸方程進行顯著性檢驗,就是看自變量從總體上是否對因變量有明顯的影響。
  • 一元回歸t檢驗與f檢驗_多元回歸模型的r檢驗f檢驗與t檢驗 - CSDN
    變量的顯著性檢驗變量的顯著性檢驗的目的:剔除回歸係數中不顯著的解釋變量(也就是X),使得模型更簡潔。在一元線性模型中,我們只有有一個自變量X,就是要判斷X對Y是否有顯著性的影響;多元線性回歸中,驗證每個Xi自身是否真的對Y有顯著的影響,不顯著的就應該從模型去掉。
  • 回歸係數顯著性t檢驗 - CSDN
    回歸方程的顯著性檢驗  t 檢驗(回歸係數的檢驗)  F 檢驗(回歸方程的檢驗)  相關係數的顯著性檢驗  樣本決定係數  三種檢驗的關係 二、回歸方程的顯著性檢驗  目的:檢驗   3.相關係數的顯著性檢驗  因為一元線性回歸方程討論的是變量 x 與變量 y 之間的線性關係,所以變量 x 與 y 之間的相關係數來檢驗回歸方程的顯著性。用相關係數來反應 x 與 y 的線性關係的密切程度。
  • 一元線性回歸顯著性檢驗專題及常見問題 - CSDN
    回歸方程的顯著性檢驗  t 檢驗(回歸係數的檢驗)  F 檢驗(回歸方程的檢驗)  相關係數的顯著性檢驗  樣本決定係數  三種檢驗的關係 二、回歸方程的顯著性檢驗  目的:檢驗   3.相關係數的顯著性檢驗  因為一元線性回歸方程討論的是變量 x 與變量 y 之間的線性關係,所以變量 x 與 y 之間的相關係數來檢驗回歸方程的顯著性。用相關係數來反應 x 與 y 的線性關係的密切程度。
  • 回歸分析t檢驗公式_線性回歸t檢驗公式 - CSDN
    SSR回歸平方和表示,數據可解釋的差異【也就是回歸方程能解釋的差異】          RSS殘差平方和,表示不可解釋的差異。這裡的y就是因變量,x就是自變量,但是這裡需要注意的就是,x是分類變量的時候,就變成了方差分析的形式了,當x是連續型變量的時候,就變成了線性回歸的形式了。第六:線性回歸的T檢驗檢測對象:單個回歸係數參數是否顯著為0。構造原理:檢測的係數是否足夠接近0值?服從的分布是t分布。
  • t檢驗回歸方程專題及常見問題 - CSDN
    回歸方程的顯著性檢驗  t 檢驗(回歸係數的檢驗)  F 檢驗(回歸方程的檢驗)  相關係數的顯著性檢驗  樣本決定係數  三種檢驗的關係 二、回歸方程的顯著性檢驗  目的:檢驗   3.相關係數的顯著性檢驗  因為一元線性回歸方程討論的是變量 x 與變量 y 之間的線性關係,所以變量 x 與 y 之間的相關係數來檢驗回歸方程的顯著性。用相關係數來反應 x 與 y 的線性關係的密切程度。
  • 線性回歸分析詳解10(完結篇):線性回歸分析預測的十大步驟
    線性回歸分析專格欄總目錄請見上圖,前9章,我分別講述了回歸分析及與回分析相關的概念,一元、多元線性回歸分析的公式與計算方法,以及多重共線性、回歸方程的精度、顯著性驗證和置信區間等進行回歸分析的重要步驟及其計算方法。至此,以回歸分析進行需求預測的各項知識點及各項準備工作全部完成,我們可以正式的以回歸分析進行需求預測。
  • 多元線性回歸t檢驗專題及常見問題 - CSDN
    多元線性回歸模型通常用來研究一個應變量依賴多個自變量的變化關係,如果二者的以來關係可以用線性形式來刻畫,則可以建立多元線性模型來進行分析。1.t檢驗t檢驗是對單個變量係數的顯著性檢驗,一般看p值; 如果p值小於0.05表示該自變量對因變量解釋性很強。
  • 在回歸分析中t檢驗_回歸分析的t檢驗如何做 - CSDN
    總體與樣本的概念總體:把研究對象的全體稱為總體樣本:一般地,從研究的總體中按照一定規則抽取n個個體進行觀察或試驗,這n個個體稱為總體的一個樣本3. 抽樣估計的理論基礎抽樣估計是利用抽樣調查所獲得的樣本信息,根據概率論所揭示的隨機變量的一般規律,對總體的某些數量特徵進行估計的一種統計分析方法。
  • 檢驗回歸係數的顯著性excel_excel相關係數顯著性檢驗 - CSDN
    二、線性回歸1、簡單線性回歸簡單線性回歸又叫一元線性回歸,即回歸模型中只有一個自變量和一個因變量,其回歸方程可以表示為:其回歸方程可以寫為: 多重線性回歸方程中回歸係數的估計也是用到最小二乘法  4、  第二張表,方差分析表,df是自由度,SS是平方和,MS是均方,F是F統計量,Significance F是回歸方程總體的顯著性檢驗,其中我們主要關注F檢驗的結果,即Significance F值,F檢驗主要是檢驗因變量與自變量之間的線性關係是否顯著,用線性模型來描述他們之間的關係是否恰當
  • 理解 t 檢驗與 F 檢驗的區別
    為此,我們進行t檢定,算出一個t檢定值。與統計學家建立的以「總體中沒差別」作基礎的隨機變量t分布進行比較,看看在多少%的機會(亦即顯著性sig值)下會得到目前的結果。它主要用於:均數差別的顯著性檢驗、分離各有關因素並估計其對總變異的作用、分析因素間的交互作用、方差齊性(Equality of Variances)檢驗等情況。t檢驗過程,是對兩樣本均數(mean)差別的顯著性進行檢驗。惟t檢驗須知道兩個總體的方差(Variances)是否相等;t檢驗值的計算會因方差是否相等而有所不同。
  • T檢驗與F檢驗,你分清楚嗎?
    另一種解釋:t檢驗有單樣本t檢驗,配對t檢驗和兩樣本t檢驗。單樣本t檢驗:是用樣本均數代表的未知總體均數和已知總體均數進行比較,來觀察此組樣本與總體的差異性。若是單組設計,必須給出一個標準值或總體均值,同時,提供一組定量的觀測結果,應用t檢驗的前提條件就是該組資料必須服從正態分布;若是配對設計,每對數的差值必須服從正態分布;若是成組設計,個體之間相互獨立,兩組資料均取自正態分布的總體,並滿足方差齊性。
  • T檢驗與F檢驗,傻傻分不清楚?
    為此,我們進行 t 檢定,算出一個 t 檢定值。與統計學家建立的以「總體中沒差別」作基礎的隨機變量 t 分布進行比較,看看在多少 % 的機會 (亦即顯著性 sig 值) 下會得到目前的結果。它主要用於:均數差別的顯著性檢驗、分離各有關因素並估計其對總變異的作用、分析因素間的交互作用、方差齊性(Equality of Variances)檢驗等情況。 4.   T 檢驗和 F 檢驗的關係t 檢驗過程,是對兩樣本均數(mean)差別的顯著性進行檢驗。
  • t檢驗的目的_單樣本t檢驗的目的 - CSDN
    若是單組設計,必須給出一個標準值或總體均值,同時,提供一組定量的觀測結果,應用t檢驗的前提條件就是該組資料必須服從正態分布;若是配對設計,每對數據的差值必須服從正態分布;若是成組設計,個體之間相互獨立,兩組資料均取自正態分布的總體,並滿足方差齊性。
  • 範例分析:多元線性回歸分析
    ;回歸參數的區間估計;一元(簡單線性)回歸方程的假設檢驗;範例分析:一元(簡單線性)相關與回歸分析;多元線性回歸分析;線性回歸的步驟不論是一元還是多元相同,步驟如下:1、散點圖判斷變量關係(簡單線性);2、求相關係數及線性驗證;3、求回歸係數,建立回歸方程
  • f t 線性回歸專題及常見問題 - CSDN
    1、標準化對於多元線性回歸需要對各個自變量進行標準化,排除單位的影響。標準化方法:即將原始數據減去相應變量的均數後再除以該變量的標準差,而標準化得到的回歸方程稱為標準化回歸方程,相應得回歸係數為標準化回歸係數。
  • 通俗理解T檢驗與F檢驗的區別
    與統計學家建立的以「總體中沒差別」作基礎的隨機變量t分布進行比較,看看在多少%的機會(亦即顯著性sig值)下會得到目前的結果。若顯著性sig值很少,比如<0.05(少於5%機率),亦即是說,「如果」總體「真的」沒有差別,那麼就只有在機會很少(5%)、很罕有的情況下,才會出現目前這樣本的情況。
  • 回歸分析檢驗_回歸分析中f檢驗和t檢驗 - CSDN
    『回歸分析』『線性回歸中的平方誤差』如上圖,線性回歸的平方誤差如下『卡方檢驗』卡方檢驗是一種基於卡方分布的常用的統計(顯著性)檢驗,其統計量在原假設成立時服從卡方分布。