線性回歸的統計假設 - CSDN

2021-01-11 CSDN技術社區

在用多元線性回歸模型進行統計推斷之前，我們需要知道該模型的基礎假設。假設我們有n個因變量Y及自變量X1，X2，...，Xk的值，我們想推斷多元回歸方程Yi= b0 + b1X1i + b2X2i + ... + bkXki +εi。

為了從多元線性回歸模型中得出有效的推論，我們需要進行以下六個假設，這些假設是經典的多元線性回歸模型有效的前提：

1、因變量Y和自變量X1，X2，...，Xk之間的關係是線性的。

2、自變量（X1，X2，...，Xk）不是隨機的。而且，兩個或多個自變量之間不存在精確的線性關係。

3、以自變量為條件的殘差的期望值為0：E（ε|X1，X2，…，Xk）=0。

4、殘差項的方差對於所有觀察值都是相同的：E（εi^2）=σε^2。

5、殘差項在各個觀測值之間是不相關的：E（εiεj）=0，j≠i。

6、殘差項是正態分布的。

請注意，這些假設與一元線性回歸模型的假設幾乎完全相同。除了假設2，該假設說兩個或多個自變量或自變量組合之間不存在確切的線性關係。如果違反了假設2，那麼我們將無法計算線性回歸的估計值。另外，即使兩個或多個自變量或自變量組合之間不存在確切的線性關係，如果兩個或多個自變量或自變量組合之間相關性很高的話，線性回歸也會存在問題。相關性很高的現象被稱為多重共線性，我們將在後面的內容中討論。

儘管多元線性回歸的公式看上去似乎僅適用於橫截面數據，因為觀測的符號是相同的（i=1，…，n），但實際上也適用於時間序列數據。例如，如果我們分析一個公司多個時間段的數據，則通常使用符號Yt，X1t，X2t，…，Xkt，其中第一個下標表示變量，第二個下標表示第t個時間段。

案例 解釋跨國公司估值的因子

Kyaw，Manley和Shetty（2011）研究了哪些因子會影響跨國公司的估值。他們想知道政治風險、透明度和地域多元化是否影響了跨國公司的估值。他們使用了1998年至2003年間450家美國跨國公司的數據。這些公司的估值使用託賓q來衡量，託賓q是一種常用的公司估值方法，其計算方法是公司股權的市場價值及長期債務的帳面價值之和與權益及長期債務的帳面價值之和的比率。作者對代表政治風險、透明度和地域多元化的變量對跨國公司的託賓q進行了回歸。其中還包括一些可能影響公司估值的其他變量，包括公司規模、槓桿率和beta。回歸的等式如下：

託賓qi,t= b0 + b1（規模i，t）+b2（槓桿i，t）+b3（Betai，t）+b4（政治風險，t）+b5（透明度，t）+b6（地域分布i，t）+εi，t

其中託賓qi，t= 年度t時跨國公司i的託賓q，託賓q的計算公式為（權益+長期債務的帳面價值）/（權益的帳面價值+長期債務的帳面價值）

規模i，t= 年度t時跨國公司i的總銷售額的自然對數，以百萬美元為單位

槓桿i，t= 年度t時跨國公司i的總債務與總資產的比率

Betai，t= 年度t時跨國公司i的貝塔值

政治風險i,t=年度t時跨國公司i在國際業務中潛在風險比例，計算公式為[1–（公司開展業務的安全國家數/公司開展業務的國家總數）]，使用歐洲貨幣局的國家風險編碼

透明度i,t=年度t時跨國公司i的「透明度百分比」，使用標準普爾透明度披露中的調查數據

地域分布i，t= 年度t時跨國公司i在國外的銷售額佔其在當年總銷售額的百分比

下表顯示了分析結果

假設我們使用上圖中的結果來檢驗原假設：跨國公司的規模對其價值沒有影響。我們的原假設是規模變量的係數等於0（H0：b1= 0），而我們的備擇假設是規模變量的係數不等於0（Ha：b1≠0）。

檢驗假設為的t統計量是

通過450個觀測值和7個係數，t統計量具有450– 7 =443個自由度。在0.05的顯著性水平下，t的臨界值約為1.97。規模係數的t統計量絕對值為3.12，這表明我們可以拒絕大小與羅賓q價值無關的原假設。實際上，在0.01的顯著性水平下，t的臨界值約為2.6。

因為規模i，t是銷售額的自然對數，所以規模i，t增加1等於銷售額增長2.72倍。因此，規模i，t的估計係數約為–0.7意味著回歸中其他五個自變量保持不變時，跨國公司銷售額每增長2.72倍（規模i，t增長1），羅賓qi，t就下降0.7。

假設我們要檢驗原假設：地域分布與託賓q不相關，即H0：b6= 0，相應備擇假設為Ha：b6≠0。

檢驗該假設的t統計量是

在0.05的顯著性水平下，t檢驗的臨界值為1.97。因此，在顯著性水平為0.05的情況下，我們可以否定原假設，即地域分布對跨國公司的估值沒有影響。地域分布的係數為0.021，這意味著如果其他自變量保持不變，跨國公司國外銷售額所佔百分比增加1，跨國公司羅賓q將預期增長0.021。

相關焦點

  • 線性回歸假設檢驗專題及常見問題 - CSDN
    機器學習眼中的線性回歸左圖是原始建模數據，目的是用來尋找玩偶數量和成本的某種關係。右圖將數據可視化得到散點圖。第一步 進行場景確定第二步 定義損失函數建模的目的：模型預測值與真實值之間的差距越小越好。下面有兩種定義損失函數的方法。
  • 多元線性回歸的模型解釋、假設檢驗、特徵選擇
    線性回歸是最流行和討論最多的模型之一，它無疑是深入機器學習(ML)的入門之路。這種簡單、直接的建模方法值得學習，這是進入ML的第一步。在繼續討論之前，讓我們回顧一下線性回歸可以大致分為兩類。簡單線性回歸:當只有一個輸入變量時，它是線性回歸最簡單的形式。
  • 的方法 線性回歸方程檢驗專題及常見問題 - CSDN
    回歸方程建立及回歸參數的區間估計，但是它們都是建立在假定因變量和自變量線性相關的基礎上。解：運用Excel對數據進行回歸分析，得到回歸方程和決定係數R平方；回歸係數的檢驗上面回歸方程的檢驗是利用b=0時，回歸方程的特性建立F統計量，進而進行假設檢驗。也可以構造另一個統計量t，如下：利用上述t統計量即可對b進行假設檢驗。
  • 多元線性回歸預測spss - CSDN
    回歸一直是個很重要的主題。因為在數據分析的領域裡邊，模型重要的也是主要的作用包括兩個方面，一是發現，一是預測。而很多時候我們就要通過回歸來進行預測。關於回歸的知識點也許不一定比參數檢驗，非參數檢驗多，但是複雜度卻絕對在其上。回歸主要包括線性回歸，非線性回歸以及分類回歸。本文主要討論多元線性回歸（包括一般多元回歸，含有虛擬變量的多元回歸，以及一點廣義差分的知識）。
  • 回歸分析t檢驗公式_線性回歸t檢驗公式 - CSDN
    【可解釋的方差】     MSM( Mean of Squares for Model)  = SSR /DFM第五：線性回歸和方差分析1、方差分析中的分析變量實際上就是線性回歸中的因變量，方差分析中的分組變量就是線性回歸中的自變量。
  • spss線性回歸自變量因變量專題及常見問題 - CSDN
    該研究想建立變量（pH、SOM、SAN等）與產量之間的回歸方程，此時我們可以考慮採用多元線性回歸分析。前2個假設可根據試驗設計直接判斷；假設（3）的檢驗在之前的教程中已有呈現，點擊「檢驗方法」即可查看。關於假設（4）的檢驗方法如下：1. 點擊 分析 → 回歸 → 線性。2.將pH等自變量選入自變量框，將產量選入因變量框，點擊統計。3.在統計窗口選擇共線性診斷，點擊繼續，然後再主頁面點擊確定即可。
  • 一元線性回歸顯著性檢驗專題及常見問題 - CSDN
    是否真正描述了變量 y 與 x 之間的統計規律性。　　假設：正態性假設 這樣，總平方和SST 中，能夠由自變量解釋的部分為SSR，不能由自變量解釋的部分為SSE，從而，回歸平方和SSR越大，回歸的效果就越好，可以據此構造F 檢驗統計量為
  • spss多元線性回歸模型專題及常見問題 - CSDN
    多元線性回歸，主要是研究一個因變量與多個自變量之間的相關關係，跟一元回歸原理差不多，區別在於影響因素（自變量）更多些而已，例如：一元線性回歸方程 為：    毫無疑問，多元線性回歸方程應該為：2：無偏性假設，即指：期望值為03：同共方差性假設，即指，所有的  隨機誤差變量方差都相等4：獨立性假設，即指：所有的隨機誤差變量都相互獨立，可以用協方差解釋。   今天跟大家一起討論一下，SPSS---多元線性回歸的具體操作過程，下面以教程教程數據為例，分析汽車特徵與汽車銷售量之間的關係。
  • 正態分布 線性回歸 - CSDN
    採用最小二乘法進行線性回歸時，需要滿足特定的條件：正態性：一定範圍內，給定任意x值，對應的y均服從正態分布獨立：即誤差項間不存在相關，一般時間序列數據會存在自相關線性：因變量和自變量有線性關係同方差性：即模型誤差項的方差相等。
  • CFA二級:線性回歸假設的違反,識別與處理「量化方法分析」
    CFA二級量化方法重點分析：線性回歸假設的違反，識別與處理 　　高頓財經CFA講師  Quine老師 　　線性回歸分析的有效性依賴於若干假設，這些假設包括：
  • f值 mse p值 ssr 線性回歸 - CSDN
    回歸分析--多元回歸介紹一下多元回歸分析中的統計量總觀測值 總自變量 自由度：回歸自由度 ，殘差自由度  SST總平方和                  SSR回歸平方和
  • spss 方法 線性回歸專題及常見問題 - CSDN
    本文收集整理關於spss多元線性回歸結果解讀的相關議題，使用內容導航快速到達。內容導航：Q1：請高手幫忙分析下SPSS的多元線性回歸結果吧~急啊~~~你的回歸方法是直接進入法擬合優度R方等於0.678，表示自變量可以解釋因變量的67.8%變化，說明擬合優度還可以。
  • spss多元線性回歸專題及常見問題 - CSDN
    本文收集整理關於spss多元線性回歸結果解讀的相關議題，使用內容導航快速到達。內容導航：Q1：請高手幫忙分析下SPSS的多元線性回歸結果吧~急啊~~~你的回歸方法是直接進入法擬合優度R方等於0.678，表示自變量可以解釋因變量的67.8%變化，說明擬合優度還可以。
  • SPSS統計分析案例:一元線性回歸
    微信號後臺有非常之多的關於回歸分析的留言，作為最常見的統計分析方法，在工作生活中的應用需求量巨大，這兩天已經為大家選好了案例數據，先從一元線性回歸分析開始。一元線性回歸，顧名思義，僅有一個自變量的回歸模型，研究的是一個因素對結果的影響，可以用於預測，也經常被稱之為簡單線性回歸分析。
  • r語言多元線性回歸相關性_多元線性回歸調整相關性 - CSDN
    多元線性回歸多元線性回歸的核心問題：應該選擇哪些變量？？？RSS（殘差平方和）與R2  (相關係數的平方)選擇法：遍歷所有可能的組合，選出使RSS最小，R2  最大的模型。
  • 簡單線性回歸模型
    因為統計的結果表明，高個子父母的子女有低於父母身高的趨勢；而矮個子的子女則有高於父母的趨勢。高爾頓解釋說，自然界存在某種約束力將人的身高向某個平均數靠攏——或者說是回歸——也即是統計學上回歸的涵義。本期我們的主題便是通過R來解決線性回歸分析中的若干問題。
  • 統計計量 | 用R做多元線性回歸分析(文末有福利)
    假設1：解釋變量是非隨機的或固定的，且各X之間互不相關（無多重共線性）；假設2：隨機誤差項具有零均值、同方差及不序列相關；假設3：解釋變量與隨機項不相關；假設4：隨機項滿足正態分布；假設5：樣本容量趨於無窮時，各解釋變量的方差趨於有界常數；假設6：回歸模型的設定是正確的。
  • 【線性回歸】多變量分析:多元回歸分析
    第二，線性回歸思想包含在其它多變量分析中，例如：判別分析的自變量實際上是回歸，尤其是Fisher線性回歸方程；Logistics回歸的自變量也是回歸，只不過是計算線性回歸方程的得分進行了概率轉換；甚至因子分析和主成分分析最終的因子得分或主成分得分也是回歸算出來的；當然，還有很多分析最終也是回歸思想！
  • 自回歸分析法 - CSDN
    >6、預測； 一元線性回歸操作和解釋摘要一元線性回歸可以說是數據分析中非常簡單的一個知識點，有一點點統計、分析、建模經驗的人都知道這個分析的含義，也會用各種工具來做這個分析。什麼是一元線性回歸回歸分析（Regression Analysis)是確定兩種或兩種以上變量間相互依賴的定量關係的一種統計分析方法。在回歸分析中，只包括一個自變量和一個因變量，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。舉個例子來說吧：比方說有一個公司，每月的廣告費用和銷售額，如下表所示：
  • f p 線性回歸專題及常見問題 - CSDN
    \(\omega^{(i)}=\exp(-\frac{(x^{(i)}-x)^2}{2\tau^2})\)單元多項式回歸上邊提到的局部加權線性回歸屬於多元線性回歸,除此之外還有類線性的單元多項式回歸.如多項式假設:\(h_\theta=\theta_0+\theta_1x_1+\theta_2x_1^2+\theta_3x_1^3+\cdots+\theta_mx_1^m\)單元多項式回歸可以輕易地轉化為線性回歸:將高次項用新變量替換即可,轉化為線性假設函數\(h_\theta=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\cdots+\theta_mx_m