逐步回歸分析法及其應用

2021-02-19 計量經濟學

導讀:逐步回歸分析是多元回歸分析中的一種方法,在經濟研究建模中發揮著重要的作用。文章系統介紹了逐步回歸分析,並分析了逐步回歸分析在經濟研究(建模與預測)中的應用步驟與需要注意的問題。

來源 | 統計與決策

作者丨遊士兵,嚴研,武漢大學經濟與管理學院

原文有刪減

逐步回歸分析是多元回歸分析中的一種方法。回歸分析是用於研究多個變量之間相互依賴的關係,而逐步回歸分析往往用於建立最優或合適的回歸模型,從而更加深入地研究變量之間的依賴關係。目前,逐步回歸分析被廣泛應用於各個學科領域,如醫學、氣象學、人文科學、經濟學等。

經濟現象紛繁複雜並多變,經濟問題往往需要研究一個(或多個)變量(如一國的產出)與其他變量(如資本、勞動力、人口、技術等)相互間的關係,從而揭示經濟現象背後的經濟規律,用於解決現實中的經濟問題,制定經濟政策等。因此,多元回歸分析在現代經濟學,尤其是其分支學科計量經濟學中常常得到應用。隨著統計學與計量經濟學軟體的開發與應用,經濟研究者在經濟學的實證分析過程中越來越多的採用逐步回歸分析的方法來建立多元回歸模型。因此,研究逐步回歸分析及其在經濟學研究中的應用具有理論與實踐意義

目前,國內外對於逐步回歸分析的研究主要停留在理論敘述,不少學者提出了修正逐步回歸法的新方法,如類逐步回歸法、基於單元步的逐步回歸法、「宜取回歸方程」的逐步回歸法等。趙希男(1994)提出並在理論上證明可將逐步回歸算法從靜態系統拓廣到其他系統(動態系統、分布參數等系統)。傳統的逐步回歸法通常用於靜態系統,即自變量為非隨機變量時。當自變量為分布型變量時,基於傳統的逐步回歸法,由於統計量的分布非常複雜,基於統計量的算法難以實現。該文運用泛函分析,按照傳統逐步回歸法一致思想和相似的步驟,加以拓廣,以有效性(剩餘相關係數)為標準剔除或是引入變量,從而使得逐步回歸法應用範圍更廣。張華嘉、舒元(1998)提出單元步的概念來修正傳統逐步回歸法,並以實例證明這種方法的優勢。逐步回歸法的自變量個數可能偏小,而向後回歸法可能納入更多的變量,同時帶來多重共線性。為了避免多重共線性並包含更多的變量,他們分析向後回歸法較逐步回歸法而多餘的變量,以一個或幾個變量為一單元步(當去掉該單元步中所有變量時其餘變量顯著,而去掉其中某一部分變量,單元步中剩餘的變量總存在不顯著變量)。確定單元步變量之後,以單元步為整體,確定是否剔除單元步。陳全潤、楊翠紅(2008)提出了基於殘差項絕對值加權和最小準則下的回歸估計,以有效性為指標來選擇剔除或是刪除變量的類逐步回歸法。

而經濟學者多直接採用這一方法研究各種經濟問題,而忽略這種方法可能存在的問題與局限性。而且在具體應用逐步回歸分析法時,不同的研究者常採用不同的算法。

逐步回歸法作為建立最優線性回歸模型的一種方法,在經濟研究中也得到廣泛的應用,尤其是在經濟建模與預測中。因為逐步回歸法簡單易行,所得的回歸方程的變量較少,並保留了影響最顯著的重要變量,而且在實踐中這種方法也被證明較為有效,預測精確度較高;同時經濟變量之間往往存在相互關係,即經濟變量可能存在多重共線性,而逐步回歸在一定程度上可以修正多重共線性。

本文將全面、系統地闡釋逐步回歸分析,從經濟建模與預測角度進行探討,並說明逐步回歸分析在經濟研究中的具體應用、局限性以及可能存在的問題。

逐步回歸分析建立於線性回歸模型的基礎上,本文將以經典的多元線性回歸模型為例進行闡釋。在建立模型過程中,需要選擇合適的變量。如果變量過多,可能會導致預測精度下降,或者有時收集某些變量的數據成本很高,從而不得不放棄某些變量。當然如果影響顯著的變量沒有包括在模型內,也會影響預測精度。因此,需要進一步解決的問題是建立「最優」的回歸方程,這裡「最優」的回歸方程,通常是指模型中包含所有對因變量 Y 影響顯著的自變量,而不包含對因變量 Y 影響不顯著的自變量。建立「最優」的回歸方程主要有三種方法。一種是計算量很大的全子集法,以某一確定準則來確定最優回歸子集;另一種是「最優」子集的變量篩選法,該方法基於偏回歸平方和檢驗逐步引入變量或是逐步剔除變量或是兩者結合,包括向前引入法、向後剔除法與逐步回歸法(即逐步回歸分析);第三種是計算量適中的選擇法。

逐步回歸法可以認為是向前引入法與向後剔除法的綜合。逐步回歸法克服了向前引入法與向後剔除法的缺點,吸收兩種方法的優點。逐步回歸法是以向前引入為主,變量可進可出的變量選取方法。它的基本思想是,當被選入的變量在新變量引入後變得不重要時,可以將其剔除,而被剔除的變量當它在新變量引入後變得重要時,又可以重新選入方程。

應用逐步回歸法修正多重共線性逐步回歸法用於多重共線性的檢驗。逐步回歸法的基本思想是逐個引入新的變量。考慮是否引入新的變量時,若偏回歸平方和變化顯著,則可以引入,否則不引入。此時,若偏回歸平方和經檢驗顯著,則表明可以認為新變量是獨立的解釋變量,而不可以由其他解釋變量(近似)線性表示,否則說明新變量不獨立。

逐步回歸分析應用中應注意的問題

建立經濟模型是分析研究經濟問題的一個有效而常用的途徑。將逐步回歸法應用於經濟建模與預測必須將其置於經濟大背景下,把研究對象作為經濟問題,而非單純的統計學問題來考察。應用逐步回歸法建立經濟模型時,應該基本遵循以下步驟,並設定理論模型為多元線性回歸模型:第一,選取合適的變量;第二,樣本數據的收集與整理;第三,模型參數估計;第四,應用逐步回歸法並結合其他的模型檢驗,確定最優的線性回歸方程;第五,根據上述模型,分析實際問題,得出結論或是提出政策建議等。

逐步回歸的基本思想是逐個引入新變量,每引入一個新變量時考慮是否剔除已選變量,直至不再引入新變量。這種方法既保障了方程能保留影響顯著的變量,又能夠剔除非顯著的變量。它以向前回歸為主,結合向後剔除法,通常可以獲得較好地擬合效果,因此,被廣泛應用於經濟建模與預測。不過,這並不代表逐步回歸法就是毫無缺陷的方法。理論上,在變量個數較少時,全子集法是能夠獲得在某一準則下的最優回歸方程,而且計算量也在可以接受的範圍,相對於逐步回歸法可能更優。而逐步回歸法則依賴於人為確定的顯著性水平,不同的顯著性水平可能得到的結果不一樣,而且也很難給出理論上證明其回歸方程的最優性。換言之,逐步回歸法只是一種實踐上較為有效的方法,理論上它沒有被證明所得到的回歸方程即為最優的回歸方程。

考察運用逐步回歸法建立最優回歸模型的經濟論文,能夠發現一些問題。歸納總結這些問題,才能更好地運用這一方法解決經濟問題。

(1)在經濟建模與預測的應用中,對逐步回歸的具體操作有很大不同。有些學者使用向前引入法,逐個將變量引入方程;而有些學者使用的本質上是向後剔除法,逐個剔除變量;還有部分學者,做了多次逐步回歸,然後以一些標準綜合比較結果以選擇最優的。這些情況都充分說明了經濟研究中本質上採納的是逐步回歸法的基本思想,而不一定與多元統計分析理論當中的逐步回歸分析完全一致,也體現了逐步回歸分析在經濟建模運用中的靈活性。但是,對於同一經濟問題建立模型,向前引入法與向後剔除法、嚴格的逐步回歸法得到的結果是否一致,結果是否最優都是值得思考的問題。

(2)在經濟建模中,逐步回歸法選取或剔除變量往往同時結合各種檢驗,包括經濟意義檢驗、統計學檢驗、計量經濟學檢驗、模型預測檢驗等。逐步回歸法雖然一定程度上避免了多重共線性,但是其他問題(如隨機幹擾項的異方差性、序列相關性、隨機解釋變量問題)卻無法全部得到解決,因此逐步回歸法需要經過經濟意義檢驗、統計學檢驗、計量經濟學檢驗等多重檢驗。經濟模型一個重要的應用在於經濟預測,模型的預測精確度是考察模型優劣性的一個重要指標,所以逐步回歸法需要通過模型預測檢驗。

(3)在經濟建模的整個過程中,一定要考慮解釋變量間、解釋變量與被解釋變量間的經濟關係,或者考察經濟環境,不能忽視經濟理論與經濟行為規律,畢竟研究目的不僅是單純地處理分析樣本數據,而是想要通過揭示變量的客觀的數據關係,從而進一步揭示變量之間的規律。

點擊「閱讀原文」報名十一「高級計量經濟學及stata培訓」

相關焦點

  • 5W1H分析法及其應用案例
    方法簡介 5W1H分析法也叫六何分析法在企業管理和日常工作生活和學習中得到廣泛的應用。 5W1H分析法為我們提供了科學的工作分析方法,常常被運用到制定計劃草案上和對工作的分析與規劃中,並能是我們提高效率和使工作有效地執行。
  • 食品檢測分析中儀器分析法的應用匯總!
    一、儀器分析法在食品檢測中的應用1.1 電化學分析法電化學分析法是建立在溶液中物質的組成、含量與其電化學性質之間關係基礎上的一種儀器分析方法。電化學分析法主要分為電導分析法、電勢分析法、電解分析法、庫侖分析法、極譜法和伏安法等等。
  • 【檢測】食品檢測分析中儀器分析法的應用
  • 淺談基於層次分析法的工程項目評標應用研究
    【摘要】建築工程評標的影響因素眾多,文章通過應用層次分析法構建建築工程評標的決策模型,建立了目標層、準則層和方案層的層次分析模型。並結合某工程案例,藉助軟體快速的計算從而實現方案優選,實證分析中通過對各投標備選公司的相對權重總排序,選出適合本工程的最優施工建築公司。
  • 方法評介 | 層次分析法
    現有研究範圍包括:區間數判斷矩陣,不完全判斷矩陣和新的不確定性理論在AHP中應用。同時在解決不確定決策問題時,粗集理論、灰色數學理論、證據理論等不確定理論也得到了應用。隨著不確定性理論的不斷發展,以及解決決策問題的需要,AHP的不確定背景下的應用將逐步增多,所支持的不確定性理論工具也將逐步增多。AHP的排序方法大致分為近似計算和最優化排序兩大類。
  • 層次分析法在項目風險分析中的應用
    引言:本文主要介紹層次分析法在項目風險分析中的應用,權作拋磚引玉,關於層次分析法及其應用有很多專業的書籍和文章,大家如有興趣可以深入研究。將這種思想應用在風險分析中,能對項目風險重要程度進行排序,從而找到主要的項目風險並優先應對。層次分析法的主要步驟是根據研究問題的性質和目標,將研究問題劃分為幾個層次,對每個層次下的各因素兩兩進行重要性比較,然後按照層次之間的結構關係進行權重計算,使研究問題轉化為由低到高層次的一系列權重值,從而可以進行量化的分析和決策。
  • 因素分析法的Excel應用
    因素分析法的相關知識:   一、 概念:因素分析法也稱因素替代法。  差額分析法在發電企業燃煤成本分析中的Excel應用的具體操作實例   眾所周知,在目前,電價由國家控制的情況下燃煤成本的管理好壞決定著發電企業的存亡問題,發電企業的燃煤成本佔發電總成本的比例不低於60%,在當前煤價持續長漲的趨勢下,這個比例將會更高,因此必須加大對燃煤成本的分析力度,從內部挖潛,加強管理,才是企業生存之本。
  • 主成分分析法學習
    4.由主成分分析法構造回歸模型。即把各主成分作為新自變量代替原來自變量x做回歸分析。  5.用主成分分析篩選回歸變量。回歸變量的選擇有著重的實際意義,為了使模型本身易於做結構分析、控制和預報,好從原始變量所構成的子集合中選擇最佳變量,構成最佳變量集合。用主成分分析篩選變量,可以用較少的計算量來選擇量,獲得選擇最佳變量子集合的效果。
  • 第四十二講 R-逐步回歸
    於是我們引入了逐步回歸。逐步回歸的基本思想是將變量逐個引入模型,每引入一個預測變量(解釋變量)後都要進行F檢驗,並對已經選入的預測變量逐個進行t檢驗,當原來引入的預測變量由於後面預測變量的引入變得不再顯著時,則將其刪除。以確保每次引入新的變量之前回歸方程中只包含顯著性變量。
  • 投影尋蹤回歸模型
    今日小課堂:投影尋蹤回歸模型(PPR模型)。主要復現了《PP回歸在新疆春旱長期預報工作中的應用》這篇文獻。投影尋蹤回歸模型原理:處理分析高維的一種方法。解決了傳統間隔方法(PCA等)的不足。其是通過極值化選定的投影指標,尋找最能反映數據特徵的投影方向,將高維數據投影到低維空間,進行分析。
  • 多元回歸分析法是一種批量估價方法,主要適用於( )
    多元回歸分析法是一種批量估價方法,主要適用於( )   多元回歸分析法是一種批量估價方法,主要適用於(   )。
  • R與生物專題 | 第四十八講 R-逐步回歸
    在「R與生物統計專題」中,我們會從介紹R的基本知識展開到生物統計原理及其在R中的實現。
  • 講講逐步回歸
    總第178篇/張俊紅01.前言前面我們講過了多元線性回歸。這一篇我們來講講逐步回歸。什麼是逐步回歸呢?
  • 基於Matlab GUI層次分析法的實現和應用
    1.層次分析法基本原理本文引用地址:http://www.eepw.com.cn/article/226777.htm層次分析法(Analytic HierarchyProcess簡稱AHP)
  • 多元線性回歸、逐步回歸、邏輯回歸的總結
    做回歸分析。包括簡單多變量回歸、逐步回歸、邏輯回歸!對了,上次,用Python寫的兩篇回歸擬合分別是:基於最小二乘法的——線性回歸擬合(一)基於梯度下降法的——線性回歸擬合(二)多元回歸分析,生活中用的很多,因為一個因素可能與很多其它因素有關!言歸正傳,這裡考慮用R語言裡面的相關函數做回歸分析。
  • SWOT分析法的戰略應用(乾貨長文)
    進行SWOT分析的時候必須與競爭對手進行比較,比如優於或是劣於你的競爭對手;保持SWOT分析法的簡潔化,避免複雜化與過度分析;SWOT分析法因人而異。一旦使用SWOT分析法決定了關鍵問題,也就確定是市場營銷的目標。SWOT分析法可與PESTanalysis和Porter'sFive-Forcesanalysis等工具一起使用。
  • 內容分析法 | 內容分析法在公共管理學研究中的應用
    第五,內容分析法具有資料與數據可獲得性上的優勢。用來分析的「內容」大多是公開資料,方便獲得。第六,內容分析法無需發放大量問卷,也無需進行實地的田野調查,因而其研究成本較低。由於這些優勢,內容分析法也越來越多的被學者們所使用。而儘管如此,目前在公共管理領域,無論是對內容分析法這一方法本身的理解還是對其應用,都存在問題。
  • ABA-應用行為分析法到底是什麼呢?
    來源:網絡ABA-應用行為分析法到底是什麼呢?  (1) ABA-應用行為分析法概念  概念:行為分析法是一門研究行為與環境之間的關係, 從而使個體更好的適應其生存的自然科學。  行為分析包括三個分支: 1、 行為主義2、實驗行為分析3.應用行為分析原理:行為是可以改變的,條件是控制刺激和結果。
  • 七種經典回歸分析法全解析
    線性回歸使用最佳的擬合直線(也就是回歸線)在因變量(Y)和一個或多個自變量(X)之間建立一種關係。用一個方程式來表示它,即Y=a+b*X+e,其中a表示截距,b表示直線的斜率,e是誤差項。這個方程可以根據給定的預測變量(s)來預測目標變量的值。一元線性回歸和多元線性回歸的區別在於,多元線性回歸有(>1)個自變量,而一元線性回歸通常只有1個自變量。
  • 吳廣奇:主成分分析法在黃金期貨量化策略中的應用
    原標題:主成分分析法在黃金期貨量化策略中的應用 摘要 【吳廣奇:主成分分析法在黃金期貨量化策略中的應用】我們在研究某些問題時,需要處理帶有很多變量的數據。