固定效應與隨機效應:計量結果和我想要講的故事不一樣怎麼辦?

2021-02-20 阿爾山下

知乎提問:

以hausman檢驗為例。

先做了固定效應回歸效果不好,又做了隨機效應回歸效果除了某個參數效果不好,其他都很好,p值很漂亮0.0000。接著hausman檢驗,p值為0.0000。。。納尼,這是讓我接受效果不好的固定效應麼???求大神指點啊,故事怎麼寫啊?

這的確是一個在實證中特別常見且特別讓人抓狂的事情。

很多隻粗淺學過一點理論沒有深入思考的人可能會有一個誤區:固定效應總是比隨機效應要好的,因為固定效應是穩健的,隨機效應可能受到不可觀測的個體效應的影響。

在大多數時候,這是對的。

我們一般計量教材上假設的DGP是這樣的:

其中α是不可觀測的異質性,α跟u是可能相關的,這個時候RE是不一致的,而FE是一致的,所以FE更加穩健。

然而這是計量經濟學家寫的故事,從統計理論上來說,這當然是對的,但是在應用的時候,故事就不一定這麼簡單了。

在做應用的時候,理解自己所使用的方法跟理解自己所要解決的問題一樣重要。這裡對方法的理解最重要的是,回歸的結果究竟在識別什麼東西?回歸本質上就是在做比較,那麼我們究竟是用了什麼樣的信息,拿什麼跟什麼比較得到的結果?

比如在面板數據的FE和RE裡面,我們知道面板數據有within group和between group兩部分信息,FE僅僅使用了within group信息,而RE則同時使用了within group和between group兩部分信息。

換句話說,FE實際上沒有在個體之間做比較,只是比較了同一個個體歲x和y隨時間的變化。

不得不承認的是,再漂亮的計量方法,也是基於假設的,改變不了我們對現實DGP幾乎一無所知的事實。因而,再牛的計量方法,也都是基於假設的,基於我們對現實DGP的假設。

比如上面關於面板數據的DGP,你既然可以像上面那樣寫,我這樣寫可不可以:

其中x*是一個長期均衡,v_it是一個個體異質性的對x的衝擊。

我們真實的y可能不僅僅對x*做出反應,也會對異質性衝擊v_it做出反應,比如:

如果β=δ,那麼這個DGP就變成了一般寫的DGP。但是,比較有意思的是,β和δ也有可能不相等,甚至符號都是相反的。

這個時候我們會發現,FE估計的是δ,而RE估計的是β和δ的一個線性組合。

比如,(我隨便講的)故事可以是這樣的:x是每天的收入,y是每天的工作時間,x*是一個長期的均值,而v是每天的「運氣」。

然而個人對於「長期的日均收入」和「因為運氣導致的某一天收入的增加」的反應可能是不一樣的。考慮兩個人:

如果一個人的日均收入更低,他可能會工作的時間更長才能吃飽飯,平均而言他會工作的時間也越長。這是在不同的個體之間比較。

然而如果某一天運氣不好,心情低落,他有可能提前自己一般的工作時間,早早就下班了。這是同一個人不同時間做比較。

如果這個故事成立,那麼β是負的,而δ的符號就是正的。

所以你如果用FE做,得到的結果是正的;用RE做,得到的結果方向則是不確定的。

關鍵的差別在於,FE只用了組內信息,而RE綜合使用了組內和組間信息。

所以你想要的究竟是β還是δ?

如果想要δ的話,FE是合適的,如果想要β的話,做between group(個體層面加總的OLS回歸)才能得到正確的結果。

不妨做一個小的模擬看一看,如果以上結果成立,用各種方法得到的結果究竟是怎麼樣的:

clear

set more off

set obs 5000

// i and t

gen it=_n

gen i=ceil(_n/5)

gen t=it-5*i+5

drop it

// x

gen x_star_before=rnormal()*5

gen v=rnormal()

egen x_star=mean(x_star_before), by(i)

gen x=x_star+v

// beta and delta

scalar beta=2

scalar delta=-1

// y

gen y=x_star * beta + v * delta + rnormal()

// xtset

xtset i t

// fixed effects, within group

xtreg y x, fe

// OLS

reg y x

// random effects

xtreg y x, re

// between group

collapse y x , by(i)

reg y x

結果:

固定效應:

可以看到固定效應估計的基本就是delta。

Pooled OLS:

嗯,Pooled OLS的結果變成正的了。

隨機效應:

隨機效應是beta和delta的線性組合,小了很多。

最後是between group:

組間估計基本上估計了beta

所以該怎麼辦?繼續想故事唄!

PS:我印象中公司金融有篇文章討論了公司金融中固定效應和隨機效應的使用問題,發表在金融很好的期刊上面,但我忘了名字了。知道的煩請告知一下,謝謝!

歡迎來我的小密圈交流:

相關焦點

  • 面板數據固定效應 vs. 隨機效應
    簡單講三個優勢:一是面板數據具有更多的樣本量和信息量,可以降低變量之間共線性的可能性、增加檢驗統計量的自由度和增強估計結果的有效性;二是面板數據除了截面維度外,還具有時間維度,從而可以考察效應的時間變化趨勢,進行動態分析;三是面板數據一定程度上可以減輕萬惡的內生性問題(由遺漏變量引起的內生性),至於原因,將是下面要講的重點。
  • 元分析:固定效應模型和隨機效應模型
    下面是對元分析固定效應模型和隨機效應模型的介紹。如果想要了解更多元分析知識,請關注微信公眾號「元分析」。在固定效應模型中,權重就是研究內方差(within-study error)的倒數。在隨機效應模型中,權重就是研究內方差加研究間方差的倒數。固定效應和隨機效應的差異:1、隨機效應模型的整體效應量(主效應)的置信區間更寬。2、隨機效應模型下,研究間的權重更接近。3、兩種模型下的整體效應量估計值是不同的。
  • 固定效應模型與隨機效應模型
    大部分的Meta分析需要選擇固定效應模型與隨機效應模型對數據進行合併。本期,我們就介紹下固定效應模型與隨機效應模型這些事。
  • 統計學中「固定效應 vs. 隨機效應」
    「回歸」的思想其實滲透著「捨得」的理念:我們通過捨棄那些「隨機部分」的誤差(residual variance),獲得了我們想要的「固定部分」的參數(regression coefficients)。實際上,HLM並不能真正代表和直接實現所有的統計方法。不過,在充分理解了HLM的原理之後再去理解其他統計方法就會比較輕鬆,尤其是在理解固定效應FE和隨機效應RE這件事情上。
  • 固定效應模型與隨機效應模型的差別
    緊接前期介紹的固定效應模型與隨機效應模型,今天,我們主要聊聊兩者之間的差別。從假設來看,兩種模型的差別在於: 相應的,固定效應模型得出的結果為「真實值估計值」,而隨機效應模型得出的結果為「真實值平均值的估計值」。這也是源於各自的假設不同。兩者均是得出真實值平均值的估計值,差別是固定效應模型的真實值只有一個,所以得出的結果為真實值的估計值。
  • 異質性、隨機誤差、效應修飾——談談Meta分析的固有缺陷
    或者更進一步,我們針對同一個假設做了多個理想的RCT研究(假設不存在依從性問題和失訪問題),而眾所周知,RCT的結果是不存在偏倚的,所以結果理應都是真實無偏的,那麼為什麼結果仍然會有區別?我相信大家的第一反應都是:當然是因為隨機誤差的存在。
  • 面板數據裡處理多重高維固定效應的神器, 還可用工具變量處理內生性
    今天,我們「面板數據研究小組」將為計量經濟圈的圈友引薦一個處理多重高維固定效應的方法(multiple high dimensional fixed effects)。我們經常聽說面板數據相對於截面數據有更大的空間去控制異質性,尤其是那些看不見的卻不隨著時間變動的異質性。
  • 【固定效應模型】
    在meta分析時,我們常會面臨選擇合併分析的模型-固定效應模型或者隨機效應模型,本期就為大家介紹一下固定效應模型,揭開meta分析神秘的面紗。
  • Stata: reghdfe-多維固定效應
    (var1,var2,var3,...)若想保存對某變量的固定效應,則運行命令absorb (var1,var2,FE3=var3) , 變量 FE3 將保存對 var3 的固定效應估計結果。3.1 估計雙重差分的固定效應模型(DID)該命令可用於估計雙重差分的固定效應模型(DID)。過去推文Stata: 雙重差分的固定效益模型列舉了用於估計 DID 模型的三個命令:reg,  areg, 以及xtreg。reghdfe 也可實現同樣的估計結果,而且運行速度優於其他命令。使用的數據請參考之前推文Stata: 雙重差分的固定效益模型。
  • 登門檻效應~
    但是呀,家裡還真不一定會願意讓我們出去玩,那這是為什麼咧?星火相信很多人都是這個亞子和爸媽這樣講的:「爸媽,我行李箱的那個拉杆壞了,我想買個新的行李箱、還有我想要1000塊錢,因為我想和朋友去XXX玩兩三天。」「不準,你就放個寒假,在家好好待著,想出去?
  • Python實現固定效應回歸模型實現因果關係推斷
    我要告訴你,相關可以表示因果關係,但需要一定條件。 這些條件已在計量經濟學文獻中被廣泛討論。 在本文中,我將以一種易於理解的方式對其進行總結。 我將解釋如果不滿足這些條件為什麼標準的普通最小二乘(OLS)無法確定因果關係。 然後,我將介紹可以提供有效解決方案的固定效應(FE)模型。 之後,我將使用兩套數據分析示例向您展示如何在python中進行操作。
  • 生活中的100個心理學原理:登門檻效應,想要就能得到
    你可以利用它提升別人幫助你的概率,提高追求異性的成功率,增強孩子的興趣並讓其聽話,讓別人購買更多的商品等等,從而達到我們的目標,得到我們想要的結果。總之,登門檻效應涉及生活中的方方面面。前幾天有讀者留言說她常常感到很沮喪,覺得自己再怎麼努力都改變不了結果,突然想放棄了怎麼辦?其中一個原因就是違背了登門檻效應,一開始設立了不切實際的目標,在屢次遭到挫折後,又看到別人賺得盆滿缽滿時,從而產生消極怠世想放棄的心理。
  • 《像託爾斯泰一樣寫故事》:重鑄「飛輪效應」,拆解名家創作秘籍
    不知你是否也曾對小說創作有過這樣的思考:寫作的方法是否具有可教性和可學性?文學巨匠們為何能創作出讓讀者為之著迷的開場白?怎樣才能創作出深度爆款文章呢?這些問題都能在英國著名作家理察·科恩的《像託爾斯泰一樣寫故事》中找到答案。《像託爾斯泰一樣寫故事》的作者理察·科恩,曾任多家英國民出版社的出版發行總監,並創立了以自己名字命名的出版公司。
  • 從水滸故事看蝴蝶效應經濟學
    如果方臘不死,大宋可能就不會攻打大遼,金就不會崛起,蒙古就不會滅金,宋朝就不會滅亡……武松在推開潘金蓮的剎那間,打開了潘多拉的盒子,推倒了改寫大宋朝歷史的多米諾骨牌! 傳統的經濟學家會對前段的瘋話不值一哂:在一些傳統經濟學家看來,世界應該是一部機器。這部機器或許複雜,但完全可以被理解,而機器運轉的結果則是可以預測和操縱的。
  • 十年一瞬間——巨霍爾效應的故事
    ,想要觀察巨霍爾效應(或其他逾滲現象),往往需要在逾滲閥值附近製作十幾甚至二十幾個以上的顆粒膜樣品,這項嚴苛的要求,既考驗實驗者的技術能耐,又考驗他(她)的耐心與細心.但是這些困難,都被張西祥教授和劉暉(現任南開大學電子科學與微電子系教授)一一克服了(中國科學院物理研究所景秀年先生在香港科技大學擔任訪問學者期間,為這項實驗工作奠定了一些早期基礎).理論方面,為什麼會產生如此巨大的霍爾效應,則由沈平教授提出解釋
  • 【廣州站】Stata空間計量與結構模型研討會開始報名啦!
    )5.輸出分析結果到Word文件第二天:空間計量經濟模型案例1:中國旅遊協調發展的空間溢出效應案例2:房價與犯罪率案例3:菸草需求的地區溢出效應案例4:軍事支出的鄰居效應第三講空間計量經濟模型(固定效應和隨機效應)第三天:非參數方法和模擬方法案例1:非參數回歸案例2:部分線性模型案例3:分位數回歸案例4:效率分析第四講非參數和模擬方法1.核密度估計
  • 蝴蝶效應真實存在嗎?量子蝴蝶效應更令人困惑
    對於蝴蝶效應而言,非常小的不確定性對更大區域的天氣也使得幾乎相同的氣候特徵隨時間而發生變化,但對於更大的區域的不確定因素將完全覆蓋蝴蝶效應產生的任何影響。布萊恩·斯溫格爾 馬裡蘭大學物理學助理教授 研究量子信息物理學 ※※「更令人困惑的現象是量子蝴蝶效應,它出現在將混沌和量子世界怪異物理特徵結合一起的系統中。」
  • 非平衡面板固定效應門限回歸模型
    固定效應門限回歸模型(Hansen, 1999)是時間門限自回歸模型在面板數據中的擴展。Stata的xthreg程序(Wang, 2015)適用於平衡面板。而微觀數據中非平衡面板是更常見的情況,在將非平衡面板整理為平衡面板時很容易導致樣本選擇偏差等問題。因此,利用非平衡面板進行估計和檢驗則可以有效避免這些問題。
  • 蝴蝶效應真實存在嗎?
    對於蝴蝶效應而言,非常小的不確定性對更大區域的天氣也使得幾乎相同的氣候特徵隨時間而發生變化,但對於更大的區域的不確定因素將完全覆蓋蝴蝶效應產生的任何影響。在某些情況下,我們可以確定一種實驗性可檢測屬性,在典型的蝴蝶效應中,預計其差異性可重複增倍,但我們還不知道這對於普通的量子混沌系統是否有意義。
  • 不一樣的心理學:延遲滿足效應,自律和成功背後,不為人知的秘密
    《生活中的100個心理學效應》持續更新,講述不一樣的心理學。今天繼續連載《生活中的100個心理學效應》第9篇——延遲滿足效應。我和小武經常趁他不在偷他的奶喝,事後過了很久他才發現,可是從來也不怪我們。平時去食堂打飯,小武總是先吃完最喜歡的菜後,再吃其他的菜,有時還從我們兩個碗中搶菜吃。我不像小武那樣,總是搭配著吃;而小天總是把最喜歡的菜留到最後才吃,經常一個不注意,就被我和小武搶走了一些。