讀這篇小文章之前,思考幾個小問題:
1. 你是否遇到過ANOVA有顯著差異,然而兩兩的Post-hoc檢驗卻找不到任何顯著差異?
2. 你是否考慮過ANOVA如果沒有顯著差異,兩兩的Post-hoc檢驗會不會找到顯著差異?
3. 你可曾想過如果是多組數據,為什麼要一定先做ANOVA,再做兩兩的Post-hoc檢驗呢?能不能直接做兩兩的t檢驗呢?
近日,筆者對這幾個問題進行了小小的研究。研究這些問題的起因是注意到靜息態分析軟體DPABI進行了一些更新,將事後檢驗放到了統計分析模塊中。
影像領域做ANOVA+Post hoc傳統方法:1. 先ANOVA,F圖校正得到顯著區域,在顯著區域內部做基於voxel-by-voxel的post-hoc兩兩t檢驗(map圖);2. 先ANOVA,F圖校正得到顯著區域,將顯著區域的每個cluster內所有組的值提取出來,做post-hoc兩兩t檢驗(bar圖);(注意:post-hoc t-test需要做多重比較校正(Across groups),通常使用Bonferroni校正)。實際上,總的來說,做兩次校正:1. across voxels; 2. across groups。
實際上,DPABI軟體調用matlab中的multcompare程序進行事後檢驗,共包括以下5種方法:Tukey-Kramer (honestly significant difference), lsd, Bonferroni, Dunn-Sidak and Scheffe。DPABI的做法是先做across groups的事後檢驗,再做across voxels的多重比較。
通過DPABI輸出的圖像可以看出,這種做法並沒有用我們傳統的先對F圖(ANOVA生成)進行校正,然後在校正後的mask中做多重比較。既然這樣,為什麼DPABI還要生成一個F圖呢?或者說matlab的multcompare函數為什麼要藉助於之前anova1的輸出參數stats呢?事實上,醫學統計學或者心理學統計書上的post-hoc檢驗使用的是所有組的組內均方(MS誤差),而得到F值的過程也必然會計算出MS誤差。
那麼,這麼多種post-hoc方法(SPSS軟體中更是給出了太多的方法,比multcompare要多得多),我們到底該用哪一種方法做事後檢驗呢?能不能根據哪個結果顯著就用哪個呢?這種做法是必然不可取的,其實不同的post-hoc方法有它自己的適用性。這些方法有強有弱,lsd就是一種比較弱的方法,它需要根據研究目的或專業知識考慮,在設計階段決定不做全面的多重比較,比如只想比較疾病常見類型之間的療效差別。倘若在在研究設計中未考慮均數多重比較問題,如探索性研究,經方差分析結論有統計學意義之後,才決定對各個均數做兩兩事後比較,可採用SNK-q、Bonferroni 和Sidak檢驗。
說到這裡,有讀者可能會問所有教材基本都會提到的SNK等方法為什麼multcompare沒有給出?經筆者分析答案可能有兩個:1. 有的post-hoc方法無法對應到一個已知的分布,從而給出精確的p值;2. Matlab給出的是相對常用的方法。
在下面ppt中,筆者用數值仿真做了模擬,同時分析了方差分析F檢驗顯著,但事後兩兩比較都不顯著的可能原因:
1. 方差分析中,整體上的差異檢驗所採用的方法和事後兩兩比較所採用的方法是不同的,從而導致事後比較無差異。
2. 事後兩兩比較中,可以選用的比較方法很多,可以試著換其他方法,或許就能發現顯著性差異的兩組。
3. 整體上的檢驗,其樣本量、組數、統計量等都和事後兩兩比較不同,因此導致整體上有差異而具體組間無差異。
4. 可能存在統計效應力的問題,整體上的檢驗其效應力可能和組間兩兩比較的效應力有出入,導致本該組間有差異,但是還沒有達到顯著性的程度。
5. 一般來講,這種情況只會在p值為邊緣顯著(~0.05)時出現。
問題:既然t檢驗可以給出比方差分析更具體、更深入的結果,對於多組均數比較是否可以直接t檢驗+多重比較?對於這一問題已經有很多討論,大致有以下三種主要觀點:
1. 過去很長一段時間的主流看法,主張對多組(>=3組)均數比較時,首先應進行方差分析,若統計量F值有顯著意義,再選用多重比較方法。
2. 來自美國心理學會統計方法小組APATask Force On Statistical Reference在1999年題為《StatisticalMethods in Psychology Journals: Guidelines and Explanations》研究報告中的評論,建議研究者明確自身的研究目的----到底是只需要討論多組均值存在不同即可?還是需要具體明確哪些均值不同?
3. 認為在統計軟體與計算機技術非常發達、方便的今天,已無必要先進行方差分析再進行多重比較,直接進行多重比較獲得更具體的均值不等信息即可。
更加詳細的內容,請參考下面的ppt。本期內容只是個人的一些思考,歡迎大家一起探討這個問題。明晚組會有更多精彩哦^_^
主要參考文獻:
顏虹 徐勇勇 醫學統計學 第3版 人民衛生出版社
張厚粲 徐建平 現代心理與教育統計學 第3版 北京師範大學出版社
方積乾 生物醫學研究的統計方法 高等教育出版社
方積乾 孫振球 衛生統計學第6版 人民衛生出版社
孫振球 徐勇勇 醫學統計學第3版 人民衛生出版社
王凌峰 統計學 電子工業出版社
DPABI:Data Processing & Analysis for (Resting-State) Brain Imaging, neuroinfomatics, 2016, in press.
PPT