2014年2月, MountHolyoke College的榮譽退休教授George Cobb在ASA的一個論壇上提出了以下問題:
問:為何這麼多學校和研究生院教P=0.05?
答:因為那是科學界和雜誌編輯們還在使用的。
問:為何這麼多人還在使用P=0.05?
答:因為那是學校和研究生院教他們的。
Cobb考慮的是社會科學界關於P<0.05一刀切這個長期傷腦筋的循環:「我們教它因為這是我們所做的;我們這樣做因為這是我們所教的。」
這個考慮引起了ASA理事會的注意。ASA理事會也受刺激於過去幾年高度醒目的討論。例如,ScienceNews (Siegfried,2010)寫道:「這是科學最骯髒的秘密:統計分析的『科學方法』建立在一個脆弱的基礎上」。2013年11月Phys.org Science News Wire的一篇文章引用了零假設意義的檢驗中「眾多深度缺陷」。
ScienceNews 2014年2月7日的文章(Siegfried,2014)稱「假設檢驗的統計學技術比Facebook的隱私政策有更多的缺陷。」一周後,統計學家、「Simply Statistics」博主Jeff Leek回應「問題不是人們糟糕地使用P值,而是絕大部分數據分析並非由正規訓練過數據分析的人來實現的」(Leek, 2014)。同一周,統計學家和科學作家Regina Nuzzo在Nature上發表一篇文章,題為「科學方法:統計學錯誤」(Nuzzo,2014),這是目前最高度重視的Nature文章之一。當然,這不是單純地回應某一篇公開發表的文章。統計學界已經深度關注科學結論的可重現性和可重複性問題。
我們觀察到,不深入這些術語的定義和區別,許多混淆甚至懷疑科學的真實性正在發生。這樣的懷疑會導致激進的選擇,諸如Basic and Applied Social Psychology的編輯們竟決定廢棄P值(零假設意義檢驗)(Trafimow and Marks,2015)。錯誤理解或錯誤使用統計推斷只是「可重現性危機」的原因之一(Peng, 2015),但對於我們統計學界而言,這是個重要原因。當ASA理事會決定接受挑戰,發表一份關於p值和統計學意義的聲明時,確實意識到這不是輕鬆的一步。ASA以前沒有對統計實踐的特定事情表過態。與此最接近的是一個關於教育評估中使用的增值模型(value-added models, VAM)的聲明(Morganstein and Wasserstein, 2014)和一個關於風險限制的選舉後審計的聲明(American Statistical Association, 2010)。然而,這些是純系政策相關的聲明。VAM聲明側重於一個關鍵的教育政策,承認事情的複雜性,說明VAM作為有效模型的局限性,催促要有統計學家參與模型的建立和解釋。關於選舉審計的聲明也是對一個大的卻特定的政策問題(2008年結束選舉)的反應,表示基於統計學的選舉審計必須成為選舉過程的一個常規部分。相比較,理事會預想到,這個關於P值和統計學意義的聲明將闡明我們領域中經常被廣大學術界錯誤理解和錯誤使用的一個方面,並且在此過程中,為學術界提供服務。計劃中的讀者是原非統計學家的研究人員、實際工作者和科學作家。因此,這個聲明將和以前嘗試過的聲明很不相同。
理事會分派Wasserstein匯集一組代表不同觀點的專家。他代表理事會接觸超過24位這樣的對象,他們都說願意參加。有幾位懷疑能否達成共識,但是他們確實表示,如果將會有討論,他們願意參與。經過好幾個月,小組成員討論了聲明採取什麼形式,試著較具體地設想該聲明的讀者,並且開始發現共識點。逐漸變得相對容易做了,但只是容易找到強烈的分歧點。待到這個小組能坐下來一起消除這些分歧點, 2015年10月20位成員終於在Virginia州Alexandria的ASA辦公室聚會。Regina Nuzzo促進了這個兩天的會議,會議結尾時,圍繞著這個聲明形成了一組很好的觀點。接下來的3個月,見到了聲明的多份草稿,小組成員、理事會成員(2015年ASA理事會會議上漫長的討論)和目標讀者審閱。最後,2016年1月29日,ASA的執行委員會批准了這份聲明。這份聲明進展的過程比預計的更漫長、有更多爭議。例如,關於如何最好地講清多重潛在比較的問題(Gelman and Loken, 2014),我們就「一個接近0.05的P值本身只是反對零假設的微弱證據。」(Johnson, 2013)這段話的潛臺詞爭論了很久。關於如何敘述P值的多種替代以及多麼詳細為宜,有很多不同見解。為了使這份聲明適度簡練,我們並沒有寫對立假設、兩類錯誤或功效等其他內容,並不是每一位都同意這樣做。
在聲明發展過程接近尾聲時,Wasserstein聯繫了Lazar,問及這份政策聲明可否在The American Statistician(TAS)發表。經考慮,Lazar決定TAS願意提供一個良好平臺,以廣泛傳遞給一般的統計讀者群。同時,我們決定增加一個在線討論,提供機會來反映前述爭議,提高TAS讀者的興趣水平。最後,我們聯繫了一組討論者,請他們就這份聲明發表評論。人們可以從在線增刊讀到他們的觀點。我們感謝以下各位和我們分享他們深刻的見解:
Naomi Alman, Douglas Altman, Daniel J. Benjamin, YoavBenjamini, and so on.
雖然對這份聲明應當講些什麼存在著分歧,但是,關於TAS必須就這些事情發聲是高度一致的。必須明確,這份TAS聲明並沒有新內容。統計學家和許多其他人已經就這些事情敲了幾十年的警鐘,效果甚微。我們希望世界上最大的統計專業學會發出的這份聲明將開啟新的討論,引起新的和嚴密的注意,使得利用統計推斷進行的科學實踐有所改觀。
【注】美國統計協會(American Statistical Association,簡稱ASA),是全美最主要的為統計學以及相關專業所設立的組織機構。其於1839年11月27日於麻薩諸塞州波士頓成立。
【譯者】:方積乾 教授,1961年獲復旦大學數學學士學位,1982年至1985年在加利福尼亞大學伯克利分校,師從蔣慶琅教授,研究生命現象的隨機過程模型,獲生物統計學博士。1985年在北京醫科大學由講師直接提升為教授。1991年任中山醫科大學公共衛生學院教授、主任、博士導師。國際生物統計學會中國組負責人;中國衛生統計學會副會長、廣東省衛生統計學會會長。曾在英國肯特大學、澳大利亞國立大學講學,1993以來,任香港中文大學兼職教授。