2015年9月2日/生物谷BIOON/--在上個月末的《Science》雜誌上,美國維吉尼亞大學的Brian Nosek作為通訊作者,發表了題為《Estimating the reproducibility of psychological science》的研究文章。文中,研究者們提到,儘管他們能夠重複出最近的100項心理學研究的原始實驗,但是其中僅有不到一半的重複實驗結果與原研究結果一致。這項研究的作者還給出了為什麼重複實驗會與原始結果不同的原因分析。
該文章發表之後,英國牛津大學的發育神經心理學教授Dorothy Bishop給出了對該研究的評論。他首先首先提到,研究者需要知道有些因素會導致「文章灌水」,以至於實驗不可重複。一般的「文章灌水」有三種原因,一種是有傾向性地發表支持猜想的數據,然後是只發表有顯著統計學意義的數據,最後是研究樣本數量不夠。這篇發表在《Science》上的研究,還給出了其他原因,即實驗樣品的差異、實驗設定的差異以及實驗完成的質量差異等等。
然而,對於Brian Nosek等給出的這三種原因(實驗樣品的差異、實驗設定的差異以及實驗完成的質量差異),Dorothy Bishop並不十分認同前兩種原因。對於實驗完成的質量的問題,也可能存在這樣的情況,即重複實驗在數據上和原始實驗存在顯著性差異,很可能是重複實驗時候沒有處理好或者操作正確。然而,對於實驗樣品和實驗設置,在重複100項心理學研究的時候,研究者們在試圖重複實驗時候,與原始實驗的相關人員進行了充分的溝通,原始實驗的方法也是相對透明。因此,Bishop教授認為,可能還存在著其他沒有被提出過的因素影響了實驗,但是這些未知因素的微小差異對於實驗結果究竟有多大影響還不可知。
基於Brian Nosek的這項研究,Bishop教授認為,我們的的實驗中存在一些問題,如果得到合理解決,那麼實驗重複性會好很多。比如,可以通過一系列的改進來使得實驗更有重複性。例如,方法a,在實驗開始之前就公開實驗的步驟,明確告知自己的假設和實驗預期,並寫清楚具體如何操作。方法b,實驗中使用有統計學意義的大量樣本。或者方法c,發表那些沒有結論的研究,只要前期實驗設計完整、嚴謹、有統計學意義,那麼這樣的實驗結果雖然沒有明確結論,但是仍然是有意義的。還有比如,方法d,提供實驗的詳細步驟和具體操作,類似地還有方法e,公開實驗中使用的數據、腳本、原始數據等等。
雖然Brian Nosek的研究是針對心理學領域的重複實驗,這並不是說心理學領域的實驗重複性很差。實際上,所有的科學領域可能都會或多或少存在類似的問題,可以引申心理學領域的重複實驗的結論到其他科學領域,畢竟重複性對於所有的科學研究都是重要的。Bishop教授認為針對實驗的重複性,為了貢獻更嚴謹的科學,科學基金評審人、期刊編輯以及科學家們都需要行動起來,為未來實驗的重複性更好,拿出實際的行動。(生物谷Bioon.com)
本文系生物谷原創編譯整理。歡迎轉載!轉載請註明來源並附原文連結。更多資訊請下載生物谷資訊APP。
信源:
Science:Estimating the reproducibility of psychological science
Science Midea Center:expert reaction to report on the reproducibility of psychological research