心理學成果超六成不可再現?心理學家提出異議

2020-12-17 果殼網

心理學研究一直是研究者和被試渾身上下的誤差進行戰鬥的過程。和自然科學相比，心理學指標往往沒有辦法那樣直接、精確地進行測量，這也導致心理學常被人貼上「不靠譜」的標籤。

2015年8月，一個心理學實驗復現計劃的結果更是引發了人們對心理學成果的「信任危機」——開放科學合作組織（Open Science Collaboration，OSC）對100項心理學實驗成功進行了重複實驗，結果發現，成功復現的實驗還不到四成（更多閱讀：再做一次做不出：100項心理學成果，超過六成不可再現）。

不過，來自哈佛大學和維吉尼亞大學的4位心理學家對此提出了異議。最近他們就在《科學》期刊上發表評論文章[1]指出，OSC的心理學實驗重複計劃有不少漏洞，把重複不出來的結果都賴到原研究上，這個結論其實並沒有那麼可信。

心理學實驗的復現率真那麼糟糕嗎？圖片來自：shutterstock

實驗方法和原版不一樣

OSC項目中設置了8%的不可再現率作為一個「標杆」，研究者們認為，考慮到抽樣誤差和統計學顯著性的標準，如果無法復現的實驗在8%以下可以認為是正常的，而超過這個標準就意味著復現性確實存在問題。但是，4位心理學家對這個標杆提出了質疑。他們表示，只有當取樣人群不變，並且完全遵照原版實驗的規程進行復現實驗時，這個標準才能成立，但是看看這些復現實驗，它們並沒有做到這點。

幾位心理學家指出，在這100項復現實驗的實驗條件中，可以找出以下問題：

①被試完全換了一撥人

比如說，有原版實驗研究的是美國人對黑人（非裔美國人）的看法，但在復現實驗裡，被試卻成了一群義大利人，這兩個人群對非裔人群持有的刻板印象很可能是不一樣的；此外，還有原研究要求大學生想像被教授上課叫到的情景，再現研究卻請來一幫沒有上過大學的被試；另一項原研究詢問每天坐車上學的學生理想公寓與學校的距離，再現研究卻用住校學生重複了實驗。

②實驗程序有差異

有的復現實驗在操作方法上也和原版大相逕庭，比如一項原研究要求以色列人想像當兵的後果，再現研究竟然是讓美國人想像自己蜜月後的結果；一項原研究要求幼齡兒童在大屏幕上進行定位遊戲，再現研究卻要求大齡兒童在較小的屏幕上完成任務，這樣一來難度就低多了；一項原研究針對韓國人探究慈善捐助電子郵件中的遣詞造句對回復率的改變，再現研究卻是在全世界範圍發送了郵件。

實驗條件的差異對結果會產生影響，但OSC項目設置的標準卻沒有對此加以考慮。參照另外一個心理學實驗復現項目（「Many Labs」Project, MLP）的結果，心理學家們認為，考慮到復現實驗和原版實驗的條件差異，我們可以「預見」會出現更多的失敗結果。

數據單薄不可靠

在評論文章中，心理學家們還對OSC項目的數據強度提出了質疑。在這個項目中，每一個心理學實驗只被重複了一次，這樣得來的數據依舊太單薄。而「許多實驗室」項目（MLP）則把每個實驗重複了35或36次，然後將數據綜合進行計算，最終結果顯示16項研究有85%可以被重現。假設MLP項目也採用OSC項目的處理方法，那麼就只有34%的重複結果落在了原研究結果的置信區間中。由此心理學家們推斷，OSC項目的研究方法過於依賴單一數據結果，這可能也低估了實際的可重複率。

不「還原」的實驗拖後腿

幾位心理學家還指出，當復現實驗的條件和原版有明顯偏差時，這種偏差更偏向於對結果產生負面影響，把這樣的實驗都納入統計，也會對整體數據產生「拖後腿」的作用。

在OSC項目的100項重複實驗進行時，研究者們曾就實驗方法向論文原作者徵求了意見，但只有69%的原作者認同了再現實驗的研究方法。如果把「原作者認同」和「原作者不認同」的實驗分開計算，就會發現前者的復現成功率（59.7%）遠遠超過後者（15.4%）。如果只考慮獲得作者認同的那部分實驗，其實復現率就會改善很多。原論文作者的意見確實是相當主觀的標準，但未獲得原作者認同的那部分實驗方法的可靠性依然值得懷疑。

「這篇論文有著巨大的影響，」 評論文章作者之一、丹尼爾·吉爾伯特（Daniel T. Gilbert）表示，「它在《科學》全部領域的『年度突破』中名列第三。它使很多科學期刊改變了政策，改變了資助機構的態度，並且嚴重損害了公眾對心理學的印象。我們希望OSC能像他們努力生產這些結果那樣來修正大眾對他們研究結果的誤解。」

爭論還在繼續

面對質疑，OSC項目的研究者們也不示弱，3月4日，他們也在《科學》上發布了回應[2]。OSC項目的研究者們認為，被試和實驗程序的差異對再現率並沒有那麼嚴重的影響。實際上，在評論文章中所舉的例子裡， 有三個實驗的方法都獲得了原研究作者的認同。另一個實驗雖然將美國人換成義大利人，但實驗卻再現成功了。由此說明，原作者的認同並不能作為一個令人滿意的指標。

OSC的研究者們指出，其實並沒有「完美再現」這一說法，除了被試和程序存在差異，不同設備、不同語言、被試當下的人生狀態、甚至天氣，又何嘗不是差異？我們也害怕這些差異影響實驗精確度，所以做了驗證性的統計。但結果發現，再現實驗和原實驗間的相似度與再現率其實並沒有很大關係，因此我們才敢說我們的再現實驗是有保障的。

無論如何，雙方研究者們都認同驗證心理學研究結果的復現率是非常重要的事情，這些重複實驗項目的出現也會幫助心理學研究變得更加完善、嚴謹。看到「心理學成果超六成不可再現」的報導，也不必立刻就對整個心理學領域失去信任。至少，心理學家們已經在認真考慮這個問題的解決方案了。（編輯：窗敲雨）

文章題圖：shutterstock 友情提供

參考資料：

  1. Comment on 「Estimating the reproducibility of psychological science」
  2. Response to Comment on 「Estimating the reproducibility of psychological science」
  3. http://www.eurekalert.org/pub_releases/2016-03/hu-rol022916.php

相關焦點

  • 心理學的危機:為什麼超六成的實驗無法重複?
    然而，最近一期科學（Science）雜誌上刊登的一篇論文顯示，研究者嘗試重現發表在三份頂級心理學期刊上的100項研究，結果超過六成無法成功再現。[1]事實上，心理學實驗的可重複性近年來在學界受到了極大的關注，而大量實驗無法復現的現象不僅引發了對這一領域是否存在學術不端的廣泛討論，整個學科的合法性也受到了一定程度的挑戰。研究心理學為什麼需要做實驗？
  • 心理學如是說：心理學六大學派，你知道是哪六個嗎？
    在心理學中有一句有名的話，來自德國心理學家艾賓浩斯。就是提出艾賓浩斯遺忘曲線的那個人，現在很多英語單詞書的前言中都引用這個遺忘曲線的記憶方法。他在他那本有名的《記憶》中說道：「心理學有著漫長的過去，但是只有短暫的歷史。」
  • 你的成果靠譜嗎 癌症研究成果可再現性引全球關注
    原標題：你的成果靠譜嗎？——高影響力癌症研究可再現性項目引全球關注   　　美非營利機構計劃對全球50篇重要癌症生物學研究成果進行可再現性研究，這一舉動引發廣泛爭議。該項目是一項雄心勃勃的開放科學計劃，旨在檢驗《科學》《自然》《細胞》和其他頂級期刊發表的重要成果是否可以在獨立的實驗室中再現。該項目針對的幾乎所有科學家均表示，癌症生物學和其他許多領域一樣，經常被證明不能再現，其中的原因包括諸如有問題的試劑、變化無常的生物系統等。 　　該項目表示，將在接下來幾個月公布研究結果。
  • 心理學家追求的是什麼?
    導語：心理學家追求的是什麼？萊茵的退役似乎給超心理學帶來了一個時期的低潮，但是這並不意味著人們追求奇異心理的消退。自20世紀60年代中期以後，超心理學又有了新的發展。這一時期，超心理學家不僅使萊因時代興起的對超心理學的測試更加勇敢地追求了，而且他們使上世紀末靈學與其欺詐靈媒糾纏在一起的情況，在長期隱匿之後，又令人吃驚地再一次崛起。「睡夢實驗室」就是為培養PSi個性特徵功能的最新設計。在物理學家和工程學家的一陣興趣之後，醫學家和精神病學家也隨著熱衷起來。
  • 商標異議篇丨誰可以提出商標異議？異議理由有哪些？
    目前，商標惡意搶註、傍名牌、搭便車的行為時有發生，當我們發現有人註冊影響我們自身權益或者影響公共利益等商標時，要及時對處於異議期的商標提出異議申請。 那麼，商標異議如何辦理呢？首先，根據《商標法》規定，異議申請人可以是在先權利人、利害關係人；或者任何人。對初步審定公告的商標，自公告之日起三個月內，異議申請人可以提出異議申請。
  • 探索中國心理學的求真與至善之路——訪著名心理學家、北京師範大學資深教授林崇德
    9月12日，北京師範大學舉辦了《林崇德文集》（全12卷）新書發布會暨研討會，集中展現了該校資深教授林崇德60年核心學術思想與理論成果的結晶。近日，記者對這位著名心理學家和教育家進行了專訪。朱老是一位學術大家，是中國發展心理學的奠基者。他對我人品上的最大影響有兩點：一是對國家的忠誠和對黨的熱愛；二是創新精神。如原杭州大學老校長陳立教授給朱老的一封信中所言，「新中國成立後，心理學界能就一方面問題成一家之言者，實為少見。老兄苦心深思，用力之勤，卓有碩果，可謂獨樹一幟」。
  • 教師招聘考試中學教育心理學模擬試題(六)
    （C）A、初創時期B、發展時期C、成熟時期D、完善時期3、1868年，俄國教育家烏申斯基出版了，對當時的心理學發展成果進行了總結，烏申斯基因此被稱為「俄羅斯教育心理學的奠基人」.（B）A、《大教學論》B、《人是教育的對象》C、《教育心理學》D、《教育心理大綱》4、1903年，美國心理學家________出版了《教育心理學》，這是西方第一本以「教育心理學」命名的專著.（D）A、卡列傑夫B、廖世承C、烏申斯基D、桑代克5、廖世承編寫了我國第一本《教育心理學》教科書是在年.
  • 宅家心理學:心理學家推薦的SQ3R學習策略
    這是宅家心理學的第18篇文章。全文2165字，閱讀時間約為5分鐘。心理學知識能幫助我們了解自己，也能幫助我們提升自己。本文介紹心理學家推薦的學習策略。宅家心理學，自學心理學。根據《心理學》一書進行知識分享。
  • 佛洛伊德精神分析心理學丨治療抑鬱症和心理疾病的方法
    佛洛伊德是一個心理學家同時還是精神病科醫生，所以，他會接觸到很多心理疾病的人。由於他的這種屬性，就自成一派，形成了佛洛伊德精神分析心理學。佛洛伊德精神分析心理學，也不是真的通過分析治好抑鬱症的，而是佛洛伊德通過催眠術治好了幾例神經症，因此發表了《夢的解析》，才奠定了佛洛伊德在心理學界不可撼動的地位。之所以不可撼動，是因為其他人的心理學，沒治好過一個心理疾病，而他治好了，這就是天壤之別了。
  • 心理學有哪些著名的流派? | 心理科普
    這百餘年心理學發展的速度以及研究成果，遠遠超過人類歷史上對心理研究成果的所有總和，對心理現象探索研究的深度和廣度，也都達到了前所未有的程度。而貫穿心理學百年史的主幹線，就是十大學派形成發展的歷史。 到新行為主義階段。這些新行為主義者仍然堅持華生的行為主義立場，對一些比較激進的和極端的做法做了一些必要的修訂。
  • 行為主義心理學家斯金納
    斯金納(1904-1990)是美國心理學家，行為主義學派最負盛名的代表人物，是新行為主義心理學的創始人之一。
  • 心理學的常識:不是心理諮詢師的心理學家?
    心理學中與我們日常生活聯繫最緊密的應該就是心理諮詢了，但是心理學並不僅僅是這些。不是心理諮詢師的心理學家?一聽到「心理學家」這個詞，是不是很多人的腦海中都會浮現出傾聽人們煩惱的心理諮詢師的樣子呢?的確，在「心理疾病」 與日俱增，已經成為嚴重社會問題的現代社會，人們對心理學的期望也隨之越來越高。但是，所謂從事「心理治療」的專家，即使在從事心理學研究的人當中也佔少數。本來心理學研究的一個重要的目的就是探求「什麼是心理?」因此研究普遍、基本的心理法則才是第一位的。 也正因為如此，心理學才會以諸如「為什麼人在痛苦的時候會流淚」、「 人是如何把知識牢記在大腦中的」等等人們共通的話題作為研究的中心。
  • 但開先驅  厥功甚偉——中國現代心理學家郭一岑
    19世紀末,正是在這裡建立了世界上第一個正式的心理學實驗室,誕生了科學心理學之父——馮特以及世界上第一個心理學流派。然而,鮮為人知的是,就在心理學脫離哲學母體,榮登科學殿堂不久,從這片心理學故鄉，曾走出過一位黃皮膚的年輕人，一位心理學家，一位中國心理學家，他就是中國著名心理學家郭一岑。他師從的導師是格式塔心理學鼻祖苛勒先生。
  • 對執行已保全的到期債權提出異議是否有效
    第二種意見認為，丙公司的異議成立，人民法院對丙公司提出的異議不審查，也不得強制執行丙公司的財產。理由是，該案處於執行階段，執行的對象是生效的法律文書確定的債務人乙公司，而不是第三人丙公司。丙公司與被執行人乙公司之間是否存在債權債務關係，執行機構無權進行實體審查。現第三人丙公司在規定期限內提出執行異議，應按《執行規定》第63條之規定處理。
  • 心理學家:這六種酒品暴露了你的性格和人品!
    生活中，由於各種原因，我們經常會刻意隱藏自己的真實想法，甚至通過一些下意識的行為去控制自己的潛意識，偽裝自己，心理學角度稱之為戴上了人格面具。有一句話老話，日久見人心，但是，在真正的偽裝者面前，時間久了也未必能夠看出他的人品。
  • 《給快節奏時代的簡單心理學》心理學的意義不是治病,而是教你如何...
    1906年，美國心理學先驅威廉·詹姆斯在美國心理學會主席演講中提出了理想狀態心理學的研究主題，為心理學賦予了探索「人類能量」的範圍極限和學習如何能激發及充分利用這種能量的研究任務。 在第二次世界大戰後，以提出了名為「需要層次」的人類動機模型的美國心理學家亞伯拉罕·馬斯洛，最先創造了「積極心理學」這一術語。
  • 【心理學】行為主義心理學
    ）是美國現代心理學的主要流派之一，也是對西方心理學影響最大的流派之一，其創始人是美國的心理學家華生。華生把不可直接觀察和經驗的意識排除在心理學研究之外，把人的行為活動簡化為刺激—反應的行為模式，把有效地控制人的行為作為心理學的最終目的，都是實用主義哲學在心理學中的具體體現。  自然科學背景 生理學和行為主義的關係很密切，是行為主義的自然科學依據。
  • 心理科普丨關于格式塔心理學
    所以，在我國，格式塔心理學又譯為完形心理學。19世紀末，以馮特(W.Wundt)為代表的心理學家倡導了構造主義心理學，提出了格式塔心理學家稱之為"束捆假設"(bun-dle hypothesis)的元素說，認為複雜的知覺是簡單感覺的束捆，意識經驗是各種簡單元素的群集。
  • 20考研之教育心理學概述
    1903年美國心理學家桑代克出版了《教育心理學》，提出了系統的教育心理學理論，包括《人的本性》《學習心理學》《《個別差異及其原因》，這一著作奠定了教育心理學發展的基礎，標誌著西方教育心理學獨立學科體系的建立。
  • 教育心理學的發展概況
    吸取了心理測驗和兒童心理學方面的成果，大大擴充了自己的內容；40、50年代，程序教學和機器教學興起 成熟時期（20世紀60年代至70年代末） 教育心理學作為一門具有獨立理論體系的學科正在形成；比較重視結合教學實際，注重為學校教育服務；20世紀60年代初，布魯納發起課程改革運動