實驗的可重複性差都有哪些原因?

2020-11-26 生物谷

 

2015年9月2日/生物谷BIOON/--在上個月末的《Science》雜誌上,美國維吉尼亞大學的Brian Nosek作為通訊作者,發表了題為《Estimating the reproducibility of psychological science》的研究文章。文中,研究者們提到,儘管他們能夠重複出最近的100項心理學研究的原始實驗,但是其中僅有不到一半的重複實驗結果與原研究結果一致。這項研究的作者還給出了為什麼重複實驗會與原始結果不同的原因分析。

該文章發表之後,英國牛津大學的發育神經心理學教授Dorothy Bishop給出了對該研究的評論。他首先首先提到,研究者需要知道有些因素會導致「文章灌水」,以至於實驗不可重複。一般的「文章灌水」有三種原因,一種是有傾向性地發表支持猜想的數據,然後是只發表有顯著統計學意義的數據,最後是研究樣本數量不夠。這篇發表在《Science》上的研究,還給出了其他原因,即實驗樣品的差異、實驗設定的差異以及實驗完成的質量差異等等。

然而,對於Brian Nosek等給出的這三種原因(實驗樣品的差異、實驗設定的差異以及實驗完成的質量差異),Dorothy Bishop並不十分認同前兩種原因。對於實驗完成的質量的問題,也可能存在這樣的情況,即重複實驗在數據上和原始實驗存在顯著性差異,很可能是重複實驗時候沒有處理好或者操作正確。然而,對於實驗樣品和實驗設置,在重複100項心理學研究的時候,研究者們在試圖重複實驗時候,與原始實驗的相關人員進行了充分的溝通,原始實驗的方法也是相對透明。因此,Bishop教授認為,可能還存在著其他沒有被提出過的因素影響了實驗,但是這些未知因素的微小差異對於實驗結果究竟有多大影響還不可知。

基於Brian Nosek的這項研究,Bishop教授認為,我們的的實驗中存在一些問題,如果得到合理解決,那麼實驗重複性會好很多。比如,可以通過一系列的改進來使得實驗更有重複性。例如,方法a,在實驗開始之前就公開實驗的步驟,明確告知自己的假設和實驗預期,並寫清楚具體如何操作。方法b,實驗中使用有統計學意義的大量樣本。或者方法c,發表那些沒有結論的研究,只要前期實驗設計完整、嚴謹、有統計學意義,那麼這樣的實驗結果雖然沒有明確結論,但是仍然是有意義的。還有比如,方法d,提供實驗的詳細步驟和具體操作,類似地還有方法e,公開實驗中使用的數據、腳本、原始數據等等。

雖然Brian Nosek的研究是針對心理學領域的重複實驗,這並不是說心理學領域的實驗重複性很差。實際上,所有的科學領域可能都會或多或少存在類似的問題,可以引申心理學領域的重複實驗的結論到其他科學領域,畢竟重複性對於所有的科學研究都是重要的。Bishop教授認為針對實驗的重複性,為了貢獻更嚴謹的科學,科學基金評審人、期刊編輯以及科學家們都需要行動起來,為未來實驗的重複性更好,拿出實際的行動。(生物谷Bioon.com)

本文系生物谷原創編譯整理。歡迎轉載!轉載請註明來源並附原文連結。更多資訊請下載生物谷資訊APP

信源:

Science:Estimating the reproducibility of psychological science

Science Midea Center:expert reaction to report on the reproducibility of psychological research

相關焦點

  • 科學實驗的可重複性原則及挑戰—新聞—科學網
    2013年,癌症生物學領域重複性研究項目正式發起,目標在於重複2010~2012年間在《自然》《科學》《細胞》等期刊上發表的50篇癌症研究論文,以確定癌症研究領域內具有影響力的研究成果,究竟有多大比例是能夠得到可重複驗證的。
  • 癌症研究通過可重複性實驗
    研究人員已經成功複製了癌症研究結果,但與小鼠有關的實驗是很難被重複的。
  • 癌症研究通過可重複性實驗—新聞—科學網
    ,這一次它帶來的是好消息:兩篇重要癌症論文的絕大多數實驗可以被重複。 最新可重複性研究於6月27日發表於開放獲取在線生命科學期刊eLife,它們緊隨今年1月對5篇論文進行可重複性驗證之後。此前就高影響力癌症研究能否被重複的驗證產生了矛盾的信息。 但在此次的兩項新重複性實驗中,仍有一個重要小鼠實驗未能重複,《癌症生物學》可重複性項目負責人之一表示,這表明動物研究可重複性當前面臨的問題。
  • 細胞實驗重複性差?先看看有沒有支原體汙染
    當實驗結果與預期不一致或無法重複時,先自查——查一下自己的研究樣本,特別是細胞培養是否做到位了,其中有「一點」需特別注意,因顯微鏡下很難觀察到它,沒有視覺,就沒有感知,所以它很容易被忽略。這「一點」就是:支原體汙染!
  • 為什麼你的 qPCR 重複性差?靈敏度低?擴增易受抑制?
    相信做 qPCR 的研友經常會碰到以下令人抓狂的時刻:三個重複的 Cqmax 和 Cqmin 能差到兩個循環;提的樣本中總是含有很多 PCR 抑制劑,導致 Cq 值偏大;極低豐度樣本的 Cq 值總是遊走在 40 和 N/A 邊緣,讓人崩潰;絕對定量時需要的標準品既沒有商品化,自己製備起來又很費時費力…… 數不勝數的坑,等著有人來跳……
  • 正確理解重複性與重現性的概念
    重複性(repeatability)與重現性(再現性,reproducibility),二者都是用來評價分析結果的精密度。大多數人都不作嚴格區分,有的文獻中還常常混用。但是二者的實際意義是不一樣的。重複性比重現性概念大,應用範圍大。重現性內涵小,一般用在「現象」。
  • 心理所「國際信度與可重複性聯盟」神經影像大數據受到國際關注
    生物學研究中面臨的一個重要挑戰是科學發現的可重複性。在人腦功能連接組學領域,各種幹擾因素的廣泛存在使得對人腦功能連接組學各種技術與方法的重測信度和可重複性的系統研究變得非常重要。但是,限於可用於此類評估研究的數據量,各種人腦功能連接組方法學的可重複性研究尚處在初步階段。
  • 潛江治療白癜風病的醫院_白癜風擴散的原因都有哪些?
    潛江治療白癜風病的醫院_白癜風擴散的原因都有哪些? 時間:2020-12-02 10:22 武漢北大白癜風醫院 潛江治療白癜風病的醫院_白癜風擴散的原因都有哪些?白癜風嚴重影響了換著們的正常生活。這不僅給換著帶來了很大的麻煩,而且對換著的家屬也有很大的影響。
  • 重複性、相關性和GRR難嗎?
    重複性重複性(Repeatability),顧名思義即產品的重複測量,求它的最大差值,但它是有條件的。在測量時所有條件都是不能變的,包括同一人員、同一環境和位置(測量的點位)、短時間內的重複測,求出測量結果的最大差值即是重複性,它主要用來評價設備或儀器、環境的當前穩定性。
  • 乾貨| qPCR 實驗中關於 CT 值問題的詳細攻略,請查收!
    qPCR 實驗在分析 CT時常常遇到這幾類問題,比如: 復孔間重複性差,是否都和操作有關? 無模板陰性對照出現CT值時,目的基因的CT值是否還能用? CT值很大該怎麼辦?
  • Phyphox測量差分電壓實驗
    Phyphox測量差分電壓實驗 一、差分電壓在斷電自感的實驗裡,如圖1,當電鍵S1閉合時R2、R3電流都是向右的
  • 韓春雨向《自然》提交實驗可重複性數據
    科學要經得起質疑 但絕非以勢壓人  @當年小有名氣:一篇震驚世界的學術論文面世,必然會引起全世界所有做同樣事情的實驗室去關注和復現。當投入大量的人力物力無法復現後,要求原作者提供實驗數據作為證據,無可厚非。而韓春雨無法給出明確證據,至少說明他提出的方法,不是每次都能成功。
  • 不確定度系列4:重複性(復現性)分量的計算
    任何測量結果的不確定度評定,都包含該測量結果的重複性分量。重複性認為主要由隨機誤差造成,而隨機誤差來源於測量人員、測量設備、環境條件、測量地點等。01—測量精密度測量精密度是對同一或類似被測對象重複測量所得示值或測得值間的一致程度 。它體現的測得值的離散性,對應於隨機誤差。
  • 《自然》:已獲得與韓春雨實驗可重複性的新數據
    自2016年11月28日發布Cathomen等人的通信文章和編輯部關注以來,期刊獲得了與NgAgo系統可重複性相關的新數據,在決定是否採取進一步行動之前,我們需要調查研究這些數據。  不過,《自然-生物技術》未在這份聲明中透露上述相關新數據的詳細情況,包括數據來源等。該發言人也沒有說明下一步調查研究將進行多長時間。
  • 光纖連接器的反射係數漂移測試中的靈敏度和重複性研究
    傳統的連續波反射計(光源、功率表和耦合器)已被與幹涉有關的穩定性問題所困擾,而使用脈衝反射計(OTDR 的變體)則靈敏度較差,重複性也不好。由於這些原因,測量低反射連接器的反射值的變化和漂移幾乎是不可能。使用 IQS-12001B 測量反射係數     EXFO的 IQS-12001B 光纖跳線測試系統,在反射係數測量的穩定性和重複性方面取得了顯著的性能改進。
  • 電位差計實驗報告參考
    電位差計的原理與使用一、實驗目的1.掌握補償原理,用比較法測定電源電動勢;2.了解電位差計的結構
  • GraphPad Prism 統計教程 - 如何使實驗可重複?
    什麼是可重現性(reproducibility)?通常,其與可重複性可以互換使用,而可重現性需要清晰地規劃步驟以重現原始實驗。然後,可重現的實驗將詳細說明採樣、數據收集和實驗的過程,以使另一位熟練的研究人員能夠進行相同的實驗。
  • 諾維信稱測試NgAgo後看到可能有用的跡象,未提重複性
    諾維信稱測試NgAgo後看到可能有用的跡象,未提重複性 澎湃新聞記者 王盈穎 2017-01-20 20:10 來源:
  • 技術貼|ELISA實驗結果不理想?看這裡!
    前幾期小編已經和大家分享了WB和IHC實驗中常見問題及解決方案,這期咱們聊聊ELISA實驗中的那些糟心事。那ELISA實驗中都有哪些糟心事呢?我們一起來吐槽吐槽啊,高背景經常遇見吧?遇見白板是不是很頭疼?顯色淡也不陌生吧,更別說重複性不好了~真叫人頭大!
  • 女的方向感差,是有原因的!
    女生方向感差,真的不是柔弱。不知你們平時和女生出去陌生的地方玩或者去旅遊,有仔細了解下她們的行為嗎?每當分開自由活動的時候她們總會跟著大隊一起或者跟姐妹們一起,或者你看到這情況你以為她只是害怕陌生地方又或者自我保護意思強不想出現什麼突發危險。