《自然》社論談重複實驗:研究者要配合公開數據—新聞—科學網

2020-12-13 科學網

 

可重複性對一項科學研究來說,是一條入門的死規矩。但由於種種原因,研究者們似乎不太樂意對別人的研究成果進行重複實驗,重複實驗者和原文作者缺乏良性的互動,期刊對重複實驗的相關文章也拒而不收。

圍繞著重複性實驗,當地時間8月24日,英國頂級期刊《自然》雜誌在最新的一期中發表了名為《去重複實驗吧!》的社論。文章揭示了現在並不良性的、交流重複實驗結果的學術系統,「沒有科學家願意對別人頗具前景的項目進行重複研究,相比而言,他們更願意去了解他人進行重複實驗獲得的結果。在實驗的可複製性或可重複性變成主要爭論點之前,科學家們早就有能讓自己脫身的策略,比如用閒言碎語。」

「目前情況下,大多數重複實驗都不是來自於有組織的合作,而僅是個體實驗室對下階段的研究進行測試。如果實驗室的重複結果可以共享,那麼科學界將會受益。」文章寫道。

但為什麼現在科學界無法就重複實驗進行合作和共享?社論分析道:原因在於重複實驗的生態系統缺少透明度、價值和規則。為了解決這個問題,讓重複研究的用武之地更大,更多的規則和執行標準需要一一建立,需要來自研究者、資金資助者和學術期刊共同的努力。

但對一次重複實驗不能簡單地貼上「失敗」或「成功」的標籤。社論指出,一項研究成果的結論是在各方面協作過程中苦心發現的,它的準確性決定於研究方式的細小差異。

在文章的最後,《自然》呼籲研究者們配合要求公開主要數據的合理請求,呼籲基金資助者們和期刊發布者們,為研究者提供有利於理清研究脈絡的工具。同時,《自然》表示:我們歡迎,也很樂意於發布那些重複實驗結果,用來驗證已經發表的關鍵成果是否有效,包括驗證在我們期刊上發表的研究成果。

全文如下:

沒有科學家願意對別人頗具前景的項目進行重複研究,相比而言,他們更願意去了解他人進行重複實驗獲得的結果。在實驗的可複製性或可重複性變成主要爭論點之前,科學家們早就有能讓自己脫身的策略,比如用閒言碎語。研究者們會比較(學術)討論中的要點,有漏洞的研究會受到關於該研究是否值得構建的警告。或者有時,含糊其辭的評論會埋沒在相關的發表文章中,帶有講故事般的話語,這樣開頭——「在我們手中」、「為什麼我們的結果不一樣這點還不清楚……」、「有趣的是,我們的結果不……」

可以看到,一篇關於重複實驗的論文,基本上不會成為出版物和研究者的首選。很多期刊拒絕考慮重複研究的文章,而很多研究者如果發現自己的實驗結果和他人不一樣,也並不會覺得有必要開展一場爭論。所以,不知情的科學家可能會在一些死胡同般的項目上浪費時間,而對真正有價值的研究又小心翼翼。

不過情況在好轉,現在,研究者若想把他們做的重複實驗告訴科學界,有很多方法。比如,把自己的重複實驗記錄在博客上、郵寄尚未正式發表的預印本,或在不要求新穎原創性的期刊上發表同行評議。就在今年,網絡平臺F1000(註:它對SCI和PUBMED等生物醫學資料庫收錄的重要論文進行客觀評估)發起了一項名為「臨床可重複性和堅固性」(Preclinical Reproducibility and Robustness)的渠道,來處理研究者提出的反駁、確認和更細微的重複研究。其他包括《科學數據》(Scientific Data)和《美國胃腸病學雜誌》( American Journal of Gastroenterology)等,已開始公開徵求重複實驗的嘗試和提出否定的結果。2013年,在關於生物活性RNA分子是否可以跨過消化道直接進入血液的爭議之後,《自然生物技術》(Nature Biotechnology)宣稱:如果這些研究能闡明關鍵的研究問題,自己「願意接受重複實驗」( Nature Biotechnol. 31,943;2013)。

心理學界在支持重複研究上算是先行者, 《心理科學前景》(Perspectives on Psychological Science)已經開始出版一類新的文章,提倡一種新形式的合作:要求心理學家挑出一項有影響力的研究,對此進行重複實驗並制定一個實驗計劃,研究的原文作者會受邀為該重複實驗計劃提供建議,多家實驗室自願參與收集數據和結果,無論這些數據和結果如何,該重複研究都會以「重複實驗報告計劃(registered replication report)」 的形式發表(註:該計劃由《心理科學前景》期刊在2013年發起,旨在驗證過去那些經典心理學研究的結果。重複實驗所得的文章、原始數據、以及實驗材料都可以從網上下載)。目前《心理科學透視》共發表了三篇報告,每一篇報告從原文作者的觀點出發。

但是這些零星的重複實驗報告的發表,對於想要驗證大量科研項目的準確性來說是沒有效率的。目前情況下,大多數重複實驗都不是來自於有組織的合作,而僅是個體實驗室對下階段的研究進行測試。如果實驗室的重複結果可以共享,那麼科學界將會受益。

為什麼這種(合作、共享的)情形不常發生?原因在於重複實驗的生態系統缺少透明度、價值和規則。

當研究者遇到一篇令人激動的論文時,想要去了解相關重複實驗的信息卻並不容易,因為重複研究的連結並不會自動附在期刊網頁(如PubPeer 或PubMed)上原始論文之後。當一項重複研究在一項更大的研究當中被一筆提及,卻不能從中搜索到這篇重複研究。期刊沒有義務做到這項技術,儘管它們應該做到。期刊需抱著開放的態度,發表對原始論文進行深入重複實驗的論文。比如,《科學報告(Scientific Reports)》為了鼓勵發表同行評議駁斥的文章,會取消這些文章的處理審核過程。

越來越高的透明度能夠提升重複實驗的價值,但也會增加進行重複實驗者受報復的風險,對重複者來說,接受這一風險並沒有什麼好處。目前,對實驗重複者來說,發表重複實驗的研究,就無法提升自己在委員會和審稿人心中的形象。這就產生了一個「雞和蛋」問題,即研究者不想操作和發表嚴密的重複研究,因為他們的努力並不受重視,而重複研究也不受重視,因為它們很少能夠發表。不過值得稱讚的是,美國蘿拉和約翰阿諾德基金會(Laura and John Arnold Foundation )和荷蘭科學研發組織(Netherlands Organisation for Scientific Research)這樣的基金資助者卻大力支持重複研究,且對於此類論文的發表設立了高標準。通過引用論文和在社交媒體上討論這些重複研究,科學家才能確認到這樣的重複研究是為人重視的。

關於重複研究的慣例規則還未成形,甚至有關的詞彙都是缺乏的。期刊編輯在整合重複實驗的報告時會盡力避免使用諸如——「成功的」或是「失敗的」重複研究,這樣的標籤。「可重複性倡議(The Reproducibility Initiative)」是一個幫助各實驗室協調它們各自的獨立重複研究的項目,在它開展的第一個研究後也迴避了類似的說法。(畢竟,)篇論文集合了文本、實驗、數據、分析和有根據的猜測。它的研究結論是在各方面協作過程中苦心發現的,它的準確性決定於研究方式的細小差異,比如試劑是在何種程度下混合的 (W. C. Hines et al. Cell Rep. 6, 779–781; 2014)。

實驗重複者和原文作者進行合作、聯繫的慣例也未形成。一些原文作者拒絕分享數據或實驗方法上的細節。在有些案例中,實驗重複者會首先播報他們的實驗,而不是去解決結果之間的不一致性,這使得他們更易遭致實驗不完整的批評。(幸好實驗重複者和原文作者現在都在避免謾罵。)隨著重複實驗變得越來越主流,我們相信科學界會建立起合理的執行標準。

為了培養更好的科學行為,重複研究必須變得更廣泛。我們呼籲研究者們打開他們的資料庫,呼籲研究者們配合要求公開主要數據的合理請求。論文作者要想著他人是出自善意的意圖,所以在寫論文時要記錄數據,以免別的研究者會有進行重複實驗室的需求。我們呼籲基金資助者們和期刊發布者們,為研究者提供有利於理清研究脈絡的工具。我們歡迎,也很樂意於發布那些重複實驗結果,用來驗證已經發表的關鍵成果是否有效,包括驗證在我們期刊上發表的研究成果。

 

 

 

特別聲明:本文轉載僅僅是出於傳播信息的需要,並不意味著代表本網站觀點或證實其內容的真實性;如其他媒體、網站或個人從本網站轉載使用,須保留本網站註明的「來源」,並自負版權等法律責任;作者如果不希望被轉載或者聯繫轉載稿費等事宜,請與我們接洽。

相關焦點

  • 探索基於重複的實驗設計
    在這一目的下,研究者要在實驗設計中引入較大程度的變化,從而擴大現象和結論成立的範圍。例如,在生命科學研究中,常見的做法是改換不同性狀、物種的實驗動物,使用不同類型的表徵儀器(如不同原理的顯微鏡和譜儀)等。由於生物及其分子特徵的多樣性,利用不同實驗對象和儀器進行逐一檢驗通常是擴大結論穩健性的必然要求。
  • 韓春雨向《自然》提交實驗可重複性數據
    韓春雨無疑是2016年最受公眾關注的中國研究者之一。從在《自然-生物技術》雜誌論文發表的一鳴驚人,到被質疑學術造假的聲討筆伐,他所經歷的輿論如過山車一樣跌宕起伏。近日,《自然-生物技術》發表關於「利用NgAgo進行DNA引導的基因組編輯」論文的最新聲明。聲明中稱期刊已經獲得了與NgAgo系統可重複性相關的新數據,在決定是否採取進一步行動之前,需要調查研究這些數據。
  • 《科學》社論:確保數據有最大可獲取性
    《科學》社論:確保數據有最大可獲取性20世紀90年代中期,由於新理論思想的出現,畢史克希望能重新分析JADE實驗的老數據,因為這是來自更低碰撞能量的數據。 然而他卻發現了一個災難。自從JADE實驗結束、實驗經費中止後,這些數據就分散到了世界各地,而且是隨意儲存在老舊的磁帶上。JADE實驗的數據尤為典型:由於習慣於大型合作且很快轉向更大更好的機器,粒子物理學家們並沒有儲存和分享數據的標準格式。
  • 韓春雨論文的可重複性問題,要怎麼「科學解決」?
    這一切,都源自韓春雨在《自然·生物技術》上發表的關於「新一代基因編輯系統」NgAgo的研究結果[1]。論文中那引起眾多同行、媒體乃至公眾關注的成果,被多國研究者反映「無法重複」。針對此事,果殼網科學人聯繫到了分享重複失敗數據的遺傳學家蓋坦·布爾焦(Gaetan Burgio)和呼籲韓春雨公開原始實驗數據的路易斯·蒙託柳(Lluís Montoliu)。
  • 韓春雨詳解新版實驗方法要點 稱新舊實驗方法無本質區別—新聞...
    韓春雨詳解新版實驗方法要點 稱新舊實驗方法無本質區別
  • 心理學的危機:為什麼超六成的實驗無法重複?
    網站「開放科學架構」(Open Science Framework)在2013年對心理學中的一些重要效應進行了重複實驗, 結果顯示一些經典的行為決策研究結果具有較穩定的效應,但是一些社會認知領域的經典效應則被發現難以重複[2]。《自然》期刊(Nature)在2015年發表了一篇對於100個發表在心理學期刊上的研究進行重複研究的報告 [3]。
  • —新聞—科學網
    emergence)的論文,這篇論文發現一種叫做SHC014的病毒具有潛在致病性,研究者還進一步構建了一種嵌合病毒。在這項研究中,石正麗研究員僅提供了SHC014這個冠狀病毒的刺突囊膜蛋白基因序列,沒有參與用它構建嵌合病毒的具體實驗操作,所構建的病毒材料也未引進國內。這項工作的動物實驗都是在美國完成的,而且美國團隊只開展過小鼠感染實驗,未開展非人靈長類感染實驗。
  • 《自然》社論對2020年的回顧
    從COVID大流行到重大的美國大選,《自然》的社論提供了一個視角,可以通過它觀看不平凡的一年。自然》社論對2020年的回顧病毒誕生:從病人樣本中分離出的嚴重感染SARS-CoV-2病毒顆粒(橙色)的垂死細胞(綠色)的掃描電子顯微照片。
  • 蒲地藍消炎口服液或對新冠肺炎有療效—新聞—科學網
    5月8日,《信號轉導與靶向治療》刊發了一篇以中國醫學科學院醫學實驗動物研究所研究員鮑琳琳為通訊作者的研究。
  • 上海自然博物館推出「野孩子」參觀路線—新聞—科學網
    在輕鬆愉快的氛圍下,小朋友們不僅收穫了自然知識,還加深了親子感情。   「野孩子/YEAH KIDS」是上海自然博物館根據分眾化教育原則,專為3-6歲兒童及其親子家庭打造的原創教育品牌,旨在通過探究課程、酷玩學習單、表演秀、親子互動展覽、主題參觀路線、戶外體驗等六大活動類型,讓幼兒感受自然之樂,創造難忘自然體驗,發展自然智能。
  • 做實驗室裡的Github,Labstep想為實驗科學的「可重複性危機」提供...
    在過去的幾年內,「可重複性危機」這一概念在實驗科學領域的引起了越來越多的關注。自然雜誌在2016年進行的調查顯示,在 1576 名研究者中,有 70% 表示有過無法重複他人論文中的實驗的經歷,50%表示他們曾無法重現他們自己的實驗結果。
  • 韓春雨論文的可重複性問題,怎樣「科學解決」?  科學人
    這一切,都源自韓春雨在《自然·生物技術》上發表的關於「新一代基因編輯系統」NgAgo的研究結果[1]。論文中那引起眾多同行、媒體乃至公眾關注的成果,被多國研究者反映「無法重複」。針對此事,果殼網科學人聯繫到了分享重複失敗數據的遺傳學家蓋坦·布爾焦(Gaetan Burgio)和呼籲韓春雨公開原始實驗數據的路易斯·蒙託柳(Lluís Montoliu)。
  • 韓春雨的實驗結果能否重複?數據說話
    繼20名中外學者在Protein Cell雜誌發表實驗數據表明無法重複韓春雨的論文(以下簡稱韓論文)實驗結果之後,發表NgAgo原始論文的Nature Biotechnology(自然生物技術,NBT)雜誌也在幾天前發表了一篇經過同行評議(peer reviewed)的名為「無法檢測到DNA介導的
  • 科學家關注心理學實驗可重複性—新聞—科學網
    大部分心理學實驗是由單一實驗室進行的,通常只有數個研究人員參與。不過,涉及全世界數十個心理學實驗室的幾個合作項目最近已經形成。它們的目標是測試心理科學的再現性。 這些合作的首個顯著結果於近日發表,心理學家長舒一口氣,他們的領域只有相對較小的瑕疵:13個實驗中有10個可以重複。再現性是科學的咒語。
  • —新聞—科學網
    被同行質疑的是一張蛋白質印跡(WB)數據圖片。在這項檢測蛋白質表達水平的實驗中,對照組和試驗組的條帶圖像看起來一模一樣。作者由此推論,患病個體(試驗組)和不患病的個體(對照組)相比,VHL蛋白的表達水平是一樣的。論文寫道:相關基因突變並不影響VHL蛋白的穩定性。 但有同行懷疑,這根本就是一張圖片被重複使用了兩次,從而得出蛋白表達沒有顯著差異的「偽結論」。
  • 韓春雨論文被自然子刊撤稿 其團隊同意選擇第三方實驗室開展實驗
    界面新聞記者從《自然-生物技術》(Nature Biotechnology)了解到,韓春雨等人發表在該雜誌的題為《利用NgAgo進行DNA引導的基因組編輯》的論文已於北京時間8月3日撤稿了。當天,《自然-生物技術》在題為《是該數據說話的時候了》的社論中表示,「我們現在確信韓春雨的撤稿決定是維護已發表科研記錄完整性的最好做法。」
  • Nature新聞:4%的生物醫學論文存在圖片重複
    EMBO Journal期刊主編Bernd Pulverer說,之前的研究分析了圖片重複率,但是這項最新分析是特別大型的,具有涵蓋多種期刊的優勢。他注意到儘管大多數圖片重複並不意味著欺詐或惡意,但是它們確實錯誤地代表實驗。目光敏銳的領導這項分析的微生物學家Elisabeth Bik說,「[圖片]重複率比我起初認為的高。」
  • 三個實驗重複夠嗎?再談「error bar「.
    作為本小編的首次交稿作業,我今天從統計的角度認真地談下Error bar的畫法和統計學顯著性。(1) 這些問題你遇到過嗎?設想以下兩個場景:(A)利用qPCR研究某基因在兩份小麥材料根組織中是否差異表達,你會做幾次實驗重複?用什麼統計學方法?
  • 《自然即是美:2021言幾又周曆》發布—新聞—科學網
    自然和人的關係是什麼?一草一木、一花一世界給人們的啟示又是什麼?疫情、山火、蝗災、洪水……自然之戾迸發的2020年,我們又當以怎樣的態度審視自然? 9月20日,「自然即是美」主題論壇暨言幾又&北京大學出版社2021年聯合定製周曆——《自然即是美:2021言幾又周曆》發布儀式在言幾又北京中關村店開啟。周曆由雙方共同出版,擁有書名和書號,成為真正的周曆之「書」。內容甄選百年前的手繪生物繪本,通過策劃與創意設計將嚴謹的科學用繪畫的藝術方式表達,打造自然美學意境。
  • 他們試圖重複心理學的多個經典實驗,竟然只有一半成功了
    過去幾年間,該項目背後的200多名心理學家試圖重複28項高引用和轟動性的研究,最終發現只有一半的重複實驗能得出和原始研究一致的結論。如果這發生在六年前,或許是震撼學術界的大新聞。而現在,結果已然在預料之中 。