英國生態學會發起一項大規模研究,「雙盲審稿」能否減少偏見?

2021-01-08 國際科學編輯

英國生態學會發起了一項大規模研究,劍指「雙盲審稿」是否能減少科學出版中的偏見

英國生態學會旗下雜誌Functional Ecology進行了一項為期兩年的隨機對照試驗,這是同類試驗中迄今為止規模最大的一次,目的是評估在同行評審中隱藏作者信息的細節,是否會減少科學出版過程中對特殊群體的偏見。

科學論文在接受出版前要經過同行評審。文章被送到兩名或兩名以上的獨立研究者那裡審稿。這些研究人員需評估作者使用的方法和得出的結論的合理性,以及研究的新穎性。審稿人的意見在決定論文被接受和出版方面起著重要的作用。

目前生態學期刊中最常見的評審過程是單盲同行評審。作者不知道審稿人是誰。然而,審稿人能看到作者的詳細信息。

人們擔心,審稿人有意或無意地了解投稿作者的性別、大學職位或國籍,可能會影響他們對論文所作出的評審意見。

例如,有些證據表明,由女性作者領導的研究可能在同行評審中得分不高。另一方面,知名作者或知名機構的投稿論文更有可能會獲得成功。因此,一些期刊引入了「雙盲」。審稿人和作者互相不知道對方身份。

從2019年9月5日開始,英國生態學會將在未來兩年內進行大規模隨機對照試驗,比較這兩種方法的同行評審。據估計,提交給Functional Ecology 雜誌的2500篇研究論文將隨機分為兩種審稿流程:單盲或雙盲同行評審。該研究將評估作者特性是否影響同行評審分數和論文的接受度,以及盲審過程的有效性。

特別是,這項研究將檢驗雙盲審稿是否會減少同行評審分數和接受率上的差異,尤其是在不同性別、國家、第一語言(是英語或其他)、大學聲望、職業生涯階段和發表經歷(更高產、更高聲望)的作者身上。

該雜誌還將調查作者匿名如何影響出版過程——包括招募審稿人的能力、收到的審稿質量、給論文的平均評分以及審稿人識別作者的能力。最後,作者和評審人員會被要求填寫一份調查問卷:詢問他們對單盲和雙盲同行評審的意見。

Functional Ecology雜誌的執行主編Charles Fox說: 「 對科學以及相關科學家來說,通過公平、公正的過程發表研究成果是至關重要的。我們了解到人們擔心同行評審中的偏見會對女性研究人員和發展中國家的研究人員產生不利影響。作為科學家,我們應該把我們的研究過程建立在最好的證據之上。這就是我們進行這項試驗的原因。研究結果將有助於確定最佳方法使出版過程中潛在偏見的來源最小化。」

英國生態學會出版部主任Catherine Hill說:「英國生態學會致力於提高科學的開放性和包容性。我們有六本領先的期刊出版最新的生態學。最重要的是,無論作者的背景如何,我們發表的研究都應以最公正的方式進行審稿和選擇。這項研究將提供我們是否能實現這一目標的重要數據,並確保我們的同行評審政策是基於儘可能好的證據。」

相關焦點

  • 同行評議要不要"雙盲"?
    評議匿名作者的論文有利於減少有意識或者無意識的偏見。他表示,從去年起,他的雜誌就在試圖引入雙盲同行評議。結果這種機制受到「壓倒性的支持」,在年輕科學家和少數族裔科學家中尤甚。該雜誌的編輯們正打算與董事會以及更多保護生物學學會的會員討論這項改革。博格曼說:「我們希望雙盲同行評議一旦被引入,就成為一項永久性改革。這項改革將在接下來的12個月內完成。」
  • 單盲還是雙盲?Nature旗下25本期刊的審稿模式分析
    該研究是第一個根據作者選擇的審稿模式(雙盲vs.單盲同行評議)來分析、比較涵蓋廣泛學科的科學期刊對投稿接收情況的研究。他們按審稿模式和通訊作者的特徵,對2年內向25本自然旗下期刊投稿的資料庫進行了分析。他們的目的是了解作者的特徵,並推斷出與通訊作者的性別、國家或所屬機構國際地位相關的任何潛在的隱性偏見。該研究為作者在向高影響力期刊投稿時的行為提供了新的見解。
  • NIPS 2018又出事了:審稿信息洩露,雙盲評審失效!
    NIPS 2018又出事了:審稿信息洩露,雙盲評審失效! 李倩 發表於 2018-08-13 09:57:20 NIPS 2018又出事了:審稿信息洩露,由於論文提交CMT系統的重大漏洞,審稿人可以判斷出單篇論文的姓名和機構,讓雙盲評審失效!
  • 同行評議:單盲還是雙盲,這是一個問題 | BMC Journal
    utm_source=WeChat&utm_medium=Website_linksSocial_media_organic&utm_content=CelZha-MixedBrand-multijournal-Multidisciplinary-China&utm_campaign=ORG_AWA_CZH_BMCWechat_dailyposts_blogs
  • ACL 禁止投稿論文提交 arXiv,雙盲評審真的有效嗎?
    其中最受爭議的一項要求是,為了雙盲評審的有效性,禁止投稿論文在截止日期前的1個月時間裡在 arXiv 等平臺公開預印本,直到論文評審結果公布。這些新要求引起一些質疑雙盲評審有效性的聲音,不過,多數研究人員表示支持新政。史丹福大學 NLP Group的主任、2015 年曾任 ACL 主席的 Christopher Manning 也針對ACL的新政做了詳細的解釋。
  • 一招提升認知力,科學思維工具之雙盲控制實驗
    雙盲控制實驗《自私的基因》相信對很多關注科學圈的讀者來說,都不陌生。這是一本出版於1976年的科普書籍,一經出版就暢銷全球,曾被評為20世紀百大經典名著之一。它提出的基因領域和社會科學領域的顛覆性觀點,一度引發社會重大爭議。
  • 隨機雙盲實驗:讓騙子現形
    世界上最著名的無神論者、英國皇家科學院院士、牛津大學教授道金斯認為,最能提高每個人認知能力的科學概念就是「雙盲對照試驗」。歐盟《傳統植物藥指令》規定,從11年5月1日起全面實施,未經註冊的中藥將不得在歐盟市場上作為藥品銷售和使用。同年英國藥品管理局繼發布中藥毒性警告。2013年11月,英國藥物管理局頒布了中成藥禁售令,該法令將於2014年4月底開始實施。
  • Science新研究證明人工智慧也能學會偏見
    選自Science機器之心編譯參與:吳攀、晏奇至少從口號上來說,我們一直在追求「人人平等」,但我們也都清楚我們離這一目標還相去甚遠,部分原因是因為世界並不是平的,還有一部分原因是我們的頭腦裡都還存在著偏見。現在隨著人工智慧技術的發展,機器已經開始具備了學習能力,那麼它們在學習各種技能的同時也會學會人類的偏見嗎?
  • 為什麼要用「雙盲試驗」檢驗中醫藥
    把「童子尿保胎」和「黃體酮保胎」放在一起,就構成一個「對照試驗」。通過這樣的試驗,那些深信黃體酮可以保胎的孕婦會恍然大悟:原來隨便編造的一個藥方都可以和黃體酮起一樣的「效果」啊。光有「對照」還不夠,因為人不是機器,參與一項試驗的人難免會讓自己的主觀意識幹擾客觀過程,所以讓服藥者和檢驗者「不知情」——亦即「雙盲」,才能得到客觀公正的結果。
  • 社交媒體和arXiv存在,讓雙盲評審形同虛設 | Reddit熱議
    13個小時,熱度超過300…起因是一位研究人員分享了他的經歷:NeurIPS 2020會議提交截止之後,他在Twitter上看到有人分享他們的arXiv研究成果,並得到了很好的反饋。關鍵是,這些人一般都是Twitter上的大V,大多都來自谷歌、Facebook等著名機構的研究人員。
  • 社交媒體和arXiv存在,讓雙盲評審形同虛設|Reddit熱議
    白交 發自 凹非寺量子位 報導 | 公眾號 QbitAI雙盲評審機制真的雙盲嗎?最近,Reddit上有這樣一個討論:社交媒體與arXiv是否損壞了頂會雙盲的機制?13個小時,熱度超過300…起因是一位研究人員分享了他的經歷:NeurIPS 2020會議提交截止之後,他在Twitter上看到有人分享他們的arXiv研究成果,並得到了很好的反饋。關鍵是,這些人一般都是Twitter上的大V,大多都來自谷歌、Facebook等著名機構的研究人員。一旦發出,就會一呼百應,受到大家的點讚和轉發。
  • ACL新政禁止投稿論文在arXiv公開,我們到底需要什麼樣的雙盲評審?
    種種研究表明偏見會影響任何人,無論評審者的性別或種族。而雙盲評審則可以弱化這種影響,減少歧視。這也使得雙盲評審成為評價系統的非常具有建設性的一部分,使得論文評審結果更加的忠於論文質量。但即便是雙盲評審中,審稿人猜測論文作者的嘗試仍然會影響評審結果。
  • 對我國大水面生態漁業發展的偏見有哪些?
    普通的民眾對漁業的環境效應存在偏見或有成見可以理解,但一些專業人士,他們有著「博大精深」的生態學知識和對水域生態系統的深入了解,以及對國內外實驗生態學研究的充分掌握,他們又是領域內的權威、專家,他們是大水面生態漁業發展的最大障礙。他們(一刀切式地)堅決反對在湖泊、水庫中發展任何形式的漁業,顯示出對漁業的極深偏見。
  • 年度榜單 |《環境科學研究》2020年度優秀審稿專家
    為了特別感謝對《環境科學研究》穩步發展做出突出貢獻的審稿專家,編輯部遴選出15位授予「《環境科學研究》2020年度優秀審稿專家」榮譽稱號,並將頒發證書,以表彰和鼓勵各位專家在審稿工作中給予的大力支持和幫助!在今後的工作中,編輯部希望能繼續得到更多審稿專家、作者及讀者的支持、幫助和關注!
  • 大數據研究發現女性投稿更容易受到編輯及審稿人的青睞
    該研究重構了三種可能的偏見來源,即編輯選擇審稿人,審稿人的建議和編輯的決定,並研究了它們之間的所有可能關係。結果表明,由審稿人和編輯對由女性作為作者或女性共同作者的手稿會更友好。儘管研究領域之間存在一些差異,但該研究發現表明,同行評審和編輯過程不會對女性手稿造成不利影響。
  • 200萬大數據分析,研究發現女性投稿會更容易受到編輯及審稿人的青睞
    >145種期刊的數據,研究了同行評議中的性別偏見,其中包括約170萬名作者和74萬名審稿人。 該研究重構了三種可能的偏見來源,即編輯選擇審稿人,審稿人的建議和編輯的決定,並研究了它們之間的所有可能關係。結果表明,由審稿人和編輯對由女性作為作者或女性共同作者的手稿會更友好。儘管研究領域之間存在一些差異,但該研究發現表明,同行評審和編輯過程不會對女性手稿造成不利影響。
  • Angew再發表社論:不忘科學初心,徹底移除偏見,做好學術表率!
    編輯部致學術界同仁的公開信此外,中國研究界受到不公正的詆毀。文中所提到的對科學指導的描述,違背了良好的工作實踐和教育的價值觀。據COPE(出版倫理委員會)規定和來自STM協會(國際科學、技術和醫學出版商協會)的標準,該文章在6月5日被撤回,兩名編輯在6月6日被停職。這篇文章本不應該發表。
  • 學好AP還能助力新冠疫苗研究?雙盲實驗了解一下!
    這樣研究人員(發配藥品的醫生)也不知道自己發的藥片是什麼,這樣就完成了雙盲(double-blind)(注意:雙盲實驗中一定會有一個統籌人員安排全局,這個人知道一切,否則最後沒有辦法分析數據)。我們不難看出,進行雙盲實驗的時候,研究人員是很好「瞞」過的,最難「瞞」過的是被測試者(也就是上面例子當中的患者)。
  • 皇家天文學會公布:迄今為止最詳細的大規模宇宙演化模擬!
    科學家們現在公布了一項新完成且最先進的星系演化模擬結果,TNG50是迄今為止最詳細的大規模宇宙演化模擬,這個模擬使研究人員能夠詳細研究星系是如何形成的,以及自大爆炸後不久以來星系是如何演化的。第一次揭示了圍繞星系的宇宙氣體流動幾何形狀決定了星繫結構,反之亦然,其研究結果發表在《皇家天文學會月刊》上。