同行評議:單盲還是雙盲,這是一個問題 | BMC Journal

2020-12-17 科學網
同行評議:單盲還是雙盲,這是一個問題 | BMC Journal

論文標題:Uptake and outcome of manuscripts in Nature journals by review model and author characteristics

期刊:Research Integrity and Peer Review

作者:Barbara McGillivray and Elisa De Ranieri

發表時間:2018/08/17

數字識別碼:10.1186/s41073-018-0049-z

原文連結:https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-018-0049-z?utm_source=WeChat&utm_medium=Website_linksSocial_media_organic&utm_content=CelZha-MixedBrand-multijournal-Multidisciplinary-China&utm_campaign=ORG_AWA_CZH_BMCWechat_dailyposts_blogs

微信連結:https://mp.weixin.qq.com/s/jNTPNTGcz3bIF-brWcenpg

原文作者:Barbara McGillivray,Elisa De Ranieri

本周是同行評審周,我們邀您一起回顧最近發表在Research Integrity and Peer Review上的文章Update and outcome of manuscripts in Nature journals by review model and author characteristics對Nature旗下25本期刊的審稿模式進行的數據分析。有多少作者選擇了雙盲同行評議(double-blind peer review)?什麼樣的作者更青睞雙盲同行評議?文章試圖為這些問題找到答案。

圖片來源:flickr.com/Gideon Burton

較為傳統的審稿模式通常是單盲同行評議(single-blind peer review),在這種模式中審稿人知道作者的身份和所屬機構。但是在雙盲同行評議(double-blind peer review)中,審稿人看不到作者的身份和所屬機構,作者也不知道審稿人的信息。

雙盲同行評議是為避免學術出版中可能存在的審稿人偏差而提出的一種可能的解決方案。這個研究的目標就是找出選擇雙盲同行評議的通訊作者們都具備什麼特點,以及選擇不同的審稿模式對發表結果是否存在影響。

方法

作者使用的數據包括25本自然旗下期刊在2015年3月到2017年2月間收到的128,454份投稿。他們調查了雙盲同行評議與期刊等級、性別、國家和通訊作者所在機構的國際地位之間的關係,以及稿件接收情況和審稿模式、作者特徵之間的聯繫。

通訊作者的性別(分為男性、女性和不確定三類)是用一個第三方服務通過作者的名(first name)來確定的。通訊作者所在機構的國際地位則是按2016-2017年度泰晤士高等教育(Times Higher Education, THE)的排名情況將所有機構分為3個類別:類別1為THE排名中1到10名的學校,投稿數佔總數的6%;類別2為THE排名11到100的學校,投稿數佔總數的20%;類別3為THE排名100之後的學校,投稿數佔總數的30%。其他因本身不是大學而不在THE排名中的所有機構都列為類別4,投稿數佔總數的45%。

數據分析結果

研究者發現,在所有投稿中有12%選擇了雙盲同行評議。期刊級別和審稿模式間存在明顯的關聯,所投期刊級別越高,選擇雙盲同行評議的比例越高。(表2)

表2 依據期刊等級的同行評議模型

在分析了50,533名通訊作者的性別信息之後,研究者發現審稿模式的選擇和性別之間沒有明顯關聯。

從通訊作者的從屬機構來看,所在機構的國際地位越低,作者越可能選擇雙盲同行評議(表4)。

表4 依據機構組的同行評議模型

在投稿量最多的10個國家裡,研究者發現國家和審稿模式之間高度相關。中國作者最喜歡使用雙盲同行評議,而美國作者最喜歡單盲同行評議。亞洲國家更傾向於使用雙盲同行評議。

表5 依據國家的同行評議模型

從投稿結果來看,選擇雙盲同行評議的文章無論是初審結果還是審稿人評議後的結果都比單盲同行評議的文章更差。

結論

該研究是第一個根據作者選擇的審稿模式(雙盲vs.單盲同行評議)來分析、比較涵蓋廣泛學科的科學期刊對投稿接收情況的研究。他們按審稿模式和通訊作者的特徵,對2年內向25本自然旗下期刊投稿的資料庫進行了分析。他們的目的是了解作者的特徵,並推斷出與通訊作者的性別、國家或所屬機構國際地位相關的任何潛在的隱性偏見。

該研究為作者在向高影響力期刊投稿時的行為提供了新的見解。研究者們發現,作者們向自然旗下期刊投稿時,期刊影響力越大作者們越傾向於選擇雙盲同行評議;某些特定國家(在投稿率較高的國家中印度和中國尤其如此)的作者特別青睞雙盲同行評議;作者所在機構國際排名越靠後,越容易選擇雙盲同行評議。沒有觀察到作者的性別對投稿模式有任何影響。

研究者還發現,選擇雙盲同行評議的投稿被送審和被接收的可能性比選擇單盲同行評議的投稿更小;來自女性作者和來自國際排名較靠後的機構的作者,其投稿的接收率分別低於男性作者和機構國際排名較靠前的作者。

不過由於成功被接收的論文數量較少,投稿質量也缺乏獨立的評價標準,研究者表示無法就隱性偏見的存在以及雙盲同行評議在減少或消除這種偏見的有效性得到確切的結論。

摘要:

Background

Double-blind peer review has been proposed as a possible solution to avoid implicit referee bias in academic publishing. The aims of this study are to analyse the demographics of corresponding authors choosing double-blind peer review and to identify differences in the editorial outcome of manuscripts depending on their review model.

Methods

Data includes 128,454 manuscripts received between March 2015 and February 2017 by 25 Nature-branded journals. We investigated the uptake of double-blind review in relation to journal tier, as well as gender, country, and institutional prestige of the corresponding author. We then studied the manuscripts』 editorial outcome in relation to review model and author’s characteristics. The gender (male, female, or NA) of the corresponding authors was determined from their first name using a third-party service (Gender API). The prestige of the corresponding author’s institutions was measured from the data of the Global Research Identifier Database (GRID) by dividing institutions in three prestige groups with reference to the 2016 Times Higher Education (THE) ranking. We employed descriptive statistics for data exploration, and we tested our hypotheses using Pearson’s chi-square and binomial tests. We also performed logistic regression modelling with author update, out-to-review, and acceptance as response, and journal tier, author gender, author country, and institution as predictors.

Results

Author uptake for double-blind submissions was 12% (12,631 out of 106,373). We found a small but significant association between journal tier and review type (p value < 0.001, Cramer’s V = 0.054, df = 2). We had gender information for 50,533 corresponding authors and found no statistically significant difference in the distribution of peer review model between males and females (p value = 0.6179). We had 58,920 records with normalised institutions and a THE rank, and we found that corresponding authors from the less prestigious institutions are more likely to choose double-blind review (p value < 0.001, df = 2, Cramer’s V = 0.106). In the ten countries with the highest number of submissions, we found a large significant association between country and review type (p value < 0.001, df = 10, Cramer’s V = 0.189). The outcome both at first decision and post review is significantly more negative (i.e. a higher likelihood for rejection) for double-blind than single-blind papers (p value < 0.001, df = 1, Cramer’s V = 0.112 for first decision; p value < 0.001; df = 1, Cramer’s V = 0.082 for post-review decision).

Conclusions

The proportion of authors that choose double-blind review is higher when they submit to more prestigious journals, they are affiliated with less prestigious institutions, or they are from specific countries; the double-blind option is also linked to less successful editorial outcomes.

閱讀原文請訪問:

https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-018-0049-z?utm_source=WeChat&utm_medium=Website_linksSocial_media_organic&utm_content=CelZha-MixedBrand-multijournal-Multidisciplinary-China&utm_campaign=ORG_AWA_CZH_BMCWechat_dailyposts_blogs

期刊介紹:

Research Integrity and Peer Review (https://researchintegrityjournal.biomedcentral.com/)is an international, open access, peer reviewed journal that encompasses all aspects of integrity in research publication, including peer review, study reporting, and research and publication ethics. Particular consideration is given to submissions that address current controversies and limitations in the field and offer potential solutions. We welcome research into peer review and editorial decision making, however reports of individual journal or publisher decisions or actions will not be considered.

(來源:科學網)

 

 

 

特別聲明:本文轉載僅僅是出於傳播信息的需要,並不意味著代表本網站觀點或證實其內容的真實性;如其他媒體、網站或個人從本網站轉載使用,須保留本網站註明的「來源」,並自負版權等法律責任;作者如果不希望被轉載或者聯繫轉載稿費等事宜,請與我們接洽。

相關焦點

  • 魁北克大學教授痛批雙盲評審制度:這不是個好主意
    更重要的問題是,讀者重要還是評審人重要?我們寫論文是為了發表還是為了供人閱讀?我毫不猶豫地選擇後者。雙盲同行評審至多可以幫助論文被接收,但對於論文發表後的評價毫無用處。但看起來我們認為這個遊戲的終極目標就是在頂會發表論文,我們是不是把影響因子看得太重,或者我們真的關心能否產出有影響力的研究嗎?
  • 觀點:同行評議需要被認真對待—新聞—科學網
    如果是的話,你肯定對同行評議有一些觀點。這一機制在學術交流中居於核心地位,而且在整個圈子內引發了不同人的觀點。我們的研究項目探索了關於同行評議的最好方法,涵蓋了來自論文作者、評審以及期刊編輯的諸多意見。來自各領域的研究者被要求填寫一份問卷,或者參加一些焦點訪問小組。最終,超過7400人作出回應。 同行評議是學術研究過程中至關重要的元素。與此同時,相當數量的人認為這一系統已經被損壞。
  • 學術論文的「同行評審」制度如今也不靠譜了?
    孫學軍解釋說,他自己也參與過大量尋找同行評審人的過程。在這一過程中,為了方便,不少編輯會採用投稿作者推薦的審稿人作為同行專家。「這裡就出問題,作者自己推薦的人,很可能是和自己關係友好的同行。」另一方面,現代生物出版集團撤銷的43篇論文,不少同行審議完全是虛構出來的,包括郵件地址。而由於學術編輯義務勞動等現實原因,他們對稿件進行非常詳細的審查就顯得十分困難。
  • 評論:同行評議不應成學術造假溫床
    造假事件給我們更大的警示,則是中國學者在學術國際化程度上,無論是學術的規範性,還是創新性,甚至道德自律,都還有很長的路要走。 近日,德國施普林格出版集團宣布,撤回集團旗下10本學術周刊上發表的64篇科研論文。這是繼數月前英國BMC出版社撤回43篇學術論文後又一次學術造假事件,緣由都是同行評議過程存在造假現象。
  • 科學網—同行評議水太深
    這也是《酶抑制和藥物化學雜誌》編輯誤讓作者——當時就職於韓國東國大學的藥用植物研究人員Hyung-In Moon——評審自己文章的原因。 這些評審可能本身並不會受到關注:最有利的是一些有關如何提高論文水平的建議。不同尋常的是他們要多快完成這項工作:通常在24小時內。這有點太快了,上述期刊的主編Claudiu Supuran開始有所懷疑。
  • 理性對待「SCI」 用好「同行評議」
    「開放同行評議」有助於完善同行評議制度《意見》破了「SCI至上」,立了「同行評議」,但「完善學術同行評價」並不會立竿見影,學術生態向好需要一個過程,因為同行評議常常難以避免複雜的「關係」。《萊頓宣言》(2015年4月22日發表於《Nature》)倡議:定量指標可用於支撐同行評議,但不能取而代之。遺憾的是,在評價實踐中,同行評議往往並不能充分發揮作用,但這並不代表同行評議無效。諾貝爾獎的評選過程是同行評議的典範,至今在全球享有盛譽。英國的科研卓越框架REF(Research Excellence Framework)作為全球科研評估的典範,也幾乎完全依賴於同行評議。
  • 新型同行評議跟蹤系統,如何杜絕審稿人造假?
    今年4月,《Tumor Biology》一次性撤稿107篇論文,主要源自同行評議造假,更引起了學術界廣泛關注。不知不覺,已經有人針對這一問題做出了應對。通過追蹤個體審稿人的貢獻,Publons平臺試圖減少虛假同行評議問題的出現。
  • 廈大教授:破SCI至上,建立同行集體評議制度—新聞—科學網
    更重要的是得到學術同行公認。SCI文章很難說是同行公認。畢竟SCI期刊的編輯加上審稿、編委,只是少數幾個人的認可。追求SCI,特別是在原創性成果、原創性科技工作上過度追求SCI,科研人員很難安心工作,很多人會想盡辦法去跟編輯公關,以謀求更大的好處。 學術同行評議制度現在不是沒有,而是不發揮作用。
  • 【同行評議顯示俄羅斯的新冠疫苗可產生免疫反應】第一份同行評議...
    【同行評議顯示俄羅斯的新冠疫苗可產生免疫反應】第一份同行評議數據顯示,俄羅斯飽受爭議的新冠疫苗項目在早期試驗中使所有參與者產生了抗體反應,未發現嚴重不良反應。根據周五發表在醫學期刊《柳葉刀》上的一期和二期試驗初步結果,該疫苗還產生了T細胞應答。在外部專家評審前,俄羅斯官員對疫苗效果有過大致相似的說法。
  • 參與國際同行評議,咱們還得加把油—新聞—科學網
    根據最新一項全球規模的調研,答案為「是的」:2013~2017年,中國學者的論文發表量佔13.8%,但同行評議貢獻量僅有8.8%。 近日,第二軍醫大學海軍醫學系教授孫學軍就此在科學網發表博文,引發研究人員熱議。他在接受《中國科學報》記者採訪時,直截了當表示:「國內學者不參與國際同行評議,這相當於在國際比賽中放棄當裁判。」其他幾位具有多年審稿經歷的採訪對象也都表達了類似觀點。
  • 同行評議:臨床醫學為何成「重災區」—新聞—科學網
    ■本報記者 倪思潔 近日,德國施普林格出版集團撤回旗下10本學術周刊上發表的64篇論文,原因是同行評議報告存在造假問題
  • 學者:「中國學者不愛參加國際同行評議,等於放棄話語權」
    但是國際的學術評議,則大多數沒有任何的金錢補助,這就導致出現一個國內外差異。 部分觀點得到了Publons聯合創始人安德魯·普雷斯頓的肯定。後者對《中國科學報》記者表示,一方面可能有語言的問題,另一方面是審稿貢獻在我國未納入科研評價體系,因而中國學者更願意花精力去做研究及發表論文。 但在馬軍看來,語言並非主要阻礙因素。
  • 完善代表作同行評議制度 力破「五唯」痼疾
    三天連續發布的這三份重要文件,是為破除「五唯」(唯論文、唯帽子、唯職稱、唯學歷、唯獎項)痼疾打出的「組合拳」,凸顯國家徹底根治「五唯」的決心。筆者認為,我們在加大「破」的力度的同時,應加快「立」的進度,要儘快建立起以代表作同行評議制度為核心的科研評價制度體系。對於代表作同行評議制度,應思考和探索如下問題: 1.為何而評?
  • | BMC Psychology
    Salinger, Todd F. Heatherton and Dylan D.,智慧型手機、平板電腦和其他電子設備已經完全融入了我們的日常生活和社交。 智慧型手機、平板電腦和其他設備已深深根植在了我們的生活之中,多種設備之間切換需要耗費許多注意力,這種行為被稱為媒體多任務處理(media multitasking)。
  • 孫銳:科技人才評價必須遵循真正的同行評議
    【孫銳:科技人才評價必須遵循真正的同行評議】  國家人力資源和社會保障部中國人事科學研究院研究員孫銳指出,科技人才評價要遵循真正的同行評議。科技人才評價是「行內知道,行外不知道;下面知道,上面不知道;一線知道,領導不知道」。
  • 同行評議周 | COVID-19:對科研信任的壓力測試
    原創 柳葉刀 柳葉刀TheLancet 收錄於話題#柳葉刀COVID-19精選文章44個9月21日-25日是同行評議周(Peer Review Week),今年的主題是「同行評議中的信任」(trust
  • 天津大學召開光學中心國際同行評議工作協調會
    按照國際標準,邀請相關學科領域內國際知名學術專家,以書面評議與現場考察評議相結合的方式,對學科的教學水平、人才培養、師資隊伍、科研及成果轉化、國際交流與合作、發展戰略等方面進行同行評議,進而了解和掌握學科現有水平以及發展優勢與不足,明確在國內外同類學科的相對位置,找出與國內外同類學科發展差距,為學科未來的發展規劃和重點任務提供參考與支撐。
  • 話說科技出版國際英文科技期刊的同行評議(上)
    這些評議人的評議結果,將直接影響到主編對被評議的文章所做出的最終評定。除此以外,廣義的同行評議不止於此,還包括文章發表以後由專門組成的審議小組 (Journal Clubs) 對文章發表後的交流和應用效果進行評議,其中也包括對投稿階段的評審意見進行探討,這在醫學科學類期刊尤為普遍。
  • 論文同行評議中或普遍存在性別偏見
    &nbsp&nbsp&nbsp&nbsp多領域同行評議存性別偏見&nbsp&nbsp&nbsp&nbsp英國《自然》雜誌網站在近日的報導中稱,發表在《電子生活(eLife)》雜誌上的一份最新研究發現,一般而言,男性編輯更願意挑選男性評議人;而女性編輯更有可能挑選其他女性。
  • 「基於信任的同行評議制度無漏洞,但被人操縱了」
    德國施普林格出版集團於8月18日撤回旗下10本學術周刊上發表的64篇論文,原因是同行評議過程造假。大多數涉事論文的作者來自中國。科技日報記者8月20日就此事向施普林格集團發去電子郵件,並得到了施普林格醫學及生物醫學出版執行副總裁威廉·柯蒂斯(William Curtis)的回覆。