學術界該相信AI還是審稿人?

2020-10-23 英論閣

學術界該相信AI還是審稿人?

匿名且具有各種迴避措施的同行審閱是今日大部分學術期刊依賴的評審制度,也就是整個學術界的支柱,隨著全球高等教育水平的提升及科研的快速發展,許多頂級期刊及國家級科研單位在手稿及資助的審閱分量日益增加,擔任同行審閱的審查人工作分量呈現超飽和狀態,成為整個學術界亟待解決的問題。

2016 年美國數字媒體公司Vox Media旗下新聞網站Vox發表了一篇針對英語世界科研人進行的調查,提出同行評審崩壞的觀點。那麼國內的情形呢?最近陸續有NeurIPS曝出,啟用了剛畢業且沒有中過NeurIPS論文的本科生擔任審稿人,人工智慧頂會IJCAI 19遭同樣批評,就在剛剛11月初,深度學習領域頂級會議ICLR 2020被爆47%審稿人無相關經驗,因為資深學者抵不上新進學者的成長速度,早前,有人擔心,這樣的現象最終會摧毀整個學術界。

漢語世界的同行審閱到底壓力有多大?國家自然科學基金委員會(National Natural Science Foundation of China,簡稱NSFC)在2018年就評審了22.5萬份基金申請,幾乎是美國國家科學基金會收到的6倍,而且數字還在成長中。在缺乏足夠審稿人的現實下,NSFC被迫進行了創新:今年5月Nature發表文章稱,NSFC正在建立一個更加複雜的系統,將利用自然語言處理技術抓取在線科學文獻資料庫和科學家的個人網頁,收集潛在評審人員的出版物或研究項目的詳細信息。NSFC負責人李靜海表示,還希望這個工具能夠減少審稿人評審時的偏見,並且AI是不會被行賄收買的

2017年Elsevier開發了一套名為「Evise」的自動化工具來幫助進行同行評審,Frontiers也在2018年推出下一代通常評審AIRA,試圖解決日益增長的稿件提交量,並更有效地保護稿件和同行評審質量。今年4月挪威研究委員會開始使用自然語言處理技術,將大約3000份研究提案分組,並將它們與最佳評審小組進行匹配。Frontiers的質量和道德高級經理Marie Soulière表示,AI系統能標記有潛在問題的稿件,告知需要手動檢查的內容,使審查更加準確,在抄襲檢查方面超越人工檢查的成果。

事實上,AI文件審查系統並非學術界的創舉,2018年3 月,專攻合同審查領域的 AI 初創公司 LawGeex 與史丹福大學、杜克大學和南加州大學的法學教授合作,讓 20 名律師與經過訓練的法律 AI 程序挑戰,審查 5 項保密協議,並確定 30 個法律問題,結果律師平均正確率為 85%,AI 則拿下了 94% 的正確率達,而且 AI 只在 26 秒內完成任務,人類律師平均需要 92 分鐘。

然而,許多學術界人士對AI參與同行審閱保持懷疑的態度,最大的質疑是AI連自然語言的處理都還無法過關,又如何處理學術期刊審閱呢?其他人則擔心AI系統最終會複製人類判斷中根深蒂固的偏見,還有學者舉出,一個想法可能需要幾十年的時間才能被鑑定是「偉大的」或是「無用的」,連人類都無法處理的議題,難道AI真的可以做得好嗎?其實質疑AI參與審閱的人大可先作壁上觀,因為審稿人握有最終決定權力,AI 只是改善或加速流程,並協助人類處理必須投入大量心力才能抓到的錯誤,由於AI 已經能夠在專門的領域特定功能上達到很好的表現,相信AI與審稿人的合作將是學術界的趨勢。

相關焦點

  • 潘建偉的量子通信是真是假,到底該相信誰?
    也許是跪久了不習慣處在領先位置;也許是人們更樂意相信陰謀論;也許是有些人唯恐天下不亂,幾年前國內刮有一股妖風,說潘建偉的量子通信是騙局。直到今日,仍然有很多人咬定潘建偉的量子通信是騙局。你可能沒有接受過正規的《量子力學》學習,但這不妨礙你判斷潘建偉的量子通信是不是騙局。
  • 對付審稿人「強迫引用」,新方法來了
    編譯 | 馮維維投稿時,你是否遭遇過審稿人要求引用他的論文?在學術界,大家對這種「強迫引用」行為深惡痛絕,但經常又無可奈何。該方法已發表於預印本平臺bioRxiv。他們利用PubMed公共資料庫的論文,對2萬名論文作者的引用模式進行了分析,發現約80名科學家「長期反覆地」操縱他人參考文獻列表;還有約16%的作者「可能在某種程度上參與了操縱論文引用。」
  • Angew.Chem.編輯部致學術界同仁的公開信
    目前我們已採取以下行動: 暫停兩位高級編輯的職務,未來將不再邀請兩位涉事審稿人作為同行評審專家。 針對觀點類文章稿件引入新的同行評審機制,包括要求審稿人必須是文章論題方面的專家,而不是化學領域或者期刊涉及的其他科學領域的專家。
  • Nature推薦:對付審稿人「強迫引用」,新方法來了
    來源:科學網投稿時,你是否遭遇過審稿人要求引用他的論文?在學術界,大家對這種「強迫引用」行為深惡痛絕,但經常又無可奈何。該方法已於8月13日發表在預印本平臺bioRxiv上,題為:「Detecting potential reference list manipulation within a citation network」。
  • Nature揭露同行評審潛規則,審稿人操縱引用,愛思唯爾開始嚴查
    他們調查了大約 55,000 名愛思唯爾期刊審稿人的同行評審活動,以統計這些研究者的論文在他們所評審的論文中的被引率。圖註:被審論文引用了審稿人的次數統計。圖源:論文。這一分析緣起於愛思唯爾農林科學期刊《Geoderma》的一位審稿人。
  • 大數據研究發現女性投稿更容易受到編輯及審稿人的青睞
    該研究重構了三種可能的偏見來源,即編輯選擇審稿人,審稿人的建議和編輯的決定,並研究了它們之間的所有可能關係。結果表明,由審稿人和編輯對由女性作為作者或女性共同作者的手稿會更友好。儘管研究領域之間存在一些差異,但該研究發現表明,同行評審和編輯過程不會對女性手稿造成不利影響。
  • 200萬大數據分析,研究發現女性投稿會更容易受到編輯及審稿人的青睞
    該研究重構了三種可能的偏見來源,即編輯選擇審稿人,審稿人的建議和編輯的決定,並研究了它們之間的所有可能關係。結果表明,由審稿人和編輯對由女性作為作者或女性共同作者的手稿會更友好。儘管研究領域之間存在一些差異,但該研究發現表明,同行評審和編輯過程不會對女性手稿造成不利影響。
  • Nature公布3年同行評議調查結果:超過一半的審稿人願意公開身份
    《自然》期刊希望為審稿人的寶貴貢獻提供更多的認可,提升評議過程的透明度。2016年,《自然》期刊發起了一項對審稿人認可程度的試驗。在論文通過同行評議,被期刊接收後,論文作者可以選擇在審稿人同意的情況下,對審稿人對論文做出的貢獻表示感謝。如果作者同意,給審稿人也可以在論文中加上他們的名字。
  • SCI審稿人國內的多嗎
    SCI審稿人國內的多嗎?SCI論文需要推送至審稿人審核。審稿人要對文章內容進行論證,給出審核意見,通常由相關領域的專家擔任。這樣的審稿人,可以來自不同的國家,只不過國內的審稿人不如國外的多。審稿人的審核意見,影響著SCI論文是錄用、修改還是拒稿。由於每篇文章推送的審稿人不止一人,採用少數服從多數的原則,即審稿人的意見,以修改為主,則審核答覆為修改,以拒稿為主,審核答覆為拒稿,以錄用為主,則審核答覆為錄用。足見,審稿人對於SCI論文成功發表的重要性。但這重要性,與審稿人的效率以及專業度有關,與審稿人的國籍沒有太大的關係。投稿時,多數SCI期刊投稿要求作者推薦審稿人。
  • 如何當好審稿人?如何避免論文被「剽竊」?
    它不僅旨在改進正在審閱的稿件內容,而且還是您作為審稿人發展自身專業能力的重要途徑之一。通過參加同行評議,您將有機會直接接觸到所在領域的最新動態和研究趨勢。但是,同行評議既有好處,也伴隨著風險。接受審稿邀請之前,所有的審稿人都必須對出版及學術道德倫理有充分的了解,這一點至關重要。
  • 學術界為啥不愛投中文期刊?
    論文發表數量位列世界第二,但超90%發表在國外期刊;中國期刊的影響因子逐年提高,但很多中文期刊獲差評;對比國際期刊的「秒回」,一些中文期刊的審稿時間長達9個月;對比國際期刊全文刊載,不少中文期刊吝嗇地將篇幅限制在8頁;對比國際期刊的專家審稿,很多中文期刊審稿人將審稿權給了在校生
  • 審稿人把我的文章偷走,然後自己發表了
    據Retraction Watch網站報導,來自伊朗馬什哈德菲爾多西大學的機械工程師Mina Mehregan及其同事發現,自己發表在Environmental Science and Pollution Research期刊的一篇同行評議論文,被一個審稿人偷偷發表在其他期刊。
  • 遲遲不回覆意見的審稿人可能剽竊並發表了你的論文
    據RetractionWatch網站報導,來自伊朗馬什哈德菲爾多西大學的機械工程師Mina Mehregan及其同事發現,自己發表在 Environmental Science and Pollution Research 期刊的一篇同行評議論文,被一個審稿人偷偷發表在其他期刊。
  • Science手把手教你,如何打動審稿人!
    但是如何把實驗結果和實驗思路整理成能夠打動審稿人的文章,把自己辛辛苦苦得來的研究成果「賣個好價錢」,有時候甚至比辛苦做實驗更重要。 Science雜誌採訪了11位審稿人,提出了5個我們在寫SCI論文時需要注意的關鍵問題: 1.
  • 「輕鬆閱讀」學術界為啥不愛投中文期刊?
    學術界為啥不愛投中文期刊?從這個角度看,某些領域的中文期刊沒搞好的客觀原因是,我們的科技發達程度不足以支撐打造一本該領域的一流國際期刊。二是,一部分科研工作者要受到國際同行認可,需要國際舞臺交流學術進展。
  • 推薦 ResearchGate,學術界的Facebook
    促成納迪和羅密歐合作的ResearchGate,就是今天小魚要介紹給大家的一個很實用的學術網站,專注科研人員的社交類網站,網站的註冊用戶包括45位諾貝爾獎得主在內共約700萬人,且每天以近萬名新成員的速度遞增,被稱之為學術界的Facebook。據說比爾•蓋茨很看好這個網站,在2013年對其投資2000萬美元。
  • 2019 AI Index 報告出爐:AI 領域取得的進展很多,但結果憂喜參半
    作為史丹福大學「AI100」項目的一部分,AI Index 旨在研究影響人工智慧產業的最大趨勢、突破性研究進展以及人工智慧對社會的影響,今年已是該報告發布的第三個年頭。今年,該報告還研究了諸如人工智慧招聘、私人投資、國家對人工智慧研究的推動作用、研究人員離開學術界進入工業界以及人工智慧在特定行業中發揮了多大作用等趨勢。
  • 聚焦 | 中國學術界出醜聞,107篇醫學論文被國際期刊集中撤稿!
    一位為十幾家國際期刊擔任評審的江蘇某高校教授介紹:「作為一個審稿人,你要把它的問題指出來,要給他寫評審意見,特別是論文質量很差的,必須要寫出來理由,所以我們是非常嚴謹的。(因為)你推薦三個審稿人,兩個是正面的評價的話,那雜誌社就會給你一個大修或者中等修改的機會,一旦可以送修的話,發表機率還是很大的。」此次論文的撤稿原因,就是因為評審人做假。在這些論文作者提交的評審人建議中,作者使用了評審人的真實姓名,但假冒了其電子郵件地址,這讓編輯以為文章發送給了真正的評審人。
  • 中國科學家在伊辛模型問題上獲突破 曾困擾學術界近百年
    中國青年報客戶端北京11月29日電(中國青年報·中國青年網記者 邱晨輝)記者今天從中國科學院金屬研究所獲悉,該所研究員張志東在描述臨界現象的伊辛模型問題上,取得了最新進展:推定出三維伊辛模型的精確解,通過證明四個定理,驗證了該精確解的正確性。
  • 學霸中的學神:大三成為CVPR審稿人,28歲任教史丹福大學
    清華大學是個學霸遍地的地方,但強中更有強中手,吳佳俊當之無愧地被公認為是「清華學神」,不僅導師讚不絕口地誇他:「本科生的科研能力已經超過博士生」,而且,他還是CVPR審稿人。前不久,年僅28歲的他在Twitter上說:「很高興告訴大家,我將於2020年加入史丹福大學擔任計算機科學助理教授!」