你願意讓AI來審稿你的論文嗎?

2020-12-04 騰訊網

大多數研究者都有理由指摘同行評議：費時又容易出錯，而且工作量分配不均，20%的科學家承擔了大多數的同行評議工作。

但是人工智慧（AI）卻有望改善同行評議過程，提高發表研究的質量，並且節省評閱人的時間。

自動化工具可以減輕同行評議中的負擔。來源：Mary Evans/Classicstock/H. Armstrong Roberts

不少學術出版商正在試驗AI工具，用來挑選評閱人，檢測統計數據，歸納研究發現等。

出版業巨頭愛思唯爾（Elsevier）的同行評議管理系統Aries Systems曾採用了一款叫做StatReviewer的軟體，該軟體可以檢測稿件中的統計數據和研究方法是否靠譜。

許多期刊採用的同行評議平臺ScholarOne也和丹麥的UNSILO達成了合作。UNSILO採用自然語言處理和機器學習來分析稿件，它能自動選出關鍵概念來總結論文內容。

最關鍵的是，稿件的最終決定權還是在編輯手上。

英國的出版顧問David Worlock 表示：「它並不會取代編輯的判斷，但是它讓編輯的工作變得更容易了。」Worlock曾在上個月的法蘭克福書展（Frankfurt Book Fair）上見過UNSILO的展示。

掌握決定權

UNSILO採用語義分析方法從稿件中提取主要觀點。UNSILO的銷售主管Neil Christensen表示，它比讓作者自己提交關鍵詞的傳統方法要好，對文章的概括性更高。他說：「我們可以在作者撰寫的文章中找到重要的句子，而不是他們在遞交稿件前花5分鐘想出來的關鍵詞。」

UNSILO接著會分析這些關鍵句中，哪些最可能代表了研究的主要觀點或發現，這能讓編輯迅速了解一項研究的結果。這個方法也能判斷稿件的觀點是否和已發表論文雷同，這樣就可以檢測剽竊，或者把稿件和文獻中的相關研究聯繫在一起。

Christensen說：「工具本身並不會做決定，它的作用就是告訴編輯『這個稿件和其它已發表的論文相比，有什麼不同點』。最終的裁判是你。」

UNSILO的原型從PubMed Central學術資料庫中獲取信息，比較稿件和170萬（雖然這個數值很大，但依然有限）已發表的生物醫學論文全文的差異。這家公司表示，未來它會加入超過2000萬篇PubMed的論文。

它和科睿唯安（Clarivate Analytics）旗下的ScholarOne也有合作關係，這為它帶來了更多的資料庫，比如科睿唯安的Web of Science資料庫。

同行評議中的一些步驟越來越多地由軟體執行。來源：iStock/Getty

期刊eLife的創新團隊負責人Giuliano Maciocci表示，UNSILO為同行評議過程中的一些難點提供了有意義的解決方案，但是eLife並不會考慮採用這類工具。他說：「我們不確定對於我們這樣的期刊來說，這個工具有什麼用處，因為專家的人工判斷非常重要。」

Worlock注意到有些類似的工具出現了。他是位於倫敦的初創公司Wizdom.ai的董事會成員，該公司隸屬於泰勒弗朗西斯集團（Taylor & Francis），目前正在研發可以挖掘論文資料庫、發掘不同學科和概念之間聯繫的軟體。他指出，這類工具很快就可以應用在同行評議之外的地方，比如撰寫經費申請或文獻綜述。

從剽竊到p值

包括ScholarOne在內的許多平臺已經開始使用自動剽竊檢測工具了。類似於Penelope.ai的工具則可以檢測稿件的參考文獻和結構是否符合期刊要求。

一些工具也可以標記研究質量問題。比如荷蘭蒂爾堡大學（Tilburg University）的方法學家 Michèle Nuijten 和同事研發的statcheck可以檢測論文的統計報告（主要是p值）是否前後一致。期刊《心理科學》（Psychological Science）用這個工具審查了所有論文。Nuijten表示，其它出版商也有興趣在同行評議中使用這個工具。

Nuijten團隊在分析心理學期刊中的論文時發現，大約50%都包含至少1個統計矛盾。八分之一的論文的統計數據出現了很嚴重的錯誤——足以改變研究結果的顯著性。

她說：「這很令人擔憂。」但是對於評閱人的失誤，她並不感到吃驚，「並不是所有人都有時間檢查所有統計數據，你關注的是研究的主要發現或是整體結果。」

目前statcheck僅限於分析符合美國心理學會（APA）的統計報告格式的稿件。

但是StatReviewer的研發者——維克森林大學醫學院的Timothy Houle 以及科技初創公司NEX7的CEO Chadwick DeVoss表示，這個工具可以檢測符合多個領域的標準論文和報告格式的統計數據。這個工具可以檢測論文是否包含樣本容量，被試是否對試驗假設不知情，以及基線數據等重要信息。

DeVoss 表示，StatReviewer 也能檢測學術不端行為，「比如作者是否操縱了數據，或直接編造數據？如果學術不端的風險高於正常水平，那麼編輯就可以進一步查看具體情況。」

試驗中的算法

DeVoss表示，幾十個出版商正在測試StatReviewer。2017年，開放獲取出版商BioMed Central的試驗並沒有得出決定性結論，因為他們測試的稿件量不夠多。不過這次試驗還是帶來了一些深刻見解（BioMed Central正在規劃後續研究）。

施普林格·自然（Springer Nature）的開放研究傳播主管Amy Bourke-Waite表示，StatReviewer能夠覺察人類評閱人容易忽略的信息。比如，它善於篩選不符合格式規範（如許多出版商使用的CONSORT格式）的稿件。施普林格·自然是《自然》（Nature）的出版商（但《自然》的新聞團隊與施普林格·自然編輯獨立），BioMed Central也隸屬於施普林格·自然。

Bourke-Waite也提到，參與了試驗的投稿作者表示，不管是人類評閱人還是StatReviewer的評閱意見，他們的滿意度沒有差別。

她說，有時StatReviewer也會犯錯，但是某些錯誤會讓作者注意到自己在稿件中沒有闡釋清楚的地方。

自動化的限制

DeVoss預計，即使這些試驗最終成功，也只有少數期刊願意付錢來檢測自己的稿件。因此，他和同事打算把目標轉向作者，他們希望論文作者願意使用該工具在投稿前進行自查。

整體而言，用AI來進行同行評議存在風險。其中一點在於，利用過去發表的論文訓練的機器學習工具會強化已有的同行評議偏見。Worlock說：「在期刊過去錄用的論文基礎上建立的決策系統會有內在偏向性。」

DeVoss表示，如果算法在評估論文後給出了一個單一分數（如StatReviewer所做的那樣），編輯就容易抄近路，簡單粗暴地依賴這個分數來決定是否錄用稿件。

科睿唯安收購的同行評議追蹤網站Publons的聯合創始人Andrew Preston認為，算法還沒聰明到可以讓編輯用它們提取的信息來決定是否錄用稿件的地步。Publons使用機器學習來研發一種工具，用以推薦同行評議專家。「這些工具可以保證稿件達標，但是它們無法取代評議專家。」

Nuijten也表示同意：「需要時間來完善算法，但是自動化是有意義的，因為同行評議過程中的許多步驟是標準化的。」

微信公眾號全新改版

如果你還想找到「我是科學家」

請儘快將【我是科學家iScientist】設置為「星標」

歡迎個人轉發到朋友圈

你願意讓AI來審稿你的論文嗎？

相關焦點

  • 你知道SCI論文審稿的12種狀態嗎?
    論文寫好，將論文投稿出去後，會有一個漫長的等待過程。而在這個等待過程中，我們可能想知道我們的論文在審稿中的狀態，會在網上看和刷新自己的論文狀態，但可能會遇到一些不明白是什麼意思的狀態，也有可能會遇到很長時間不更新狀態的問題。也可能會因此變得焦慮和緊張。
  • 審稿意見虐心?論文不斷被拒?Science Nature告訴你該怎麼辦
    要求你做一些你已經做了的事（廢話）：審稿人建議：「用圖表可以更好地闡述觀點。」你很贊同這條意見，因為你確確實實已經在論文裡用圖表闡述了觀點。這種評論意見就好像是一道送分題，提交一個有圖表的反饋，你甚至不需要花時間重新做什麼就可以通過評審，你可以感謝期刊給你這個機會來「糾正錯誤」。但這是認真的嗎？
  • SCI論文發表審稿流程的幾種狀態
    SCI論文發表，是有一個非常規範、嚴謹的邏輯步驟。當SCI文章投遞結束後，會分配到相應的編輯手中，導致審稿流程出現了不同的狀態。本文介紹下SCI論文發表審稿流程的幾種狀態。SCI論文發表審稿流程的幾種狀態第一種：主編和執行副主編進行初審主編或執行副主編，先對SCI投稿進行初審，拒掉一些不符合期刊研究方向等要求的文章。
  • 收到一個SCI二區的論文審稿邀請,能答應審稿的最好儘快答應
    前幾天收到一封SCI二區的論文審稿邀請，如下郵件所示：點進去看了一下這篇論文，覺得是俺能看得懂，並且還沒有引用俺的相關論文，作為一名審稿人，能收到二區SCI論文的邀請，說明編輯已經認可俺在這個領域的專業程度和知名度，心裡還是蠻開心的。
  • 你願意謙卑嗎?你願意接待耶穌嗎?
    耶穌知道他們的心思，就叫了一個小孩子來，讓他站在自己身旁，然後對門徒說：「任何人為了我的緣故接待這樣一個小孩子，就是接待我；接待我，就是接待差我來的那位。你們當中最卑微的其實是最偉大的。」約翰說：「老師，我們看見有人奉你的名趕鬼，就阻止他，因為他不是和我們一起跟從你的。」耶穌卻對他說：「你不要阻止他，因為不反對你們的，就是支持你們的。」
  • sci論文審稿一般多久
    sci論文要想成功發表，就必須過審稿這一關。審稿備受sci期刊重視，自然要花費一定的時間辦理嚴格規範的審稿程序。那麼，sci論文審稿一般多久？sci論文審稿要經過初審、審稿人審核、修改/拒稿、返修審核、最終決定幾個步驟。
  • 「關注」剛剛,IEEE聲明承認限制華為人參與論文審稿
    在IEEE網站上，記者查到了分別於5月22日、24日發布的IEEE關於會員和志願者涉及BIS「實體名單」的聲明及「常見問題」，其中第12條解釋，被列入「實體名單」機構的僱員可以擔任IEEE旗下期刊的主編、編委、審稿人等角色，但必須將接收論文投稿事項轉交給與「實體名單」所列機構無關的志願者；「實體名單」所列機構的僱員「可能無法」在論文被IEEE接收之前參與論文的同行評議工作
  • 學術分享|審稿人談審稿與投稿:從2篇拒稿說起
    對於一般的期刊，比如國內還有很多普刊，一些普刊的稿源都是問題，你不可能高標準的去要求這些期刊的論文如何的縝密、如何的吸引人、如何的完美無缺。審稿更像是在打量這篇稿件與期刊是否匹配，怎麼通過提出審稿意見來幫助這篇稿件更好的去提升、作者通過閱讀審稿意見可以有更深入的思考。
  • 10本藥理學SCI論文期刊匯總,審稿周期較短,審稿速度較快
    時間如此寶貴，投稿時不我待，審稿遙遙無期，畢業望塵莫及！這是很多已畢業或即將畢業的研究生投稿前最擔心和最焦慮的事情。 為了幫助大家在這個環節儘可能節省時間，做到心中有數，今天就給大家盤點一下那些審稿周期較短，審稿速度較快的雜誌，希望對大家有幫助。
  • 匿名審稿制度推動了中國的經濟學進步嗎
    學術研究水平的提高離不開專業學術期刊的支撐和引導，近年來中國的不少經濟學期刊紛紛引入國際通行的匿名審稿制度。那麼，匿名審稿制度是否提升了中國經濟學的研究質量呢？發表在國內經濟學權威期刊《經濟學》（季刊）2016年第1期的論文——《匿名審稿制度推動了中國的經濟學進步嗎——基於雙重差分方法的研究》，對上述問題進行了研究。
  • 開放同行評議(Open peer review):你會選擇嗎?
    近日，陸續收到的審稿邀請中都有特別說明：你願意公開姓名和同行評議意見嗎？依然處在舊石器時代的我，已然發現當今國際出版業不僅僅進入了開放獲取（Open access）時代，更是進入了開放同行評議（Open peer review）年代。
  • 審稿最快的SCI期刊:博士著急論文畢業,這本期刊適合你
    很多期刊都在官網說審稿速度很快，但是沒有一本期刊敢說自己是「 the fastest submission-to-online journal!」，除了BBRC。因為發表速度快，特別適合那些趕著畢業的學生，所以這本刊在中國有很多暱稱「畢業的救命稻草」、「研究生之友」等等。
  • WOSCI沃斯編輯:SCI論文審稿周期需要多長時間?
    sci論文也是要經過三審，而三審要多長時間是很多作者關心的問題，WOSCI沃斯編輯的小編在這裡介紹：影響sci論文三審周期因素有很多，大多數期刊審稿周期都在3個月左右，當然也有一些期刊是會超過3個月的，作者一定要耐心等待，不要盲目的催稿，以免給自己帶來不良的後果，此外sci論文三審時間和期刊的工作效率也是有關係的
  • 審稿快,對國人友好,這本5+的雜誌你值得擁有
    隨著科研強國的號角吹響，國內的學術氛圍頓時濃鬱了不少，就連臨床專業的醫學生都要積極科研，各種職稱的評定也和科研論文密切相關。發一篇高分的文章對於我們來說至關重要，但是好雜誌都自帶一股傲氣，從來都是萬花叢中過，片葉不沾身。 　　在經歷過數次慘拒後，終於有一個審稿快，對國人友好的5+雜誌把我的文章收了。
  • 開源sci期刊審稿快嗎
    發表sci論文，不管是投稿開源sci期刊，還是投稿非開源sci期刊，都需要經過審核程序。由於期刊不同，審核的要求不同，導致審核的快慢有差異。那麼，開源sci期刊審稿快嗎？sci期刊分為開源sci期刊和非開源sci期刊，開源sci期刊又稱OA期刊，向這類期刊投稿發表論文，是需要作者支付一定費用的，審核上不如非開源sci期刊嚴格，那審核效率自然會更快一些。換句話說，正常情況下，開源sci期刊比起非開源sci期刊來說，審核更快一些。但具體多久，會因開源sci期刊不同而有差異。
  • SCI論文「崇洋媚外」成風，中文期刊還有活路嗎？
    國際期刊專家審稿VS中文期刊在校生審稿專家審稿和在校生審稿的權威性不言而喻。有的導師會把中文期刊論文交給學生去審，因為他們覺得審稿浪費時間。在某種程度上，這也導致審稿質量難以保證。所以，越來越多的人選擇投向國際期刊就不難理解了。但是，中國期刊真的就一文不值了嗎？我看未必！
  • 「我有能力洗車,你願意來嗎?」
    「我有能力洗車，你願意來嗎？」據統計我國現有約8500萬殘疾人請給他們多一些關愛和幫助也多一分理解和尊重佛山新聞網報導記者：韓幗圖片：樂從鎮喜憨兒洗車中心原標題：《「我有能力洗車，你願意來嗎
  • 就算戴上口罩，AI也知道你在說啥丨EMNLP2020最佳論文
    現在，檢測面部肌肉變化的AI來了，只要你動了嘴，哪怕沒出聲，它也能知道你在說什麼。這是EMNLP 2020的最佳論文，來自UC伯克利的兩位作者，用AI和電極做了個「沉默語音」的檢測模型，可以檢測到你想說、但沒說出聲的話。
  • 你的論文被拒稿?原因都在這兒了!
    論文投稿後，有的論文順利進入同行評審階段，而有的論文則被拒稿了。不少作者會問，為什麼有些論文可以順利進入同行評審階段呢？其實，抓住編輯的審稿關注點很重要。一般來說，期刊編輯在收到稿件後，會先關注幾個重點項目以利儘速做出審稿決定是否讓論文進入同行評審階段。
  • 正在寫論文的你,竟然沒有這四本參考書?
    這個問題確實存在，但是，即使你英文和漢語一樣好，也不見得高考語文會考得多高。文章本質是思想的體現，尤其是科技論文，更注重你的證據鏈的表述。你的論文寫的亂七八糟其實體現的是你的思維邏輯混亂。你對自己課題還沒有理出一條清晰明了的脈絡線條。尤其是文章最重要的立論部分，即introduction部分，東拉西扯，往往會把你文章最核心的亮點給掩蓋掉。