理想的學術評價方法應該有非常強大的可操作性,具有使用方便性和開放性,當然最關鍵的是具有橫向可比性。美國NIH2015年開始啟用的相對引用率應該是符合這樣的標準,而且這種方法被逐漸接受。希望能引起大家的重視。這種分析方法可能會成為將來學術評價的最流行方法,取代過去按照什麼影響因子或簡單計數引用次數的垃圾評估方法。
美國NIH正在使用一種比較不出名基金效益評價方法,這種評價方法是相對引用率,這個評估不考慮論文發表在什麼雜誌上,是用其發明的論文相對被引用次數。2015年美國NIH組合分析辦公室負責設計比較不同領域學術論文水平的工具。
NIH科學家2015年開發出的相對引用率Relative CitationRatio(RCR)的論文評價指標,方法已經在生物預印件bioRxiv網站上發表。相對引用率對論文引用進行了學科加權,因此能對來自不同學科的論文進行橫向比較。不同學科論文的橫向比較是文獻計量學領域比較難的問題,過去人們只會進行平均值比較,很難準確快速進行不同學科之間論文影響力的比較。美國NIH開始用這種相對引用率作為評估基金資助效益的方法。國際上一些大型學術基金機構包括英國Wellcome Trust基金會和義大利的Fondazione Telethon也相繼採納這種評估方法,說明這個方法具有比較好的評估效果。
負責開發這個評估方法的George Santangelo教授對這個評估方法被廣泛接受表示樂觀,認為RCR是比較好的學術評估方法。
Santangelo團隊設計這種評估方法首先是放棄了利用雜誌影響力作為標準,過去將高影響力雜誌上發表論文更高權重容易導致評估虛高,例如一個重要的學術論文發表在一個普通雜誌上有可能被學術界忽視。簡單計算引用次數也不能比較不同學科的論文影響力。例如大多數癌症方面的論文和數學領域的論文引用情況完全不一樣。
有人提出,愛思唯爾公司也提供類似的論文橫向比較策略。但Santangelo小組認為,他們的評估方法更好,關鍵是使用更方便。NIH已經在線公開了軟體使用說明書和全部代碼。Santangelo說,沒有任何其他評估方法像他們的方法如此透明。
這個評估方法關鍵是要計算出論文的研究領域平均被引用次數,研究領域平均引用次數計算起來比較複雜。首先要區分論文所在的研究領域,該區分方法是將一篇文章的研究領域定義為共同被引用群,這個被引用論文群顯然是個動態群體。這顯然不是我們一般理解的研究領域,只是同類研究論文集。然後根據這個論文集群計算這個群集所發表雜誌的平均被引用次數,這個平均被引用次數作為研究領域的引用背景。當然要明確一個論文的研究領域,需要等待幾個月時間,有時候需要等一年。
研究小組將這種評估方法對NIH資助的研究論文進行了分析,分析論文最近發表在PLOS Bio。利用這個方法可以計算出每個研究論文的RCR值,例如RCR 1.0意味著這篇論文達到該領域所有論文平均引用次數。如果是2.0則這個論文引用次數是該領域的2倍。任何人都可以上傳論文到iCite進行評估。(生物谷Bioon.com)