如果不用定量指標，那麼就只能回到完全主觀的字面評價上，這將為人為操控提供更大的空間。要防範量化指標帶來的學術腐敗，就要把人為操控放到輿論監督之下。
撰文 | 顧凡及（復旦大學生命科學學院退休教授）
今年5月22日，《返樸》轉載了一篇題為《h-index遭其發明者猛烈批評：扼殺學術創新，帶來嚴重負面影響》的文章，聯繫到2月26日《返樸》發表的《兩部發文，破除得了SCI崇拜嗎？》一文，兩者都提到了學術評價指標的負面影響問題。最近，筆者正好剛翻譯了老友彼得·埃迪（Peter Erdi）教授的新著《排名》[1]，書中有部分內容把這一問題放到當今社會上無所不在的排名框架裡，討論其中的得失，很受啟發。所以也想趁機對這個問題發表一點看法，就正於讀者和一切對這一問題感興趣的人。
老鼠效應和眼鏡蛇效應
筆者以為，過度否定這些指標或過度依賴這些指標都是錯誤的。錯是錯在「唯」和「至上」上，而不在指標本身，雖然任何指標都不會完美無缺。不管你喜歡與否，出於對資源合理分配的需要，無論是基金資助、獎勵、職稱評定、晉升、錄取等等，社會或機構都必須對學術成果進行評價，不是制定出某些定量指標作為評價的度量，就是用語言做主觀的描述。人們之所以偏愛定量指標就是因為相信其有客觀性，以為它能給出客觀、公正的評價；而人們之所以抨擊這些定量指標，也是因為這些貌似客觀的指標中其實都或多或少隱藏有主觀的成分，或至少只是從一個片面來進行評價，這就給人以利用和操控的機會，從而隱藏著學術腐敗，助長片面追求某個指標而扼殺創新的風險。
其實不僅是定量指標而已，任何評價體系如果不加小心，都會產生這樣的風險。歷史上的老鼠效應（rat effect）就是這樣的例子。在法國統治越南期間，河內城裡到處都是老鼠。為了減少老鼠的數量，殖民當局實施了一項政策，按該項政策只要殺死老鼠就可以得到報酬。人們只需把老鼠尾巴交給當局就可以拿錢，於是人們不殺老鼠，只是把老鼠的尾巴割掉，然後放回下水道，讓老鼠繼續繁殖，以確保殺鼠者獲得更多的利潤。這樣老鼠不僅沒有減少反而增多了。眼鏡蛇效應（cobra effect）則是另一個例子。在英國殖民當局統治印度期間，為了消滅大量的毒蛇，英國政府規定每殺死一條蛇，都會給予報酬。這一政策最初效果不錯，但當地人開始飼養蛇，以確保他們能繼續領錢。英國當局不得不停止這一計劃，人們就把蛇放掉，這樣該地區的眼鏡蛇比以前更多了。[2]定量指標如果使用不當則可能火上澆油，加劇這種風險。
美國社會學家和心理學家唐納德·坎貝爾（Donald Campbell）總結了這些現象，他聲稱："任何量化的社會指標越多被用於社會決策，就越容易受到腐敗壓力的影響，就越容易扭曲和腐蝕它所要監測的社會進程。"這被稱為坎貝爾定律。[3]他以考試成績為例做了進一步的說明："在以通識為目標的正常教學條件下，考試成績可以當做衡量學校總體成就的有用指標。但是，當考試分數成了教學過程的目標時，它們既失去了作為教育狀況指標的價值，又以我們所不希望的方式扭曲了教育過程。"[3]這就是我們經常所說的「應試教育」的弊病。
來源：《科研圈》
考試分數是評估教學或學生質量的定量指標，而發表在SCI期刊上的論文篇數、文章的引用率、h-指數則是對學術水平或研究人員的定量評估。我們並不因為應試教育的弊病就廢除高考，同樣理由也不能因為後者所可能帶來的學術腐敗就一概否定這些指標。大家都知道，我們曾經廢除過高考，而實行由單位報送進大學，在後一種方式下自然不再有定量評估指標了，但是結果大家是都知道的，腐敗程度更為嚴重，這才不得不重新恢復高考。而且大家都承認，雖然高考也確實帶來了盛行應試教育的風險，但是卻是所有方法中相對說來最公平的方法。因此從評估來說，其實沒有萬全而完美無缺的方法，只能尋求相對公正而客觀的方法。西諺所說：「The best is the enemy of good」或可譯為「過於追求完美反而得不到好結果」，我想是有一定道理的。所以，各種指標雖然都只是從一個側面進行評估，而且其中也都包含了主觀的因素，但是從某種意義上說來，它們至少比純粹的主觀評價要好。當然我們也必須清醒地認識到，所有指標都只反映了一個側面，並且不可避免地有主觀因素，至少為什麼僅僅選取這一側面，而不選取其他側面就是主觀的。因此在應用時必須謹慎，最好要考慮多個指標，並和其他手段結合起來應用。儘管如此，主觀性依然不能完全避免，比如當考慮多個指標時，根據各個指標的重要性而賦予不同的權重就包含主觀性。
認清指標局限但不能一拋了之
現在就來看看在SCI期刊上發表的論文篇數、影響因子和h-指數這些指標各反映了什麼側面及其局限性。
在SCI期刊上發表的論文篇數是最粗糙，但是也經常被用到的一個評估指標。這個指標主要反映了作者科研活動量的方面，因此也是局限性比較嚴重的一個指標，這就是為什麼號稱「SCI之父」的加菲爾德（Eugene Garfield）博士自己也認為，以SCI論文數量評價科學水平是不合適的。評估人、包括評估一個機構或期刊，需要用多個科學評估標準而不是一個評估標準來評估。人們必須摒棄急功近利的思想，必須重視論文的質量而不是數量，要重視論文被引用的情況。[4]當然也不能說發表在SCI期刊上的論文篇數一點也不反映質量，這是因為期刊要被SCI收錄需要經過對該期刊最近3年所發表的文章的引用情況的審查，質量很差的期刊是通不過這一審查的。SCI期刊的問題是缺乏退出機制，某個期刊一旦進入SCI檢索之後，除非出現持續的嚴重醜聞，否則不會被剝奪SCI檢索資格。因此一份雜誌在申請SCI檢索期間可能非常謹慎，編輯部會非常注意發表文章的質量，但是一旦進入SCI檢索之後，主編就可能對其「哥兒們」網開一面，特別是在評審制度中唯SCI篇數的情況下，給無法通過正常途徑在SCI期刊上發表文章的作者在本期刊上取得有SCI論文的光鮮是很大的人情，這可能為主編建立自己的關係網，謀取國內地位有很大的好處。有些主編甚至在本人主編的SCI期刊上大量發表自己和自己團隊的論文，以謀取私利。這正是坎貝爾定律所擔憂的情況。
影響因子被認為是衡量學術期刊影響力的一個重要指標。其定義是某期刊前兩年發表的論文在統計當年（U）的被引用總次數X（前兩年總被引次數）除以該期刊在前兩年內發表的論文總數Y（前兩年總發文量）。[5]一般認為影響因子是衡量期刊學術影響力大小的指標。當然嚴格地講，影響因子只是期刊上所發表的文章受到引用的情況，這種情況如果不受操縱，那麼確實和該期刊上所發表的文章受到讀者的關注度有關，因此，在一定程度上也是對其質量的某種度量。但影響因子的重要性只是間接體現的，實際上一份雜誌的影響因子和其所在領域有很大的關係，例如一般說來，數學雜誌受到社會關注的程度要遠小於醫學雜誌受關注的程度。而受關注程度也是間接體現的，這就給人為操縱以可乘之機。例如有的主編在給作者發修改通知函時會要求作者增加引用本刊上發表過的文章。雖然後來人們採取排除自引率這樣弄虛作假的因素，但有的主編依然可能在給其編委發信時要求這些編委在他們自己的雜誌中多引用本刊發表的文章，當然作為利益交換他們也會多引用這些編委主編的雜誌的文章。
h-指數中的h則是兼顧發表文章的數量和引用情況的一個指標，如果一個作者發表了H篇被引用了H次或以上的文章，那麼最高的那個H值就是這位作者的h-指數。[6]比起發表SCI論文的篇數和引用情況的單個指標來說，h-指數兼顧了這兩個方面，但是其定義顯然有很大的人為性，實際上也是在綜合前兩個指標中加了權，而加權就帶來主觀因素。
應該注意的是，以上指標都是對論文的評估，如果科學技術的成果主要不是論文，那麼要求用這樣的指標來評估這些成果就完全是不合適的。例如保密的高精尖技術根本就不發表，因此也就根本談不上SCI論文篇數、引用率或h-指數，但是有誰能否認這些技術的重要性呢？還有某些給社會帶來巨大產能的技術也有類似的情況。要想用上述定量指標來評價這些成果顯然是牛頭不對馬嘴。不過這些並不是這些指標本身的問題，而是使用的人用錯了地方。
本文開頭提到的赫希對自己所提出的h-指數的抨擊中，他認為自己親手創造的這個指標已經對自己的職業生涯和學術界的創新造成了損害，「它也會大錯特錯，產生意料之外的嚴重負面影響。」例如h-index 會樹立某種權威，足以讓一個學科止步不前。又如在他自己發表的論文中，被引數和研究的重要性完全不對等。
喬治·赫希｜圖片來源：Nature Index
赫希的這種反思精神固然可敬，不過h-指數並沒有帶來比引用率更多的問題，甚至可以說他所抨擊的現象只要採取定量指標就都會或多或少地存在。那麼，是否因為像坎貝爾定律所指出的定量指標帶來的潛在風險就根本廢棄這些指標呢？筆者以為這正如倒掉洗澡水而把嬰兒也一起倒掉一樣不妥。如果不用定量指標，那麼就只能回到完全主觀的字面評價上，這將為人為操控提供更大的空間。世界上沒有十全十美的評估方法，正如社會上流傳的話：「上有政策，下有對策。」要想制定出一種下面找不到任何「對策」的政策幾乎是不可能的，但是人們不會因此說不要再制定政策了。
總而言之，我們依然應該使用定量指標，但是在使用時要謹慎，應該明白所用指標的真正含義，以及可能受人操控的危險。對付這種風險只能把操控放到輿論的監督之下。要想制訂出一種能十全十美的完全客觀的評估指標，這只是一種幻想。千萬不能唯指標或指標至上，但也不能不用指標。
參考文獻
[1] Erdi P (2019) Ranking: The Unwritten rules of the Social Game We All Play. Oxford University Press. 筆者已譯出中文，將由上海教育出版社出版，書名還未最後定下來，但是少不了關鍵詞「排名」。
[2] https://en.wikipedia.org/wiki/Cobra_effect
[3] Campbell, DT.(1979) Assessing the impact of planned social change. Evaluation and Program
Planning. 2 (1): 67–90.
[4] SCI之父：不能以SCI論文數量評價科學水平。人民網-《人民日報》2009年09月15日07:59 http://scitech.people.com.cn/BIG5/10052660.html
[5] Impact factor (https://en.wikipedia.org/wiki/Impact_factor )
[6] h-index (https://en.wikipedia.org/wiki/H-index)