全文6878字,預計閱讀11分鐘
作者 | 李曉軒(中國科學院管理創新與評估研究中心主任,中國科學院科技戰略諮詢研究院研究員);徐芳 (中國科學院科技戰略諮詢研究院副研究員)
多年來,科技評價,尤其是基礎研究領域的科技評價,一直是我國科技體制改革的熱點問題。
2018年10月,科學技術部、教育部、人力資源和社會保障部、中國科學院、中國工程院五部門聯合發布《關於開展清理「唯論文、唯職稱、唯學歷、唯獎項」專項行動的通知》,在高校和科研機構引起廣泛反響。
一方面,各部門和單位對照文件精神清理「唯論文、唯職稱、唯學歷、唯獎項」(以下簡稱「四唯」)問題——取消了各級考核制度或規定中一些明顯不合理的「四唯」指標要求,起到了糾偏作用。
另一方面,科技界也在熱議和擔憂破「四唯」背後的深層次問題。
例如:破「四唯」後,「立」什麼?如何保證科技評價的公平公正?人情因素是否會盛行起來,青年人才是否更難以出頭?與此同時,另一種聲音也出來了,破「四唯」是因為「唯」少了,「不『唯』就是要多『維』」,就是要增加更多的可量化的指標。各種聲音交織在一起,破「四唯」幾乎陷入進退兩難的「死胡同」,科技評價改革困難重重。
毫無疑問,在破「四唯」上,當前迫切需要有效的、有突破性的評價方法或是有說服力的成功案例。由此,本文選擇中國科學院(簡稱「中科院」)研究所評價20多年發展歷程為案例,通過比較分析在科技評價方法上的演進及其背景因素,發現中科院研究所評價從第一階段的定量排名評價到第四階段的定性評價的演進,實際上走出了一條破「四唯」的實踐道路。
本文將中科院研究所評價走出的破「四唯」的道路,稱為中國科學院模式(以下簡稱「中科院模式」)。需要說明的是,本文所稱的中科院研究所評價特指中科院機關對所屬研究所的綜合評價且尤指基礎研究領域的研究所綜合評價,不包括中科院機關對研究所開展的其他單項評價,也不包括研究所內部評價等。
當然,中科院模式在機構評價上實現的破「四唯」,目的在於引導和推動中科院在人才評價、項目評價和團隊評價等其他評價上的破「四唯」。因此,本文將介紹和分析科技評價的中科院模式,旨在探索破「四唯」的理論和方法,以期對我國科技評價改革起到拋磚引玉的作用。
如何理解破「四唯」?
應該說,論文、項目、獎勵、人才稱號(包括學歷、職稱等)等都是科研活動中非常重要的指標。論文是科學發現或創新思想的重要展示方式;以競爭方式獲得項目資助是科研人員研究水平和能力的反映;獎勵和人才稱號是社會(主要是科學共同體)對科研人員研究工作的認可。因此,對於科技評價而言,這些指標無疑都很重要。
我們認為,破「四唯」並不是說在科技評價中不再看這些指標,而是不能「唯」。
「唯」的關鍵是簡單地以這些指標加和計算,即:簡單地以論文數量、發表刊物的影響因子,以及項目、獎勵、人才「帽子」等的數量和級別計算分值——分值越高越好,分值不夠就不達標。
因此,破「唯」的核心就是要破簡單、機械的量化評價。
那麼,如何破簡單、機械的量化評價呢?當然就是用定性評價來替代,也就是我們所熟知的同行評議。基礎科學研究具有不確定性,其原創性成果的價值難以量化,且成果「只有第一,沒有第二」;因而,目前只有同行評議是科技界公認可行的評價基礎研究的方法。
在此,本文提出,以原創性成果產出為特徵的基礎研究的定性評價替代量化評價是破「四唯」唯一可行的方法,不妨將此命題命名為基礎研究的「科研評價黃金法則」。
那麼,為什麼我國沒有按照科研評價黃金法則直接在科技評價中採用同行評議,而是還在採用「四唯」量化評價呢?
因為有效的同行評議需要3個前提條件:①要有「好」的、有水平的同行,這就需要有一支數量較大的高水平專家隊伍;②要有「好」的科學文化,人情、關係過盛是做不到真實有效的評價的;③要有「好」的評價對象,稀缺的評價資源首先要投放在高水平的、有潛力的評價對象上。目前,我國尚不完全具備這3個條件。此外,還有評價目的等方面的原因。例如,簡單明了的定量排名評價可以形成強競爭機制。
所以,簡單地廢除量化方法,全部代之以同行評議,在實踐上是不可行的,這也正是為什麼不少人對破「四唯」有擔憂。
那麼,前有「狼」後有「虎」,「四唯」該怎麼破呢?除了前述對明顯不合理的評價指標或方法糾偏外,是否存在比較徹底的破「四唯」的可能呢?
其實,問題的關鍵在於,以上同行評議的3個前提條件在全國整體不具備,是不是意味著在某些局部也不具備呢?顯然不是,經過改革開放多年的發展,政府科研經費的投入,以及人才引進積聚,在一些學術高地是具備了這些條件的,是可以在破「四唯」上先行先試的。
中科院研究所評價經過20多年的探索和發展,就走出了一條道路,成功實現了從定量評價到定性評價的跨越,形成了對破「四唯」改革具有借鑑意義的中科院模式。
中科院模式的形成
中科院是我國自然科學最高學術機構。從20世紀90年代起,科技評價成為中科院機關管理研究所的重要工具,最典型的代表是中科院研究所評價。
中科院研究所評價的3個主要作用為:①對研究所發展發揮導向作用;②績效產出的衡量作用;③競爭激勵作用。
20多年來,中科院研究所評價體系先後經歷了「藍皮書」評價、二元評價、綜合質量評估和重大產出導向評價4個主要階段,呈現出從定量評價向定性評價逐步過渡的顯著特徵。
1993年,中科院啟動研究所綜合評價。
當時,我國科技體制改革啟動,隨著職稱制度和科技獎勵制度等的恢復,以及競爭性科技項目的設立,科技評價在我國迅速興起。例如,南京大學開始在評價中引入當時比較先進的SCI論文指標。
那時,外界發布了一個對中科院研究所的排名,但其結果卻很奇怪,誤導了社會對中科院研究所的認識。這一具有「誤導作用」的外界評價,觸發了中科院自己來評價所屬研究所。
因為這次評價的報告封面為藍色,因而被稱為「藍皮書」評價體系。
這一時期的中科院研究所評價採用的是定量排名評價,選取了論文、專利、項目、經費、人才、獲獎等指標,對研究所的科技產出情況和發展狀態「摸家底」,並按得分多少對研究所進行排名。
該時期研究所評價完全是量化評價——按照當下的標準,「四唯」現象應該比較嚴重。
1998年,國家支持中科院開展知識創新工程試點。
按該項目的戰略目標要求,新建立的研究所評價體系包含基於研究所創新任務書的目標完成度的定性評價和體現中科院「基礎性、戰略性、前瞻性」使命的定量評價2個部分,故被稱為二元評價體系。
定性評價的目標完成度中改革任務較重,既有學科方向調整等科技目標,也有人員規模壓縮、人員年輕化等管理目標。
定量指標包括承擔戰略性科研任務、高質量學術論文、專利、獎勵、人才、諮詢報告、重要國際學術會議特邀報告、重大社會經濟效益等。
評估結果由定性評價和定量評價加權計算得到,表達形式為研究所排名。
二元評價體系比「藍皮書」評價體系進步較大,但因為定量評價在計算結果中實際起到的作用較大,「四唯」現象依然突出。
為彌補過於量化的不足,2003年中科院在二元評價體系中補充開展了重大創新貢獻評價,研究所若有一項重大創新貢獻入選,則該研究所直接評為「優秀」,而不管計算得到的結果如何。
當年,中科院近100個研究所裡共有13個研究所以這種直通模式被評為「優秀」。例如,中科院寒區旱區環境與工程研究所就是憑藉「青藏鐵路凍土工程機理研究成果」被評為「優秀」。
但是,因為重大創新貢獻畢竟有限,「可遇不可求」,研究所仍然對定量指標高度重視。
2005年知識創新工程進入第三期,中科院對照其目標的改革任務基本完成,研究所評價體系調整為綜合質量評估——
分為研究所自評估、院外專家對成果的同行評議、院內專家對同一領域內研究所的交流評議、機關管理專家到研究所的現場評估、研究所年度基礎數據定量監測等5個單項評估環節,以及專家綜合決策分檔環節。
其中,定量監測採用了指數計算方式,實現了定量評價結果的橫向和縱向可比。
總的評估結果採用分檔表達而不是排名,分檔結果是專家在5個單項評估結果基礎上依據事先確定的原則判斷得出,而不再是加權計算。
因此,可以看出,綜合質量評估體系相比二元評價體系,進一步加強了定性評價,減弱了定量評價。
然而,即便如此,在綜合決策分檔過程中,定量環節的結果對於專家組的定性判斷還是發揮了較大作用;其中,一個重要原因是專家僅憑個人知識和經驗難以對擁有眾多學科方向、成果類型多樣、規模體量又較大的研究所的綜合績效作出有效判斷。
知識創新工程結束後,自2011年起,中科院簡化研究所管理,給研究所下放更多自主權。研究所規劃簡化為「一三五」規劃,研究所評價體系調整為「兩個環節、一個基礎」的重大成果產出導向評價體系。
(1)第1個環節:國際專家診斷評估。邀請國際專家對研究所的定位和水平、領域方向或團隊的地位水平和影響,及重大成果的進展情況進行現場診斷評估。國際評估主要涉及基礎研究工作,要求凡是能國際評估的研究工作儘量採用國際評估。在一開始,中科院內對國際評估還有一些不同看法,擔心投入過大而收效不大,但中科院數學與系統科學研究院、水生生物研究所、廣州地球化學研究所的國際評估試點結果非常理想,這消除了大家的顧慮。
(2)第2個環節:目標完成情況驗收。邀請國內同行專家,對「一三五」規劃中目標定位合理性、3個重大突破任務的完成情況和5個培育方向情況一一進行評議,形成分項評議結果。
(3)一個基礎:年度關鍵定量指標監測。其結果只對「兩個環節」的評價提供參考。
至此,中科院研究所評價演變成完全意義上的定性評價,或者同行評議。
相比於前一階段的綜合質量評估體系,這種轉變之所以成功,一個重要的原因是重大產出導向的評價體系不再針對研究所整體,而是採用逐個評議以「一三五」表徵的「關鍵少數」的模式,使專家評議的作用能夠發揮出來。
中科院模式的分析
中科院研究所評價經歷的4個階段顯示,其定量評價部分的發展趨勢由強到弱,而其定性評價部分則由弱變強(圖1)。
基於科研評價黃金法則,本文認為中科院研究所評價走出了一條破「四唯」的道路,形成了中科院模式。
圖1 中國科學院研究所評價中定量評價與定性評價的動態變化關係(來源:「中國科學院院刊」微信公眾號)
中科院模式形成的條件可分為主觀和客觀2個方面。
從主觀能動性看,評價目的不同,即體現中科院不同時期、不同發展戰略的評價目的不同,並推動了評價方法的持續完善和進步。
從客觀條件看,主要是中科院研究能力和水平的提升,包括在研究產出、人才、國際影響力等方面的快速提升,以及科研經費、科研平臺等保障條件的提升。
從研究產出看,中科院高水平論文和原創研究能力一直快速增長。
20世紀90年代初,中科院在SCI論文及Science、Nature等高水平論文發表方面,與德國馬普學會和法國國家科研中心等國際一流科研機構相比,差距較大;到2005年,中科院SCI論文總量就超過了這2個機構。
2005年前後,少數中科院研究所,如中科院物理研究所在Science、Nature和Physical Review Letters等高水平刊物的發文量已經不遜於國際上著名研究機構發表的數量。
到2010年前後,中科院所屬研究所已經陸續有一些好的原創成果得到國際學術界關注,甚至被Science等重要期刊的年度綜述引用。
在2013年開始的中科院研究所國際評估中,不少研究所的成果被國際專家認為處於國際領先水平或國際第一方陣。
以CNS論文為例,中科院CNS論文數量在1991—2020年間呈現快速增長趨勢(圖2)。
圖2 1991—2020年中國科學院CNS論文發表數量情況(來源:「中國科學院院刊」微信公眾號)
將這一趨勢和中科院研究所評價中定量、定性變化趨勢放在一張圖裡,可以發現中科院CNS論文數量增長趨勢與中科院研究所評價中定性評價的增加趨勢一致(圖3)。
圖3 中國科學院研究所評價的定量評價、定性評價變化情況與中國科學院CNS論文發表數量的關係(1993—2020年)(來源:「中國科學院院刊」微信公眾號)
從對中科院模式形成條件的分析可以得出:定量評價和定性評價誰多一點、誰少一點對實際管理需求而言沒有優劣之分,只要與發展的戰略和條件相符合就是有效的評價體系。
在中科院研究所評價的第二階段即二元評價時期,定量結果佔比較大、評價結果的應用也比較強,因此很多研究所所長,尤其是因評價結果不理想而被扣減經費的研究所所長意見比較大。他們認為國家通過知識創新工程大幅提升了對中科院的科研經費支持,可以安心搞研究了,不應該通過評價「折騰」大家。
時任院長在2003年中科院工作會議上專門講了他個人關於認為中科院還需要競爭發展的理論——中科院發展還不平衡,隊伍參差不齊,不能像德國馬普學會那樣自由發展,還需要有一個如同市場競爭一樣的激勵競爭發展的過程,讓優勝者能夠脫穎而出。
基於論文指標等的完全定量的評價從科學性的角度來說,肯定是有缺陷的。但從管理的角度來看,在特定的發展條件和避免不恰當使用的前提下,也可發揮定量評價客觀、簡明、公正等的優勢,有利於科研機構和科研人才的競爭發展。
中科院研究所評價到第四階段即研究所重大產出導向評價階段,應該說成功實現了破「四唯」。然而,其局限性仍然比較大,主要是中科院研究所評價的改變尚未能完全影響研究所內部的評價。除中科院物理研究所、數學與系統科學研究院等一批發展突出的研究所情況較好之外,不少中科院研究所內部的評價還大量存在「四唯」現象。
目前,中科院研究所評價體系與德國馬普學會對其研究所的評價體系類似;但是,在研究所內部評價和科研人員自身對「四唯」考量上,兩大機構還有較大差別。
一方面,因為中科院研究所發展不平衡,有些研究所對定量指標還有需求;
另一方面,在國內「四唯」大環境下,中科院難以獨善其身。沒有足夠量的論文、沒有重要項目、沒有獎項和人才「帽子」等外在標識,科研人員很難得到目前科技管理部門乃至科技界自身的認可和支持,這種管理上的慣性依然強大。
結論與建議
通過前文分析並基於基礎研究的科研評價黃金法則,可以得出3個方面結論。
(1)在中國「四唯」是可以破的。中科院研究所評價從第一階段的定量排名評價到第四階段的定性評價的演進,即評價結果從第一階段由定量指標加和計算得出到第四階段由同行專家判斷得出、定量指標僅作為支撐基礎,這實際上走出了一條破「四唯」的道路,即中科院模式。
(2)破「四唯」不能「齊步走」。中科院和具備條件的「雙一流」高校、國家自然科學基金等重要項目、國家科技三大獎、重要人才計劃等,應該率先擔起破「四唯」的責任。中科院模式的形成是有條件的,除了中科院根據不同時期戰略需要積極改進評價體系和方法外,關鍵是作為前提條件的研究產出、人才、國際影響力等研究能力和水平的快速進步,達到了足夠的學術高度。
(3)對於「四唯」,不能為破而破。在條件不具備的情況下,不能簡單地以定性評價替代定量評價來代表破「四唯」。中科院在不同時期定量評價和定性評價誰多一點、誰少一點沒有優劣之分,只要與發展戰略和條件相符合都可算是有效的評價體系。從管理的角度來看,在特定的發展條件和避免不恰當使用的前提下,也可發揮定量評價的優勢,有利於競爭發展和青年人冒尖出頭。
改革開放以來,我國科技現代化快速發展,科研能力和國際影響力大幅提升。在依託頂級期刊發表論文數據的「自然指數」(NI)排名中,2019年我國位列全球第一。同時,我國基礎研究原始創新能力依然不足,原創性成果偏少。
目前,我國正處於從「跟跑」「並跑」向「領跑」轉變的關鍵點上,也處於科技自立自強的新時期、新形勢下,必然要求基礎研究特別是學術高地從量化評價向定性評價轉變,破「四唯」需求愈加迫切。
這些年改革科技評價的政策密集出臺,科研機構、高校科技評價制度改革蔚然成風,在科研人員職稱評定中採用的代表作制、長聘制、國際評估、「非升即走」制等都是有益的探索,國家自然科學基金「負責任、講信譽、計貢獻」的評審機制改革正在有序推進。
中科院模式是其中一個經過長期探索積累、比較成功的代表,其成功的原因可以從多種角度分析。其中,一個重要原因是中科院作為一個科研機構的特殊地位,不僅是其使命定位上的特殊性,而且因為其「獨一無二」,使得中科院受外部影響較小,可以更加從容地根據自己的發展需要設計和改進評價體系。
相反,各高校之間在各種排名上相互競爭更加激烈。正如筆者訪問的一位高校校長所說,「作為校長我知道該怎麼做。但是,如果排名比競爭對手差了,學校師生、校友乃至學生家長都不會答應,從上面爭取資源還會受到影響」。
2017年,筆者曾發文提出中科院研究所、「985」高校等學術高地應該發揮各自優勢和特色,走出破解科技評價困境的道路來,成為跨越科技評價「馬拉河」的「領頭角馬」。當前,破「四唯」困局依然嚴重,包括中科院研究所、「雙一流」高校在內的學術高地仍然任重而道遠,需要更多挺身而出的「領頭角馬」。
為配合這些學術高地(特別是高校)在改革評價制度上的探索,需要政府深化「放管服」,減少政府獎項、人才「帽子」評定、資源配置上不必要的競爭評價等;同時,規範社會上過多過濫的排名評價,逐步讓科學共同體承擔起在科技評價方法和導向改進上應有的責任,從而為學術高地探索破「四唯」預留足夠的空間和自主權。
本文獲授權轉自「中國科學院院刊」微信公眾號(id:CASbulletin),原題為《「四唯」如何破:中國科學院研究所評價的實踐和啟示》,原文刊載於《中國科學院院刊》2020年第12期。文章僅作分享,不代表一讀EDU立場和觀點。囿於篇幅限制,原文摘要、關鍵詞、參考文獻、注釋等從略,如欲轉載、引用,請參考 李曉軒,徐芳. 「四唯」如何破:中國科學院研究所評價的實踐和啟示. 中國科學院院刊, 2020, 35(12): 1431-1438.一讀EDU編輯部對原文略有編輯、調整,點擊頁面左下角「閱讀原文」即可瀏覽「中國科學院院刊」微信公眾號推送原文。溫馨提示:近期,微信公眾號信息流改版。每個用戶可以設置 常讀訂閱號,這些訂閱號將以大卡片的形式展示。因此,如果不想錯過「一讀EDU」的文章,你一定要進行以下操作:進入「一讀EDU」公眾號 → 點擊右上角的 ··· 菜單 → 選擇「設為星標」