中國網/中國成長門戶網訊 2013年5月，《科研評價的舊金山宣言》（以下簡稱DORA或《舊金山宣言》）正式發布，旨在處理逐步鼓起的“以刊評文，以文評人”題目。《舊金山宣言》獲得國際迷信配合體普遍認同與反應；以此為旗號，很多國際學術組織、學術年會、高校與研討機構開包養網始會商科技評價改造。同時，成立了DORA科技評價同盟、科技治理國際同盟（INORMS）科技評價任務組等新的國際組織努力于推進科技評價改造。10年來，國際科技評價改造不竭深刻，慢慢從理念層面的倡導和會商落實到浩繁科研機構的實行摸索之中，後果初顯。
筆者曾于2022年頒發過《科技評價改造十年評述》一文，對我國科技評價10年改造停止過總結。以為，以“三評”改造和破“四唯”為代表的我國科技評價改造正處在要害時辰。固然今朝在清算“四唯”上已獲得初步後果，以論文等目標停止簡略量化評價的景象顯明惡化。可是，“立新標”還在半路上，特殊是科技評價改造所要領導的對出色的價值尋求還遠未構成。對此，若何策劃下一個步驟科技評價改造的目的和舉動是急切需求答覆的主要課題。筆者作為國際科技評價組織的任職者和經過的事況者，經由過程對國際科技評價改造10年停止體系的梳理、剖析和比擬，得出響應結論和啟發，以期起到參考之資的後果。
為防止惹起歧義，對文中2個概念停止闡明：本文中說起的國際、國際的科技評價均指針對高級黌舍、科研機構（含科研贊助機構）展開的以基本研討為主的科研評價，包含論文、人才、項目、機構等的評審評價，盡管英文普通被稱為“research assessment”或“research evaluation”，可是，為了與國際語境堅持分歧，本文沿用“科技評價”而不是“科研評價”。國際科技評價改造重要是指歐洲和北美等地域的傳統科技強國主導、今朝在國際上構成較年夜影響的科技評價改造，包含改造目的、改造的組織推進經過歷程、改造的基礎理念及展開的改造實行等。
國際科技評價改造要處理什么題目？
普通而言，歐洲和北美等傳統科技強國由於其深摯的迷信文明底蘊，迷信價值尺度與尋求傳統上是不錯的。可是，跟著科技本身的成長及其位置的晉陞，其科技評價也面對新的題目與挑釁，必需與時俱進。回納起來，國際科技評價改造要應對的題目或許說要告竣的目的年夜致有3個方面。
防止文獻計量學方式在科技評價中的不妥應用。在美國粹者Garfield提出應用參考文獻追蹤迷信停頓的引文剖析方式后，美國迷信信息研討所（ISI）于1963年開端經由過程引文剖析挑選期刊，構成迷信引文索引（SCI）數據庫，從而為在科研評價中利用文獻計量學方式供給了基本。文獻計量學方式的引進，一方面為科技評價供給了證據支持；另一方面助推了“以刊評文”的慢慢鼓起——“頒發在哪兒比頒發什么更主要”，這無疑對科研產出的東西的品質、完全性和多樣性發生晦氣影響。若何防止文獻計量學方式的不妥應用，成為國際迷信配合面子臨的主要挑釁。
器重迷信對經濟社會的影響力（impact）評價。跟著科技在國度經濟社會成長、國度平安等方面位置的晉陞，科技競爭愈演愈烈，世界列國一方面加年夜科技投進，另一方面也加倍追蹤關心科技投進對本國立異成長的效力和後果。本來迷信投進“只問耕作，不問收獲”的線型模子被質疑，迷信對經濟社會的影響力評價逐步成為科技評價的焦點內在的事務。影響力評價的引進帶來2個方面的挑釁：迷信配合體難以構成共鳴，良多科研職員不承認影響力評價，以為這種鴻溝含混、不難自我吹捧的評價會滋長學術不端、傷害損失學術東西的品質。正確評價影響力難度太年夜，難以找到迷信的目標、數據起源與評價方式。這2個題目也是國際科技評價界會商的熱門題目。
順應開放迷信、基于人工智能的迷信研討等新范式成長。以數據共享為基本的開放迷信（open science）近年來在歐美風行并逐步影響全球。開放迷信活動鼓起的同時請求改造科技評價體系，以進步公然性和通明度。可是，若何將傳統上以小我發明運動為主的迷信研討，改變為數據共享的、表現年夜範圍協作的所有人全體性科研運動并非易事，需求各方面配合盡力。例如，結合國教導、迷信及文明組織（UNESCO）提出了關于開放迷信的提出，此中包含為其成員開闢的“開放迷信東西包”，輔助他們審查和改造科研個人工作生活的評價尺度。人工智能的迅猛成長也將對科技評價發生深遠影響，“人工智能驅動的迷信研討”（AI for Science，簡稱AI4S）成為新的迷信范式。列國都努力于搶占這一范式制高點，也需求經由過程科技評價予以鼓勵和領導。同時，AI4S在增進科技成長、加重迷信家累贅的同時，能夠強化數據猜測技巧而帶來風險與成見，也對改造科技評價提出了新挑釁。不外，在這方臉孔前固然有較多說起，但今朝還沒有成為10年來國際科技評價改造的重點。
就以上3個方面而言，此次國際科技評價改造要處理的緊急題目或許說焦點目的是前2個方面，即文獻計量學方式不妥應用，以及影響力評價。這與我國事類似的，第1個題目即文獻計量學方式不妥應用方面的挑釁在我國尤其嚴重。這是由於，比擬于傳統科技強國，由于迷信文明單薄、情面原因過多等緣由，我國的同業評斷體系還不敷健全，這招致科技評價中對論文頒發的刊物的影響因子、論文本身的援用量及論文多少數字等量化目標加倍倚重。第2個題目即若何推進影響力評價跟我國正在推進的科技結果“五元價值”評價是類似的。可是，我國破“四唯”中的獎項、學歷、職稱、人才“帽子”等，更多是我國特點，對于一些傳統迷信強國而言這些基本性題目并不明顯。
國際科技評價改造采取了什么舉動？
國際科技評價改造的若干主要舉動
從途徑來看，國際科技評價改造由迷信配合體主導，重要采用自下而上方法展開。國際科技評價改造啟動的標志性事務是2013年5月《舊金山宣言》的發布。該宣言的初稿是相干學者和編纂在2012年底舊金山召開的美國細胞生物學學會（ASCB）年會時代，針對期刊影響因子在科技評價中不妥應用的弊病所提出的。《舊金山宣言》發布后，很多國際學術組織、學術年會、高校與研討機構紛紜跟進，并成立了DORA科技評價同盟等新的國際組織配合努力于推進科技評價改造。2023年5月，包含中國在內的全球很多國度分辨舉辦了《舊金山宣言》發布10周年事念運動。
10年來，國際迷信配合體在推進科技評價改造上做了大批情勢多樣的任務，包含發布宣言、建議、講明；組織學術年會交通、專題研究、項目研討；構成研討專報、科技評價方式框架、好的評價案例、科技評價試點協議等。本文梳理了此中14項比擬嚴重的舉動（表1）。
國際科技評價改造的重要後果
在全球范圍內構成科技評價改造共鳴。截至2024年1月4日，已有3078個組織和21339名小我簽訂了《舊金山宣言》，此中包含來自中國的15家機構。2022年，“推動科研評價同盟”（CoARA）正式成立，并發布了《改造科研評價的協議》，來自40多個國度的350多個組織簽訂了協議。科技評價改造日益在全球范圍內構成共鳴。
顛末迷信配合體各方氣力配合盡力，科技評價改造的“圖譜”逐步清楚化。好比，《舊金山宣言》提出廢除“以刊評文”；《萊頓宣言》進一個步驟提出要糾偏“量化評價”；《量化目標潮水》陳述進一個步驟明白量化評價的感化及規范；SCOPE框架界說擔任任評價的經過歷程等。分歧的學術組織針對分歧題目提出科技評革的分歧方面，拼集成一個比擬完全的“圖譜”。最后，這張改造“圖譜”被冠以“擔任任科研的評價”（responsible research assessment）的標識，慢慢成為科技界的配合用語。
科包養網技評價改造正在從理念層面走向實行。今朝，簽訂《舊金山宣言》的3000個多組織正在或許曾經落實防止“以刊評文”請求。簽訂《改造科研評價的協議》的300多個組織（包含贊助機構、高校和科研機構）正在停止科技評價改造試點，并且常常組織各類情勢的試點經歷交通。
構成了關于科技評價的一些基礎判定。包含對科技評價正、反兩方面感化，定量評價與定性評價之間的關系，啟動評價的條件前提，以及晉陞評價數據東西的品質的技巧等。這些感性熟悉對我國有主要啟發意義。
國際上的“三評”改造實行案例
如前文所述，國際科技評價改造正在從理念層面走向實行，以下停止實行案例剖析。鑒于我國以後科技評價源于國度“三評”改造文件，在此也分辨選擇人才評價、項目評審和機構評價3個方面的案例停止剖析。
比利時根特年夜學人才評價改造
比利時根特年夜學（Ghent University）較早留意到基于文獻計量學方式的定量評價對研討文明帶來的體系性傷害損失，以為定量評價滋長了“頒發在哪兒比頒發什么更主要”的文明。2013年發布后，根特年夜學簽訂了《舊金山宣言》。之后，又簽訂了《改造科研評價的協議》。隨之著手對科教職員晉升評價等人才評價停止改造，以保護根特年夜學一向提倡的多元化文明，同時打消教員對量化評價越來越年夜的不滿，力求創立一個誇大尋求出色研討的配合價值不雅、富有挑釁性、高東西的品質且具鼓勵性的個人工作框架。
在黌舍治理層和科教職員的配合盡力下，2016年11月，根特年夜學發布了《根特年夜學評價研討愿景講明》，提出科研評價必需遵照8項準繩。2017年進一個步驟公布了科研評價中定量目標的應用指南。依據這2項政策，2018年根特年夜學樹立了一種全新的教員評價和晉升形式，從頭將“義務”和學術不受拘束還給傳授級教人員。依據新的評價系統，根特年夜學對教員的評價不再只看科研產出，而會包養從加倍定性、綜合且以報酬本的視角停止評價。評價以5年為周期，包含初期的證據性評價、中期反應訪談和末期的訪談式評價。評價內在的事務包含在研討、講授、社會介入度、治理和引導力方面最主要成績的論述性展現（而非應用可權衡的定量尺度），以及將來5年的意向計劃。
美國國立衛生研討院（NIH）項目評審改造
美國國立衛生研討院（NIH）是美國最重要的醫學研討和贊助機構，每年城市贊助大批新項目以推進相干範疇的成長。NIH在簽訂了《舊金山宣言》后，著手停止項目評審改造，以打消已有評審中存在的量化題目與成見，同時順應開放迷信的成長。改造重要包含3個方面。
修正評審規定。新規定請求對于研討者和研討周遭的狀況的評價必需放在研討項目標佈景上去斟酌而不是像之前被零丁評分。無論是職員仍是機構，評審尺度不再是“越強越好”而是“能勝任即可”；假如評審專家以為職員或機構才能缺乏，則需求給出詳細闡明。新尺度的“夠用”準繩試圖盡量處理名譽成見，將追蹤關心點更多地放在研討課題自己下面而非機構名譽。
修正項目請求所用的簡歷格局或“專家先容”。在專家先容中添加小段篇幅，由請求人扼要描寫其最主要的迷信成績，以轉移項目評審專家對以往研討論文頒發期刊的追蹤關心度。
出臺數據治理和共享新政策。自2023年1月起，請求每年受NIH贊助的30萬名研討職員和2500個機構中的年夜大都在其撥款請求中說明數據治理和共享（DMS）打算。DMS打算中應包含剖析數據所需的軟件或東西的細節、何時何地公布原始數據，以及拜訪或分發該數據的任何特別斟酌，并對數據共享的任何限制或破例情形闡明來由，以增進開放迷信成長。
英國年夜學評價改造
2014年，英國對原有年夜學科研評價考察（RAE）系統停止較年夜幅度改造，構成新的科研出色框架（REF）。相較于以往的評價系統RAE，REF最年夜的改造亮點在于：引進了文獻計量學評價目標，為同業評斷供給參考；摸索了影響力評價方式，以展現英國年夜學研討對社會的真正影響，誇大迷信研討給實際世界帶來的好處。由于影響力評價難度較年夜，英國為此停止專門研討，開闢了針對分歧類型學科科研結果的影響力目標。
2014實行的REF（REF 2014），在完成以評價成果對年夜學停止資本設置裝備擺設的同時，也不成防止地將競爭壓力經由過程年夜學傳導至下層學術組織，特殊是定量目標的引進加劇了對教員小我科研行動的影響。2015年，受英國高級教導基金委員會委托，以James Wilsdon傳授為首的研討組對定量目標在REF中的感化停止了自力評價。為此，研討組啟動了擔任任評價目標專題論壇，重點追蹤關心與會商在科技評價中若何用好定量目標的題目。最后，研討組發布了題為《量化目標潮水》的研討陳述，對應用定量目標給出了確定判定并提出改良提出。
2022年，英國REF的引導機構——英格蘭研討院（Research England）簽訂了《改造科研評價的協議》，要對REF持續停止改造，旨在全部高校科研生態體系從頭樹立起一種擔任任、包涵、多樣的科研文明。由此，英國啟動了“將來科研評價打算”，旨在對剛實行終了不久的REF 2021將來變更計劃停止更深刻研討。依據2023年6月發布的新一輪頂層design計劃，REF 2028的政策重心將從“科研績效鼓勵”調劑為“科研文明扶植”，并且周全重塑科研周遭的狀況、科研結果和科研影響3個包養評價維度，以晉陞高校訂扶植安康科研文明的器重水平。
國際上“三評”改造實行的重要經歷
實際與實行聯合。試點機構充足應用科技評價10年改造時代國際迷信配合體構建的一系列實際和方式系統領導實行，實際與實行慎密聯合。
堅持與其他試點機構的交通共享。試點機構普通會簽訂《舊金山宣言》和《改造科研評價的協議》，置身于試點所有人全體之中，與科技評價研討的學者以及其他試點機構堅持互動交通。
在評價方式上堅持不竭立異和完美，而不奢看一揮而就。例如，REF自2008年提出引進科研影響力評價，時代破費了大批的人力和時光研討開闢影響力的內在、評價尺度、評價方式、專家手冊等，直至2014年才利用于現實評價之中，並且此刻仍然在研討和完美之中。
試點機構表現了充足的改造自立性。各機構呼應國際迷信配合體的建議啟動改造，是出于本身在理念上的認同和現實需求，完整是自立的，而不是源自當局行政請求。
結論與啟發
結論
國際科技評價10年改造值得總結的內在的事務良多，本文重要從與我國科技評價改造比擬角度，得出3個方面結論。
國際科技評價改造目的與我國類似。本次國際科技評價改造的焦點目的有2個：破“以刊評文”，這與我國破“四唯”之中破“唯論文”的導向是分歧的；立對經濟和社會進獻的“影響力”評價，這與我國誇大科技結果的五元價值是分歧的。可是，我國破“四唯”中破獎項、學歷、職稱、人才“帽子”等，重要是我國特點。對于國際上的傳統迷信強國而言，科技獎項、人才“帽子”等基本性評價題目并不顯明。
國際科技評價改造途徑與我國差別較年夜。國際科技評價改造重要由迷信配合體主導，采用自下而上的方式，經由過程迷信配合體發布宣言、建議、評價方式系統、簽訂許諾協定、實行案例總結與分送朋友等方法推進，當局很少直接參與。相反，我國更多采用自上而下方式，當局在科技評價改造中施展主導感化，經由過程發布改造的政策文件和請求推進改造，迷信配合體的感化施展無限。
國際科技評價10年改造經歷值得鑒戒。與自上而下的我國科技評價改造履行力強的特色分歧，國際科技評價改造加倍追蹤關心對科技評價紀律的熟悉。由此，國際科技評價改造告竣了比擬體系的共鳴，值得鑒戒。當然，國際科技評價改造所構成的很多共鳴跟我國在實行中秉持的理念是類似的，有些甚至有異曲同工之妙。國際科技評價改造的共鳴包含：《舊金山宣言》提出的追蹤關心論文自己而不是期刊的建議及對分歧主體做法上的提出、《萊頓宣言》提出的關于公道應用定量評價的建議、INORMS科技評價任務組提出的SCOPE方式，以及英國REF評價構成的影響力評價方式等。此中部門焦點不雅點值得特殊說起：科技評價是治理的需求，也是一把“雙刃劍”，沒有充分來由和充足預備不要等閒啟動科技評價。科技評價離不開同業評斷，難以經由過程簡略量化方式評價。可是，量化方式假如應用適當，可以或許有用晉陞同業評斷東西的品質。量化方式有黑白之分，在現實評價中需求分辨與選擇好的量化方式，如學科規范化引文影響力（CNCI）目標；防止應用欠好的量化方式，如期刊影響因子。需求追蹤關心支持定量評價的數據東西的品質及其起源的靠得住性，沒稀有據東西的品質及其起源靠得住性保證，光是目標都雅沒有效。經由過程應用獨一標識符（如ORCID），將科研產出、介入的科研運動等與科研職員綁定，在包管定量評價數據東西的品質的基本上便利查尋獲取，曾經成為國際迷信配合體越來越廣泛的做法。
啟發
以上經由過程中外比擬得出的結論，對我國科技評價改造有很多啟發，本文重點闡述4個方面的啟發。
分類分步破“唯”。評價改造要明白義務主體和先后順序。今朝我國的“四唯”中，“唯”要分類分步而破。① 嚴重性分歧。“唯論文”“唯獎項”“唯帽子”比擬嚴重需求重點追蹤關心，“唯學歷”和“唯職稱”也是題目但影響面較小。② 義務主體分歧。“唯論文”的義務主體重要在迷信配合體，這和國際科技評價改造分歧；“唯獎項”“唯帽子”義務主體重要在當局，國際科技評價改造沒有這方面的題目。這2個義務主體的題目是交互感化的，可是，有先后順序。“唯獎項”“唯帽子”實質是獎項和“帽子”過多，需求當局做減法，為迷信配合體破“唯論文”、安心產出原創結果供給基本性治理軌制保證。“唯論文”則需求鑒戒國際科技評價改造經歷，更好地施展迷信配合體自下而上改造的自動性，構成先行先試、敢為全國先的局勢。
穩重啟動評價。評價是一把“雙刃劍”，國際科技評價改造倡導不要等閒啟動科技評價，這與我國科技評價改造節拍有相通之處。現實上，在破“唯”之前，我國起首展開的是“減量”改造，請求各單元清算過多過頻、重斷交叉的評價。可是，近年來減量風頭曩昔后，評價沖動又有開釋苗頭；加上國度新出臺的“周全實行預算績效治理”的請求在落實中還沒有和原有科技評價和諧好，評價頻次又多起來了。對此，需求經由過程樹立對評價停止評價的機制束縛評價沖動、規范評價軌制和方式，而不只僅逗留于展開減量改造的階段性活動。
用好量化評價。作為同業評斷的幫助方式，量化評價在本次國際科技評價改造中獲得了重點追蹤關心，構成了較多共鳴。鑒于我國曩昔量包養化評價過于極端，在此次破“四唯”改造中，有一派不雅點主意完整廢棄定量評價，回回同業評斷。聯合我國國情，這是不成取的。筆者已經提出定量、定性相聯合的BRIDGE實際，主意經由過程表單化方式將數據資料和證據的隱性常識顯性化，從而對同業評斷起到支持和束縛感化。這一方面是將我國已有量化評價摸索做到物盡其用，另一方面能夠在定量定性聯合的評價方式上構成改造衝破，并為國際科技評價改造作出中國進獻。
積極融進國際科技評價改造。今朝，我國簽訂《舊金山宣言》的科研機構、高校和迷信家小我還比擬少，與我國宏大的迷信共體還不相當。同時，我國還沒有科研機構和高校參加國際《改造科研評價的協議》之中。這種情形與我國作為后發國度還存在一個慢慢融進國際迷信配合體的經過歷程有關，也與我國科技評價改造由當局主導的特色有關，甚至近幾年的疫情也有較年夜影響。作為國際迷信配合體的一部門，我國應當加倍積極地融進國際科技評價改造。經由過程與國際迷信配合體彼此鑒戒和增進，一方面可以更好地激起我國迷信配合體在科技評價改造上的自動性，另一方面可以增添迷信配合體之間的懂得與信賴，從而有利于加大力度全方位國際科技一起配合的紐帶。
（作者：徐芳、李曉軒，中國迷信院科技計謀徵詢研討院中國迷信院年夜學公共政策與治理學院 中國迷信學與科技政策研討會科技治理與評價專委會。《中國迷信院院刊》供稿）
發佈留言