目前,科研評價(jià)正在蓬勃發(fā)展!芭琶薄ⅰ坝(jì)量”、“h指數(shù)”和“影響因子”在學(xué)術(shù)界非常流行。政府和科研管理者希望使用定量指標(biāo)來評價(jià)一切,包括對普通教師、教授、課程和大學(xué)的評價(jià)。文獻(xiàn)計(jì)量學(xué)集出版物和引文于一身,在“研究”的評價(jià)工具中占據(jù)主導(dǎo)地位。與17世紀(jì)科研論文首次發(fā)表以來使用的同行評價(jià)等“主觀”和直觀評價(jià)相比,文獻(xiàn)計(jì)量指標(biāo)是一種更有價(jià)值的定量測量方法,因此被稱為研究水平的“客觀”評價(jià)標(biāo)準(zhǔn)。伊夫斯·金格拉斯在書中圍繞文獻(xiàn)計(jì)量方法開展了熱烈的討論,探究了大學(xué)急于讓無效指標(biāo)影響科研戰(zhàn)略的緣由,并在的分析維度上提出了建立有效指標(biāo)的標(biāo)準(zhǔn)。《大學(xué)的新衣?對基于文獻(xiàn)計(jì)量學(xué)的科研評價(jià)的反思》將為科研政策制定者、科研管理人員、科研政策研究者以及研究生提供有價(jià)值的參考。
當(dāng)數(shù)據(jù)被操縱用以提升排名時(shí),文獻(xiàn)計(jì)量學(xué)的濫用就產(chǎn)生了。大學(xué)急于讓無效指標(biāo)影響其科研戰(zhàn)略,事實(shí)上是在重演“皇帝的新衣”(The Emperor’s New Clothes)這個(gè)古老的故事。
20世紀(jì)90年代以來,“文獻(xiàn)計(jì)量學(xué)”孕育而生?茖W(xué)家們以及評價(jià)委員會的成員們普遍使用定量指標(biāo)來評價(jià)其研究活動。但隨著科研評價(jià)中文獻(xiàn)計(jì)量指標(biāo)的濫用,暴露了對文獻(xiàn)計(jì)量指標(biāo)認(rèn)識的不足和錯誤性理解。在這種情況下,本書力圖通過聚焦評價(jià)的基本問題及其對科研的影響,為文獻(xiàn)計(jì)量評價(jià)的使用者與被評價(jià)者提供一些概念性工具,幫助他們更合理地評價(jià)目前在新興的科研評價(jià)市場上盛行的排名“黑匣子”里的許多指標(biāo)。
因此,對于科研政策制定者、科研管理人員、科研政策研究者以及研究生等讀者而言,該書不失為一本好的參考書。
近十年來,排名、評價(jià)、計(jì)量、h 指數(shù)、影響因子等詞語在高等教育及其研 究領(lǐng)域頗為盛行。政府和科研管理人員希望運(yùn)用定量指標(biāo)來評價(jià)一切,包括對普通教師、教授、科研人員、課程和大學(xué)的評價(jià)。這種需求源于20世紀(jì)80年代的“新公共管理”思想,這一思想使“卓越”“質(zhì)量”指標(biāo)在評價(jià)中倍增。這些術(shù)語雖然 被頻繁使用,但很少有人關(guān)注它們的確切含義及其有效性。
在“卓越研究”的評價(jià)工具中,文獻(xiàn)計(jì)量學(xué)的地位最為顯赫。文獻(xiàn)計(jì)量學(xué)作為一個(gè)研究領(lǐng)域,通常用于分析一個(gè)既定的實(shí)體(個(gè)人、機(jī)構(gòu)、國家等)發(fā)表的科研論文及其被引頻次。雖然論文數(shù)量提供了一個(gè)簡單的產(chǎn)出指標(biāo)(若定義了時(shí)間單位,則為生產(chǎn)力指標(biāo)),但是一篇論文的被引頻次往往被認(rèn)為是對論文質(zhì)量和科學(xué)影響的直觀測量。各種數(shù)字組合為大學(xué)、實(shí)驗(yàn)室及科研人員等排名提供了一些指標(biāo),這些指標(biāo)被認(rèn)為是對研究成果價(jià)值的“客觀”測量。許多人認(rèn)為,“客觀”測量可以有效地替代17世紀(jì)以來一直沿用的相對“主觀”的同行評價(jià)方法。
20世紀(jì)90年代,許多科學(xué)家發(fā)現(xiàn)了文獻(xiàn)計(jì)量學(xué),并開始普遍使 用定量指標(biāo)來評價(jià)科學(xué)家的研究活動。同時(shí),科學(xué)家們也開始對其應(yīng)用進(jìn)行批評,如譴責(zé)文獻(xiàn)計(jì)量學(xué)的缺點(diǎn),揭示簡單化指標(biāo)可能對科學(xué)研究動態(tài)產(chǎn)生的負(fù)面影響等。然而,矛盾的是,科研人員未必了解這些指標(biāo)的真正含義及其有效性,卻往往首先強(qiáng)調(diào)自己論文發(fā)表期刊的影響因子,并將總被引頻次或其h指數(shù)(后文將具體闡述)作為自己的價(jià)值體現(xiàn)與成功標(biāo)志。當(dāng)成為評價(jià)委員會的成員后,這些科研人員往往會毫不猶豫地使用這些相同的指標(biāo)對其同行進(jìn)行排名,決定其是否具有獲得科研資助的資格。因此,人們不能把20世紀(jì)90年代突然爆發(fā)的“文獻(xiàn)計(jì)量熱”以及由此引發(fā)的令許多大學(xué)校長興奮不已的排名繁榮現(xiàn)象(盡管事實(shí)上,正如本書所 要討論的,這些排名沒有真正的科學(xué)有效性,且很少能夠真正測量出想要測量的內(nèi)容)都?xì)w咎于管理人員。 雖然在各種排名和評價(jià)中,文獻(xiàn)計(jì)量數(shù)據(jù)很少作為唯一的信息, 但科學(xué)家對文獻(xiàn)計(jì)量學(xué)的發(fā)現(xiàn)讓人們錯誤地認(rèn)為“文獻(xiàn)計(jì)量學(xué)”= “評價(jià)”,好像文獻(xiàn)計(jì)量學(xué)在評價(jià)活動之外并沒有其他的用途。事實(shí)上,由于缺乏認(rèn)真的方法論反思,導(dǎo)致了科研評價(jià)中文獻(xiàn)計(jì)量指標(biāo)的濫用。盡管科學(xué)家在《自然》、《科學(xué)》或者博客中頻繁抱怨各種文獻(xiàn)計(jì)量指標(biāo)的使用和大學(xué)排名,但是到目前為止,大多數(shù)批評者僅僅強(qiáng)調(diào)所謂的文獻(xiàn)計(jì)量指標(biāo)的局限性,并想當(dāng)然地認(rèn)為他們提供了其他有效指標(biāo)。批評者很少質(zhì)疑這些指標(biāo)的認(rèn)識論基礎(chǔ):這些指標(biāo)本身是否有意義?這些指標(biāo)所測量的是否是它們本應(yīng)測量的內(nèi)容?這些指標(biāo)是否適用于它們應(yīng)該測量的概念(質(zhì)量、生產(chǎn) 力、影響等),等等。
本書的主要目的是以簡潔的方式闡述文獻(xiàn)計(jì)量學(xué)的基本概念與方法,以證明文獻(xiàn)計(jì)量學(xué)比科研評價(jià)的范圍廣泛得多?蒲性u價(jià)是文獻(xiàn)計(jì)量學(xué)方法相對較新的(和不恰當(dāng)?shù)模┮粋(gè)應(yīng)用領(lǐng)域。第一章回顧了文獻(xiàn)計(jì)量學(xué)作為一個(gè)研究領(lǐng)域的起源,梳理了文獻(xiàn)計(jì)量學(xué)從圖 書館管理(20世紀(jì)50、60年代)到科學(xué)政策(20世紀(jì)70年代)再到科研評價(jià)(20世紀(jì)80年代)的應(yīng)用與發(fā)展的演變過程。接下來的第 二、三、四章則分別討論了文獻(xiàn)計(jì)量指標(biāo)和排名的有效應(yīng)用、不當(dāng)應(yīng)用及濫用情況。
伊夫·金格拉斯(Yves Gingras),蒙特利爾魁北克大學(xué)歷史系教授、加拿大科學(xué)史和科學(xué)社會學(xué)領(lǐng)域首席科學(xué)家,加拿大科學(xué)技術(shù)政策領(lǐng)域知名專家。2019年,獲得魁北克騎士勛章(Chevalier de l’Ordre national du Québec),以表彰他對科學(xué)史和科學(xué)社會學(xué)發(fā)展的杰出貢獻(xiàn)以及他在國際范圍內(nèi)重要的學(xué)術(shù)影響。
出版的主要著作有《科學(xué)史》(法國大學(xué)出版社,2018)、《科學(xué)與宗教:不可能的對話》(蒙特利爾Boréal出版社,2016)、《人文科學(xué)與社會科學(xué)的爭論、共識與分歧》(法國國家科學(xué)研究中心出版社,2014)以及《科學(xué)社會學(xué)》(法國大學(xué)出版社,2013)。
《大學(xué)的新衣:對基于文獻(xiàn)計(jì)量學(xué)的科研評價(jià)的反思》原版初為法文版《Les dérives de l'évaluation de la recherche:Du bon usage de la bibliométrie》,經(jīng)麻省理工大學(xué)(MIT PRESS)出版社引進(jìn)并出版英文版《Bibliometrics and Research Evaluation: Uses and Abuses》。另有俄語版、葡萄牙語版等多種語言版本。
第一章 文獻(xiàn)計(jì)量學(xué)的起源
第二章 文獻(xiàn)計(jì)量學(xué)與科學(xué)動態(tài)
第三章 科研評價(jià)的繁榮發(fā)展
第四章 對科研評價(jià)的評價(jià)
結(jié)論 大學(xué)的新衣
注釋與參考文獻(xiàn)
索引