本文来自微信民众号：Nature自然科研（ID：Nature-Research），原文作者：Elizabeth Gadd，头图来自：unsplash

研究职员经常埋怨招聘和资助委员会用于评估他们的指标。已往10年里，诸如《旧金山科研评估宣言》和《莱顿宣言》等倡议的降生，促使大学重新思索应该若何通过学术著作和引用量来评估研究成果和研究职员，以及何时使用这类指标。

用排名来评估大学的做法也需要重新思索。由“天下大学学术排名”（ARWU）和《泰晤士高等教育》“天下大学排名”（THE WUR）等机构公布的这些排行榜，决议了奖学金和其他收入的资格，还会影响学术职员去那里事情和深造的决议。各国政府通过种种政策和经费，辅助他们的大学提高排名。许多大学（如笔者所在的机构）的研究职员由于学校排名不高错失了许多机遇。

泉源：pixabay

两年前，国际研究治理学会网络（INORMS，一个由研究治理机构组成的学会）约请我主持一个关于研究评估的新事情组，事情组成员来自十几个差别国家。在第一次集会上，我们就最体贴的问题达成了一致：更公正可靠的大学排名。当我们最先起草排名的尺度并举行评级时，它们的瑕玷也清晰起来。

全球研究委员会（Global Research Council）包罗了各个科学和工程资助机构的卖力人。不久前，全球研究委员会在网上召集专家，探讨若何通过研究评估改善研究文化——这应当包罗大学排名的构建和使用。

关于研究治理的文献尽是对排名的指斥。排名在方式论上备受质疑——经常使用不适当的指标，好比以获得诺贝尔奖的校友数目评判教育优质与否。它们还更偏心英文著作以及之前排名高的大学。这样一来，欧洲和北美的老牌富足大学始终占领榜首。大学排名所接纳的一系列指标可能无法反映大学的特定使命，还经常忽视它们的社会影响和教学质量。

然而，大学排名早已深入人心，每年新的排名层出不穷。和期刊影响因子一样，无论有若干问题，学生、教职职员和资助者都妄想一劳永逸，将排名与质量划上等号。效果是显而易见的：人才缺失，大学收入削减，不同等快速萌芽。

我们事情组在梳理了有关文献后制订了一套尺度，并通过讨论向学术职员、支持科研的人士，以及其他相关群体征求意见。我们将这些意见整理成20条原则，包罗有用治理（如声明财政利益冲突）、透明度（目的、方式、数据）、丈量重点（是否相符大学的使命）、严谨性（指标能清晰出现它的丈量内容）。

之后，我们将这些原则开发成一个工具，对排名举行定性和定量评估（参见go.nature.com/2ioxhhoq）。我们召集了国际专家评估全球最着名的6个排名机构，并约请这些机构睁开自评（只有CWTS莱顿愿意照做）。大学排名考察（University Ranking Watch）博客编辑Richard Holmes卖力效果校准，我们将这些效果以形貌的形式出现，而不是排名。

效果显示，最受关注的排名（ARWU、QS天下大学排名、THE WUR和《美国新闻和天下报道》全球排名）问题最多，尤其是在“丈量重点”和“严谨性”方面。这些“标杆”排名均未思量开放获取、同等、多样性、可持续性和其他社集会题，也不提供指标来反映一所大学的使命。尽管如此，它们依然声称自己评出了全天下最好的大学。

排名机构可能会说我们的原则不切实际，强调评估不可能点水不漏，而且简朴、一刀切的指标有其合理性。笔者的反驳是，我们从各界呼声最高的意见中总结出这些原则，若是排名机构做不到，也许应该住手排名，或者至少开诚布公地认可他们的排名自己具有不确定性（在我们的评估中，只有CWTS莱顿愿意实验）。

归根结底，排名机构需要负担更多责任。对研究职员评估方式的新期望让笔者深受鼓舞。从2021年1月起，英国研究资助机构惠康（Wellcome）只资助那些能够证实对研究职员开展过公正产出评估的机构。同样，欧盟委员会在其“迈向2030”（Towards 2030）设计中招呼高等教育甩掉当前的排名系统，由于它们存在局限且“过于简朴”。

我们希望通过露出排名系统的缺陷所在，吸引更多同伴来推动这场变化，好比执行更中性、自力的羁系，以及可用于其他学术评价的伦理和严谨性尺度。

这种压力或能倒逼全球排名机构使用的排名方式更贴近高等教育界对公正可靠排名的期望，或是辅助用户领会排名的局限性，在参考这类排名时多一分郑重。不管怎样，都是提高。

原文以University rankings need a rethink题目揭晓在 2020年11月25日的《自然》的World View版块上

本文来自微信民众号：Nature自然科研（ID：Nature-Research），原文作者：Elizabeth Gadd