清华教授刘知远：AI评价不能只看榜单，要以实践为标尺

政策定调：AI能力评估要有“实践标尺”

2025年8月，国务院印发《关于深入实施“人工智能+”行动的意见》，明确提出“建立健全模型能力评估体系，促进模型能力有效迭代提升”。在清华大学计算机科学与技术系长聘教授刘知远看来，这为人工智能评价体系改革指明了方向。当前，人工智能正在加快进入生产生活各领域，如何客观评价其真实能力，直接关系人类对智能的认识、国家的创新方向和人民群众的切身利益。实践是检验真理的唯一标准，人工智能究竟具备怎样的能力、能否创造实际价值，最终要由实践来检验。

其实，评价体系之所以需要改革，原因在于评价对象本身已经发生变化。过去，业界习惯用标准化的测试分数来衡量模型能力；但当模型真正进入业务流程、公共治理和民生服务，单一分数越来越难以回答“在具体情境下是否好用”这一实践问题。这一变化，正是国务院文件要求建立模型能力评估体系的现实基础。

榜单之外：评价的价值在于解决实际问题

现阶段，人工智能竞争正由比拼单个模型能力转向比拼整个系统。与此同时，全球各类大模型评测榜单不断涌现。如何在标准化测试与实际使用之间建立更加客观、可靠的评价尺度，已经成为人工智能评价必须回答的问题。刘知远指出，评价的价值不在指标本身，而在于能否解决实际问题；无数实际问题的解决汇聚起来，就是生产力的提高和人民生活的改善。以实践检验人工智能，既要考察其在具体场景中能否完成任务、成本是否合理、风险是否可控，也要衡量其对生产效率和民生福祉的实际贡献。评价一旦脱离实践，产业发展和社会生活中的真实需求就会得不到充分回应。

这一判断背后有三重考量：

• 认识的规律：实践检验是认识进步的根本途径。模型把几千年来人类积累的文字和经验压缩进来，能否推动认识进步，要看它在人类尚未解决的问题上能走多远。
• 国家发展的需要：科技评价是引导创新方向的指挥棒。立足国情确立评价标准，是实现高水平科技自立自强的内在要求。
• 技术与民生：模型性能随参数、数据和算力投入的增加而提升，偏重能力高低的榜单评价与这一规律相互强化，推动全球人工智能形成重规模、重算力的发展模式。但扩大规模并非提升能力的唯一路径。近年来的研究和实践表明，同等能力所需的模型规模和算力成本在快速下降。衡量人工智能的发展水平，既要看能达到多高的能力，也要看为此付出多大的代价；把效率和成本纳入评价，才能引导产业从规模竞争转向效率竞争、价值竞争。

民生层面的例子更为直观。当人工智能应用于乡镇卫生院问诊、小微企业报税和农业病虫害识别时，能否准确理解方言表达、适用现行政策、辨识本地作物及其病害，直接关系人民群众切身利益，而这些具体能力往往难以由通用榜单充分反映。建立客观可信的评价，基层单位和公众才不必在使用中反复试错，进而规避相应的成本和风险，真正适用、可靠的产品才可以得到识别和推广。

三层评价体系：从具体应用到整体贡献

刘知远认为，当前对人工智能能否完成具体任务的检验已经普遍开展，但评价标准和方法尚不统一；人工智能为一个行业带来多少效率提升、对国家发展和人民生活改善作出多大贡献，则更缺少系统衡量。确立实践标准，需要从三个层面完善评价体系。

一是评价具体应用。功夫要下在真实场景中，标准要定在实际成效上。模型投入使用后，往往与行业数据、业务规则、工具系统和人工复核共同构成完整系统，评价的对象应当是整个系统而不是单个模型，评价的过程应当贯穿采购、验证和运行全过程而不是一次测试或一场演示。高风险领域应当实行受控验证并作为准入条件，投产后应当依据实际运行数据持续监测，使产品选择和项目验收建立在真实效果之上，不能只看榜单排名、厂商演示和纸面指标。

二是评估行业成效。要算整体账、长远账，以生产和服务全面增效为准绳。不同行业的业务流程、质量要求和风险边界各不相同，应在相关部门指导下，由行业组织牵头、龙头企业和专业机构参与，建设本行业的真实任务库，脱敏入库、保密轮换，既评任务完成度也评单位成本。

三是衡量整体贡献。应把人工智能对国家发展和民生福祉的贡献纳入统计核算，做到心中有数、引导有据。我国已经建立数字经济核心产业的统计核算，人工智能对劳动生产率、就业结构、公共服务影响的统计监测可以在此基础上起步；宏观层面的衡量，既要看能力提升带来的产出增长，也要看算力消耗、应用成本和普惠程度。

三个层面相互贯通：检验结果向上汇聚为行业和国家的判断，再向下引导研发方向和资源配置，评价体系才能真正发挥指挥棒作用。