中美最强模型在公开评测基准上的性能差距已收窄至2.7%，但把榜单排名直接当作选型依据，依然是一种高风险做法。斯坦福HAI的年度报告提供了一个更有用的提醒：能解研究生物理题的模型，在读取模拟时钟这类任务上的正确率只有50.1%。模型能力是锯齿状的，企业的评测集必须长成业务场景的形状，而不是公开榜单的形状。
先定义判定标准，再收集样本
构建评测集的第一步不是选模型，而是把要评测的能力拆成可判分的任务单元。路径通常是三层：业务场景、原子任务、判定依据。信息抽取看字段是否完全一致，合规问答看拒答边界是否守住，生成类任务看结论是否可溯源。判定标准必须在写样本之前确定下来，否则样本很容易被"看起来不错"这一主观感受绑架。每条样本应配有唯一参考结果，或者至少配有可复核的判定依据，这样不同批次、不同评审人之间的打分才具有可比性。
样本构成与防污染
样本优先取自自有业务数据，脱敏后使用。覆盖面上要刻意做出分层：高频常规输入、长尾低频输入，以及边界与对抗输入，比如信息缺失、格式错乱、诱导性提问。公开数据集可以补充，但不适合作为主体，原因在于公开集存在被训练语料覆盖的风险，分数容易虚高。更稳妥的做法是保留一份不对外披露的留存集，只用于内部回归。同时安排业务专家先做一遍同样的题，形成人工基线——当模型分数低于基线时，说明这个任务眼下还不适合交给自动化。
评分维度、版本管理与通过门槛
单靠一个总分无法指导决策。正确率之外，至少应分列格式合规、拒答行为、响应延迟、单次推理成本和工具调用成功率，让各个维度的短板都能被看见，而不是被平均分掩盖。评测集本身也要做版本管理：模型版本、提示词、检索链路任一环节发生变化，都应触发一次全量回归；线上回收的失败样本进入待审池，经人工确认后并入下一版。
通过门槛应绑定业务可接受水平，而不是对齐榜单第一名。当头部模型之间的差距只有2.7%时，这个差值在多数场景中并不构成决定性因素，真正拉开差距的是推理成本、上下文长度、工具调用稳定性以及私域数据的接入方式。
落地路径不必宏大。选一个核心场景，用真实样本搭出第一版评测集，把判定标准写清楚，跑通回归流程，再逐步扩展到其他场景。报告已经指出能力仍在加速、前沿模型主要由产业界产出，这意味着评测集不是一次性交付物，而是一项需要持续投入的工程资产。