智能体评测集被刷分，通常不是因为分数计算错了，而是因为评测目标被压缩成了可钻的规则：模型学会迎合固定题型、输出格式或评分偏好，却没有提升真实任务中的规划、执行与纠错能力。防刷分的关键，不是把题目藏起来就结束，而是让评测结果难以被单一套路替代。
让任务不止有一种“标准答案”
如果评测只看最终文本是否包含指定内容，智能体可能给出形式完整、事实却不可核验的答案。任务应要求结果对应原始材料，并检查关键步骤：是否识别缺失信息、是否正确调用工具、是否遵守授权范围，以及失败后是否如实说明限制。对于表格核对或资料整理，不能只凭成品看起来合理就给分，还要复核计算、出处和冲突处理。
同一任务可通过替换材料、调整字段或改变无关表述形成变体，检验能力是否迁移，而非记住某个固定答案。变体仍须保持目标和难度可比，否则分数差异可能来自题目本身，而非智能体表现。
评分要覆盖过程与代价
只按“任务是否完成”计分，会鼓励智能体猜测补全、反复调用工具，甚至越过权限边界。评分应同时记录最终准确性、过程可靠性、错误恢复、人工接管和交付可追溯性；高影响操作未经确认、隐去失败或捏造缺失信息，都不应被成功结果抵消。
固定公开题可以用于日常检查，但不宜独自承担最终排名。保留不公开的测试任务，并在评测中轮换材料，有助于降低针对题库定向优化的收益。公开部分则应说明测试条件和评分规则，避免把不可复现的分数当作能力证据。
最后，要用重复运行观察稳定性，并保存计划、工具调用、报错和人工介入记录。一次高分只能说明某次表现；只有在不同任务变体和相同约束下持续可靠，分数才更接近真实工作能力。