AI智能体的生产能力，不应由演示中的对话流畅度判断，而应由它在信息不完整、权限受限、工具偶发失败时，能否稳定完成任务来验证。核心问题不是“回答像不像人”，而是“结果是否可交付、过程是否可控、风险是否可追溯”。
验证前必须先定义任务完成标准。以“整理销售周报”为例，合格结果不只是生成一段通顺文字，还应包括读取指定数据、识别异常、按模板输出、标注来源，并在数据缺失时主动提醒。评测至少要区分四类结果：目标交付是否完成，关键步骤是否遗漏，权限与格式约束是否遵守，异常出现时是否暂停、重试或请求人工确认。
用可复现任务替代产品演示
测试任务应覆盖信息整理、多步骤流程、工具调用、上下文记忆和异常处理。工具环境、输入文件、权限范围、时间限制和返回格式必须保持一致，并保存提示词、工具调用、错误信息与最终结果。否则，比较的可能是配置差异，而非智能体能力。
异常场景尤其关键。可主动加入缺失数据、权限不足、工具超时、格式错误和相互矛盾的指令，观察系统是否能够安全停下来。高风险任务中，及时转交人工往往比强行完成更可靠；能读取数据，也不代表可以修改、发送或审批。
四项指标判断是否可生产
任务成功率应依据预先定义的验收条件计算：
任务成功率 = 完全满足验收条件的任务数 ÷ 总任务数
同时记录关键错误、人工接管发生的步骤，以及接管后能否继续完成。过程可控性则看工具调用是否准确、操作是否有日志、权限是否可限制、失败是否可重试，以及结果是否支持复核。综合成本不能只看模型费用，还应计入工具调用、运行时间、人工审核、失败重试和错误修正。
最终，企业应重点观察稳定性与长尾风险，而不是一次成功率。若智能体只能在输入完整、工具稳定、路径预设的环境中表现良好，它证明的只是演示能力。只有在标准任务集和失败样本上持续接受验证，并具备人工接管、权限边界和审计记录，才接近真正的生产能力。