评估 AI 智能体的人工接管成本,不能只数“接管了几次”。一次接管可能只是补充一个缺失字段,也可能意味着人工重新检索、核对并完成整项任务;次数相同,工作量和风险可能完全不同。更可用的做法,是把接管频率、人工投入时间和介入原因分开记录,再按任务类型汇总。
把人工投入换算为可比较指标
对每次运行,记录人工检查、补充信息、修改结果和接手执行的时间,并注明介入原因,例如事实错误、遗漏、格式问题、工具失败或需要澄清。随后至少计算两个指标:
- 接管率=需要人工介入的运行次数 ÷ 总运行次数。
- 单位任务人工时间=人工检查、修改与接手执行的总时间 ÷ 完成任务数。
若组织需要估算直接人工成本,可将人工投入时间乘以内部采用的人工时间成本;费率应由组织自身确定,不宜套用未经验证的通用数值。总耗时也应单独记录,因为等待时间增加不等于人工成本增加,而生成很快也不代表人力投入低。
接管原因最好进一步标注工作量和影响:人工是做了局部修正,还是重做关键步骤;错误是否涉及事实、数据或未经授权的操作。这样才能识别“频繁但轻微”的介入与“偶发但严重”的失败。若把它们合并成一个总分,必须提前说明权重,并保留各项原始记录,避免高成功率掩盖高风险错误。
比较不同智能体或流程时,应使用相同任务说明、输入材料、权限和验收标准,并重复运行。结果同时报告平均人工时间、接管率、失败类型和运行间差异;如果与人工独立完成的流程比较,也要采用相同的质量标准。最终要回答的不是“智能体接管了多少次”,而是它减少了哪些人工步骤、又把哪些复核与返工留给了人。