AI智能体实测怎么做：从任务成功率到人工接管，企业选型的五项对比指标

企业选型AI智能体，不能只看现场演示是否流畅，也不能把模型参数、上下文长度或厂商提供的单次成功案例直接等同于生产能力。更可靠的做法，是把宣传中的“会规划、能调用工具、可自主执行”转化为一组可复现的业务测试，观察它能否稳定完成真实任务、遇到异常能否恢复，以及每完成一个任务需要付出多少人工和资源成本。

先定义任务，再开始测评

AI智能体测评的起点不是“让它自由发挥”，而是明确一个可以验收的业务任务。例如：

• 根据客户资料创建售后工单，并补齐必填字段；
• 查询库存、判断是否满足发货条件，再生成订单草稿；
• 汇总指定时间范围内的销售数据，并按照固定格式输出报告；
• 检查合同中的付款条款，标记异常内容并提交人工复核；
• 处理一封客户邮件，调用知识库和工单系统完成分类、回复与转派。

每个任务都应写清楚输入、允许使用的工具、预期结果、禁止动作、完成时限和人工介入条件。只有这样，企业才能区分“回答得像”与“事情确实办完了”。

任务边界还要包括版本信息。评测时应记录模型版本、提示词、知识库或检索语料版本、工具接口版本、权限配置、评测集版本和测试日期。否则，后续即使结果发生变化，也很难判断问题来自模型、知识更新、工具改动还是业务规则变化。

五项核心指标怎么比较

1. 任务成功率：最终结果是否真的完成

任务成功率是企业选型最重要的基础指标，计算时不应只统计“执行到最后一步”的任务，而要把超时、死循环、失败转人工和中途失败都纳入分母。

基本公式可以写成：

任务成功率 = 达到预先定义成功条件的任务数 ÷ 全部合格任务数 × 100%

“成功”至少应同时满足以下条件：

• 业务结果达到验收标准；
• 输出符合规定的数据格式或字段要求；
• 没有遗漏关键步骤；
• 没有产生重复、越权或未授权的副作用；
• 没有明显事实错误或无依据的关键判断；
• 在约定时间内进入允许的终态。

例如，客服智能体虽然生成了看似合理的回复，但没有创建工单、错误修改客户等级，或者把需要人工审批的退款直接提交执行，都不能算作成功任务。

测试报告不要只公布一个总成功率，还应按任务难度、渠道、语言、风险等级、输入完整度和异常类型拆分。总分较高，并不代表关键业务场景同样可靠。

2. 工具调用准确性：是否调用了正确工具和参数

对企业智能体而言，工具调用往往比文字表达更接近真实生产风险。测评时应分别记录：

• 是否选择了正确的工具；
• 工具调用顺序是否符合业务流程；
• 参数名称、格式和取值是否正确；
• 是否使用了过期、无权限或不适用的工具；
• 工具失败后是否重复调用或改用备用路径；
• 是否在需要确认时暂停，而不是直接执行。

可以将工具调用准确性拆成几项：

工具选择准确率 = 正确选择工具的调用次数 ÷ 应调用工具的总次数
参数准确率 = 参数完全正确的调用次数 ÷ 工具调用总次数
授权遵守率 = 未发生越权调用的任务数 ÷ 全部测试任务数

这三项不能简单合并。一个智能体可能经常选对工具，却把日期、金额或客户编号填错；也可能参数正确，但调用了不应由它操作的高风险接口。

测试样本应覆盖正常输入、字段缺失、字段冲突、格式异常、权限不足和工具返回空结果等情况。工具返回错误时，重点观察智能体是否能解释失败原因、修正输入、请求补充信息或及时转交人工。

3. 异常恢复能力：失败之后能否回到正确路径

真实业务很少每一步都顺利。网络超时、接口报错、知识库没有答案、用户中途改变要求，都会打断智能体的执行流程。因此，企业应把异常恢复单独设计成测试集，而不是只在正常样本中顺便观察。

可记录以下结果：

• 能否识别异常，而不是继续编造结果；
• 是否进行了合理次数的重试；
• 重试是否改变了参数或等待了合适时间；
• 是否保存了已经完成的步骤；
• 是否避免重复创建订单、工单或付款动作；
• 是否向用户说明当前状态和下一步；
• 是否在无法恢复时转人工，并完整交接上下文。

异常恢复率可以按任务计算：

异常恢复率 = 在规定步骤内恢复并完成任务的异常任务数 ÷ 异常任务总数

这里的“恢复”不等于一直重试。对于扣款、退款、权限变更等高风险动作，停止执行并请求人工确认，可能比自动恢复更符合企业要求。

4. 人工接管频率：自动化程度与风险控制是否平衡

人工接管不是天然的失败。对高风险业务，适度接管可能是必要的安全机制；但如果大量普通任务都需要人工处理，智能体的自动化价值就会下降。

建议至少记录四个维度：

• 接管率：需要人工介入的任务数占全部任务数的比例；
• 主动接管率：智能体按照规则及时请求人工的比例；
• 被动纠错率：智能体已经出错后才由人工发现并修正的比例；
• 接管耗时：从触发接管到人工完成处理所需的时间。

其中，主动接管和被动纠错必须区分。前者可能说明权限边界设计合理，后者则可能暴露出识别风险、工具调用或状态管理方面的问题。

人工接管记录还应包含原因码，例如“缺少关键信息”“权限不足”“工具连续失败”“高风险动作待审批”“模型无法判断”“用户明确要求人工”。如果所有接管都只记为“异常”，企业就无法判断应该优化流程、提示词、工具接口还是授权策略。

5. 单位任务成本：完成一个任务实际花了多少

单位任务成本不能只计算模型调用费用。企业更应关注“完成一个成功任务”的综合成本，包括：

• 模型推理和令牌费用；
• 检索、数据库、工具接口等调用费用；
• 失败重试和重复执行产生的资源消耗；
• 人工审核、接管和纠错成本；
• 监控、日志、评测与运维成本；
• 因错误动作造成的返工或业务损失。

可采用较简单的口径：

单位成功任务成本 = 测试周期总成本 ÷ 成功完成的任务数

如果只把总调用费用除以全部运行次数，可能得到一个看似很低、但无法完成业务的数字。比较不同方案时，应同时报告“单位尝试成本”和“单位成功任务成本”，并标明人工成本是否计入。

成本也要和任务难度绑定。一个需要调用多个系统的复杂任务，与一次简单查询不能直接混在一起比较。企业可以按任务类型分别计算，再根据实际业务占比形成加权结果。

一套可复现的测试样本怎么设计

正常样本：验证主流程

正常样本应来自脱敏后的真实历史任务，而不是全部由厂商编写。样本中应覆盖不同客户、业务类型、数据规模和常见表达方式，避免测试集过于整齐。

每条样本至少包含：

字段	说明
任务编号	用于关联输入、过程日志和最终结果
业务类型	如查库存、建工单、生成报告
输入内容	脱敏后的真实请求和必要上下文
预期结果	可验证的业务终态
允许工具	该任务可以调用的系统和接口
禁止动作	不得执行的操作或越权边界
关键校验	字段、金额、状态、引用等验收条件
风险等级	普通、重要或高风险
版本信息	模型、提示词、知识库和工具版本

异常样本：验证是否会失控

异常样本不应只测试“接口报错”，还要覆盖业务语义层面的不确定性：

• 用户缺少订单号、时间范围或身份信息；
• 两个系统返回相互矛盾的数据；
• 工具返回空值、超时或权限错误；
• 用户在执行中途修改目标；
• 输入包含模糊、重复或不符合格式的内容；
• 知识库中没有足够证据支持结论。

异常样本的评分重点不是“是否强行完成”，而是是否采取了正确的下一步。一个合格的智能体应能识别无法确定的情况，保留过程状态，并在必要时停止自动操作。

对抗与越权样本：验证边界

企业还应准备提示注入、越权请求、恶意参数和敏感信息泄露等样本。例如，用户要求智能体忽略原有规则、读取不属于当前角色的数据，或者把自然语言中的指令伪装成工具返回内容。

这类样本至少要记录：

• 是否识别出风险；
• 是否阻断不合规工具调用；
• 是否泄露系统提示词、内部数据或凭证；
• 是否留下完整审计日志；
• 是否正确转交人工或返回安全提示。

安全指标不宜被普通任务成功率抵消。对于高风险动作，可以设置“一票否决”条件：一旦发生未经授权的实际副作用，即使总体成功率很高，也不能直接进入生产。

过程日志比最终答案更重要

只保存最终回复，无法解释智能体为什么失败。一次完整的任务记录，至少应包含：

1. 用户输入和身份、权限信息；
2. 模型版本与配置；
3. 每次规划或状态变化；
4. 检索内容及其来源标识；
5. 工具名称、参数、返回值和错误信息；
6. 重试、回退、暂停和人工接管事件；
7. 最终业务状态；
8. 失败原因和人工裁定结果；
9. 任务耗时、令牌用量和其他资源消耗。

日志中应避免直接记录不必要的个人敏感信息，同时保证能够通过任务编号追溯完整链路。供应商提供的运行数据可以作为参考，但企业最好保留独立的任务ID、盲测集和验收记录，避免只依赖厂商挑选的演示样本。

评测过程还要防止“现场调参后立即报喜”。测试人员应提前冻结样本、评分规则和版本，厂商可以参与排查问题，但不应单独决定哪些任务算成功。对主观性较强的结果，应由熟悉业务的评审人员按照书面规则裁定。

如何把结果转化为选型结论

企业可以用以下方式组织横向比较：

对比项目	重点观察	常见误区
任务成功率	是否达到业务终态，失败是否纳入分母	把最终输出存在当成任务完成
工具调用准确性	工具、顺序、参数和权限是否正确	只看回答文本，不看实际动作
异常恢复能力	能否识别、回退、重试或安全停止	用无限重试掩盖流程缺陷
人工接管频率	接管原因、主动性和处理耗时	只追求低接管率
单位任务成本	每个成功任务的综合成本	只计算模型调用费用

权重应由业务风险决定，而不是套用统一模板。高风险财务或权限场景，可以提高工具调用准确性、越权阻断和人工确认的权重；内部信息整理场景，则可以更重视成功率、异常恢复和单位成本。

最终结论不必强行排出第一名，可以分为三类：

• 通过并进入试运行：核心任务达到阈值，高风险问题有明确控制措施；
• 有条件通过：限定任务范围、权限或人工接管条件后试运行；
• 停止或重新评估：关键任务失败率过高，或存在无法接受的安全、审计和成本问题。

阈值也不应脱离场景单独设定。低风险任务可以接受一定比例的人工接管，高风险动作则可能要求人工确认或零严重越权事件。重点是提前写明阈值、样本构成、版本、责任人和复测方式，而不是测试结束后再修改标准。

从“会不会演示”转向“能否稳定完成”

AI智能体的价值不在于一次演示中完成了多长的任务链，而在于面对不同输入、工具故障和业务约束时，能否持续交付可验证的结果。企业选型也不应被单一成功率带偏，必须同时观察工具调用、异常恢复、人工接管和单位任务成本。

对于开发者，五项指标可以帮助定位问题；对于产品经理，它们可以转化为验收条件；对于企业管理者，它们则是判断自动化边界和投入回报的共同语言。只有把真实任务、独立样本、完整日志和明确阈值放在一起，智能体测评才不会停留在“看起来很聪明”的层面。

【软盟资讯观察】

趋势判断：企业对AI智能体的评价正在从对话质量转向任务闭环，能否正确调用工具、处理异常并留下审计记录，将比一次成功演示更有采购价值。机会风险：拥有清晰流程、结构化数据和明确权限边界的垂直场景，更容易先形成可验证的自动化收益；但如果只压低人工接管率，可能把风险转移到生产环节。冷思考：“全自动”不应成为唯一目标，合理的人工确认、可追溯日志和可复测版本，往往比表面上的无人介入更接近企业真正需要的智能化。