网页操作智能体的演示通常只展示任务完成的一次过程,但采购决策需要回答另一个问题:在相同网页、相同权限和相同时间限制下,它能否反复交付正确结果,又会在何处要求人工接管或发生误操作?现有资料没有提供可核验的逐次执行记录,本文也未完成产品可用状态核验和机器运行。因此,不能把下面的测试方案写成“实测结果”,更不能据此给产品排名。
先确定什么才算完成任务
比较对象应是发布前核验仍可使用、且能自主操作网页的具体产品,而不是底层模型或演示视频。测试全程使用公开、免登录页面;不进入支付流程,不提交表单或真实业务数据。各产品使用相同的任务说明、浏览器语言、网络环境和权限,每项任务至少重复三次,保留屏幕录像与操作日志。

一组可复现的任务可覆盖三类常见工作:
| 任务 | 给智能体的目标 | 验收方式 |
|---|---|---|
| 站内查找 | 在指定公开文档站点找到某一概念的解释,并返回页面标题与链接 | 人工打开链接,核对标题及解释是否对应 |
| 跨页核对 | 从指定公开页面进入其引用或关联页面,找出两页共同指向的原始信息 | 检查实际访问路径、引用关系和最终答案 |
| 条件筛选 | 在指定公开目录中按两个明确条件筛选条目,并列出符合条件的页面 | 逐条核对条件,检查遗漏和误收录 |
正式运行前,应保存任务起始网址、具体问题、人工制作的参考答案及页面存档。公开网页可能随时改版;若某次运行遇到页面不可访问,应标记为“环境异常”并保留证据,而不是直接算作产品失败,也不能只替失败产品更换任务。
完成率之外,还要记下接管与误操作
每次运行从提交同一段任务说明开始计时,到智能体给出最终答复或达到预设时限结束。完成要求答案正确、链接可打开,且关键步骤确由智能体执行;仅给出看似合理的文字、不提供可核对来源,不能算完成。人工提供额外提示、纠正导航或代为点击,均记为一次接管,并另记“接管后完成”。
误操作单独统计:例如打开明显无关的页面后仍将其作为依据、误读筛选条件、在未获授权时尝试点击提交按钮。一次任务可以最终完成,同时发生误操作。报告至少应同时列出独立任务完成率、接管后完成率、每项任务接管次数、发生误操作的任务数及耗时中位数,不能用一个总分掩盖风险。
复现时,可先固定上述三项任务及参考答案,再随机调整各产品的运行顺序;每次使用全新会话,记录产品版本或可见配置。两名核验者依据预先写好的规则分别判定结果,意见不一致时回看录像。发布报告时附上逐次记录,而不仅是汇总百分比。
目前没有可填入的产品成绩表。搜索线索中出现了工具名称和其他文章的测试说法,但不足以证明这些产品在发布时仍可用,也不能替代本次同环境运行。若未完成状态核验、实际执行和日志留存,就不应使用“机器实测”“完成率最高”等结论。
【软盟资讯观察】
网页操作智能体的落地机会,首先在可公开核验、出错后易于回退的资料查找与整理任务,而不是直接代替员工处理高风险业务。企业试点时,可以先选一个有明确验收标准的流程,用独立完成、接管后完成和误操作三本账估算价值:若节省的操作时间被复核与纠错抵消,演示再流畅也难以形成稳定收益。
风险不只在“答错”,还在于智能体可能沿着错误页面继续操作,并给出貌似完整的结果。因此,采购方应要求供应商说明权限边界、操作留痕、暂停机制和异常处理方式。冷静的判断标准不是单次能否跑通,而是重复运行时结果是否稳定、人工能否及时发现偏差。没有逐次证据的横评,最多提供测试思路,不足以支持采购排名。
