AI智能体网页操作实测：从登录、检索到提交，如何比较成功率与风险

企业评估AI智能体时，最容易踩的坑是把“演示能跑通”当成“生产可用”。在网页操作这类任务上，一次成功和稳定成功之间隔着巨大的鸿沟：登录页改了一个字段名、验证码从滑块换成点选、提交按钮被弹窗遮挡，演示时不会遇到，上线后天天遇到。因此，一套面向企业初筛的测试体系，核心不是测“能不能做完”，而是测“在变化、异常和越权诱惑面前，它还做不做对”。

为什么网页操作是智能体的压力测试场

网页操作天然包含四个高风险环节：身份认证、信息检索、表单填写、流程提交。它同时考验视觉理解、DOM解析、多步规划和错误恢复。相比纯问答，网页任务还有两个特殊性：一是状态不可逆，提交错了就是错了；二是权限边界模糊，智能体拿到的浏览器会话往往带着用户的登录态。

淘宝技术团队在分享线上评测实践时提到一个值得警惕的现象：某业务域的路由通过率连续下跌，排查后发现是别的业务放量改变了意图标签分布，评测把不属于该域的咨询问题算进了分母，剔除污染标签后跌幅消失。这个案例说明，看板上的异常首先暴露的往往是观测问题，而非能力问题。企业自建测评时同样要问：失败样本里，有多少是智能体真做错了，有多少是评测口径本身有偏差。

一套可复现的测试设计

任务集设计

不要用厂商提供的演示用例。企业应基于自身真实业务流程，按难度分层设计任务集：

• 基础层：单页登录、关键词检索并提取指定字段、填写不含校验逻辑的简单表单。
• 进阶层：跨页检索后汇总、含条件分支的表单、需要二次确认的提交。
• 压力层：验证码、会话过期后重新认证、页面结构变更、字段缺失或格式异常、中途出现无关弹窗。

每一层至少准备多个等价变体，避免智能体记住固定路径。航班查询类案例中有一个典型现象：首次失败让系统找到用URL参数绕开复杂日期控件的路径，后续运行可以复用这个方法，但一次成功不能说明技能已经成熟。变体测试正是为了区分“学会了”和“碰巧对了”。

指标定义

建议把评估拆成五个维度，每个维度给出可计算的口径：

• 任务完成率：区分首次成功率与重试后成功率，两者差距反映稳定性。
• 操作耗时：记录端到端时间，同时记录步数和无效点击次数，后者更能暴露规划质量。
• 错误恢复：注入可控故障（改按钮文案、加一层弹窗），观察是否能自主绕开或降级处理。
• 权限控制：检查智能体是否访问了任务未授权的页面、是否读取了无关的个人信息。
• 数据隐私：检查输入框中的敏感信息是否被完整回传、是否出现在日志或第三方请求中。

结果验证

结果不能只靠智能体自述。要么由独立脚本核对提交后的系统状态，要么由人工抽检。工作坊类实践反复强调可重放的环境、能独立验证的结果，以及站点变化后触发维护的机制。企业应把“成功判定”写成明确的业务规则，而不是让模型自己说“我完成了”。

浏览器权限、验证码与人工接管：三个真实风险点

权限过大是默认状态

多数网页智能体依赖用户的浏览器会话运行，这意味着它天然拥有该账号的全部权限。一个只被要求“查订单”的智能体，理论上可以点进账户设置、修改绑定信息。企业需要在架构层面做限制：使用专用低权限账号、限定可访问域名白名单、对写操作强制二次确认。权限问题不会在演示中暴露，只会在审计时暴露。

验证码是能力边界，也是合规边界

验证码的设计目的就是区分人和自动化程序。智能体绕过验证码，在技术上和合规上都存在争议。企业测评时应把“遇到验证码后能否正确暂停并请求人工”作为一项正向指标，而不是把“成功绕过”当成能力加分项。同样，站点服务条款是否允许自动化访问，是选型前必须确认的前提。

人工接管机制决定故障成本

复旦大学团队关于长程任务训练的研究提到一个副作用：在反馈增强环境中训练的模型，可能过度依赖环境给的引导信息，在信息缺失或没有合适工具时，表现反而不如标准环境训练的模型，容易硬着头皮执行而不是先提出疑问。网页操作场景里，这种“硬着头皮”可能表现为反复点击、提交错误数据或触发风控。因此，智能体必须内置置信度判断和人工接管入口：什么情况下暂停、把当前状态和截图交给谁、人工处理后如何续跑。没有这条链路，一次异常就可能变成一次生产事故。

企业初筛的评分表建议

权重可按行业调整，但权限与隐私不建议低于20%。金融、医疗、政务类场景应进一步上调。

评测不是一次性动作

网页在变、模型在变、业务规则也在变。把测评做成一次性的选型打分，结论很快失效。更现实的做法是建立持续回归机制：保存失败样本与稳定操作，让下一次运行从已有经验出发，再观察策略是否在变化后的页面上仍然成立。同时保留一套人工抽检流程，因为自动化评测本身也会被污染。

对管理者而言，选型时值得追问供应商的问题很具体：你们的智能体在遇到验证码时怎么处理？操作日志保留多久、包含哪些字段？页面改版后由谁负责修复、平均多久？这些问题比“支持多少种任务类型”更能反映产品是否具备生产可用性。

【软盟资讯观察】

从趋势看，智能体网页操作正在从演示阶段进入工程化阶段，评测重心也随之从“能力上限”转向“稳定性下限”。这对企业是好事：可验证的指标让选型有了共同语言，也让厂商难以只靠演示视频拿单。

机会与风险并存。机会在于，率先把权限隔离、人工接管和回归测试做扎实的团队，能用更低的故障成本换取更高的自动化收益；风险在于，许多企业仍以“跑通一个Demo”作为采购依据，把带着完整登录态的浏览器交给智能体，等于把账号安全押在一次演示上。

冷思考是：网页操作的成功率高度依赖目标站点的结构与策略，任何脱离具体场景的“通用成功率”都值得怀疑。企业真正该买的不是某个百分比，而是一套能持续测量、持续修复、出问题时能追责的机制。评测方法本身，可能比被测的智能体更有长期价值。