智能体办公测评中,环境变量不是背景噪声,而是会直接影响结果的实验条件。页面布局、登录状态、账号权限或网络波动发生变化时,任务成功率和耗时都可能随之改变。若这些条件没有固定,测出的就不只是智能体能力,也混入了环境差异。
测评前应先定义“环境基线”:固定浏览器版本、屏幕尺寸、网络条件、账号权限、初始页面与网页数据;每次运行从同一数据快照开始。涉及模型、产品版本、浏览器操作方式、可用工具及提示内容的差异,也应记录并披露。不同智能体若无法使用相同配置,就不能把结果差距简单归因于执行能力。
隔离测试环境尤其重要。使用虚构账号和模拟业务数据,避免真实客户信息、付款或不可逆提交;高影响操作应设置人工确认。这样既降低测试风险,也能避免真实业务状态变化干扰后续运行。
环境异常需要预先约定处理规则,而不是事后挑选样本。网络故障、测试网页不可用等情况应单独记录,并按统一规则决定是否重跑;不能只删除表现不佳的执行记录。每次运行都要留下环境状态、任务结果、错误和人工介入情况,便于判断问题究竟来自智能体,还是来自测试条件。
控制环境变量并不意味着把办公场景简化成永远不变的页面。更稳妥的做法是先在固定条件下建立可比较的基线,再有计划地改变页面、数据或权限等单一条件,观察表现如何变化。这样才能区分稳定执行能力与对特定环境的依赖,并据此判断哪些流程适合试点、哪些仍需人工把关。