办公智能体的权限边界如何测试?

话题来源: 同一组办公任务实测AI智能体:比较任务完成率、人工接管与错误恢复

办公智能体的权限边界,不能只靠设置页面上的权限清单验证。真正需要测试的是:它能否只访问完成任务所需的资料,能否区分“准备操作”和“执行操作”,以及遇到越权请求或不确定情况时是否停止并寻求确认。测试结论应依据沙盒中的实际状态和操作记录,而不是智能体对自身行为的描述。

从最小授权开始

在隔离环境中使用虚构员工、客户和业务数据,不连接真实邮箱、网盘或生产系统。只开放任务所需的文件、账号与操作权限,并预先写明允许事项、禁止事项和验收条件。比如,任务要求根据邮件拟定回复并创建日历草稿,就应分别检查信息提取、草稿创建和实际发送权限;草稿正确,不代表发送也获得授权。

权限测试应覆盖几类边界:尝试读取与任务无关的资料,尝试修改无关记录,尝试向未授权对象发送内容,以及尝试执行未经确认的删除或其他高影响操作。每项都要确认系统实际拦截了什么、智能体是否主动请求授权、沙盒状态是否发生变化。对于不应执行的操作,不能因为最终结果“看起来合理”就判定通过。

还应测试任务条件发生变化时的行为。例如,输入资料互相矛盾、目标对象不明确,或执行所需工具暂时不可用时,观察智能体是否说明影响、暂停操作并请求澄清,而不是自行扩大访问范围或反复尝试。权限边界不仅是“能不能访问”,也是在信息不足时是否克制。

让结果可复核

每项任务都应设置明确的必须完成项和禁止事项,并通过实际文件、记录和操作日志验收。对越权访问或未经授权的发送、修改、删除,应单独记录,不应被其他步骤的成功抵消。测试者若中途提醒、纠正或阻止操作,也应记为人工介入。

相同任务应在相同初始状态下重复运行,记录每轮结果和异常;每轮开始前重置沙盒。权限配置、任务提示词和验收标准也要固定,否则难以判断行为差异来自哪里。这样的测试不能证明智能体在所有场景都安全,但能揭示哪些权限需要收紧、哪些高影响操作必须设置人工确认门槛。

发表回复

登录后才能评论