网信办发布智能体安全治理细则:企业部署前需通过哪些合规审查?

截至目前,公开资料显示,网信办等三部门发布的是《智能体规范应用与创新发展实施意见》,重点在于推动智能体产业发展、明确安全底线和建立分类分级治理框架,并非一份逐项规定企业“部署前必须取得哪些审批”的单独细则。对企业而言,真正需要做的不是等待一张统一的“合规通行证”,而是围绕模型、数据、内容、权限和运行监控建立可留痕的 AI 合规审查流程。

企业开展AI智能体上线前安全评审

政策释放的核心信号:智能体必须“能用”也要“可控”

公开报道显示,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,将智能体界定为具备自主感知、记忆、决策、交互和执行能力的智能系统,并提出安全可控、规范有序、创新驱动、应用牵引等原则。

文件提出,到2027年新一代智能终端、智能体等应用普及率超过70%的阶段性目标,同时强调守牢安全底线,明确产品准则,加强行为管控,构建分类分级治理框架。

这意味着企业部署智能体的合规重点,正在从“能否接入模型”转向“能否证明系统在可控边界内运行”。尤其是能够调用企业数据库、访问业务系统、代替员工执行操作,或者直接面向公众提供服务的智能体,不能按照普通聊天工具进行管理。

企业部署前,至少要完成四类安全审查

1. 先做应用分级和责任边界审查

企业应先明确智能体究竟属于哪一类应用,而不是直接从采购模型或开发插件开始。

建议在立项阶段记录以下信息:

  • 智能体服务对象是员工、客户、公众还是特定行业用户;
  • 是否处理个人信息、商业秘密、重要业务数据或敏感数据;
  • 是否连接客户管理、财务、办公、生产或交易系统;
  • 是否拥有发送信息、修改数据、下单、付款、审批等执行权限;
  • 输出结果是否会影响招聘、授信、医疗、教育、公共服务等重要决策;
  • 是否由企业自行开发,还是调用第三方模型、智能体平台或海外服务。

对于只提供内部知识检索的智能体,风险通常集中在数据泄露、错误回答和访问权限失控;对于能够自动执行操作的智能体,风险则进一步扩展到越权操作、误操作、提示词注入和责任追踪。

因此,企业应在上线前形成一份“应用边界说明”,明确哪些任务可以自动完成,哪些任务必须由人工确认,哪些任务禁止交给智能体处理。

2. 开展模型安全测试,而不是只看准确率

模型评测不能只看回答是否流畅、知识问答是否准确,还要验证其在异常和攻击条件下是否能够保持安全边界。

至少应覆盖以下测试:

  • 越权测试:尝试让智能体访问不属于当前用户权限的数据;
  • 提示词注入测试:在网页、文档、邮件或知识库中植入恶意指令,观察智能体是否会将其当作高优先级命令;
  • 敏感信息测试:输入个人信息、内部文件、源代码或客户资料,检查模型是否泄露、复述或跨会话记忆;
  • 有害内容测试:测试系统对违法违规、暴力、歧视、欺诈和其他高风险请求的拒答与转人工能力;
  • 工具调用测试:验证智能体调用搜索、数据库、代码执行、支付或业务接口时是否具备参数校验和权限限制;
  • 幻觉与不确定性测试:检查系统是否会把不确定内容包装成确定结论,是否能够引用来源或提示人工核验;
  • 故障恢复测试:模拟模型服务异常、接口超时、数据源错误和权限系统不可用,确认系统是否会安全降级。

企业应保留测试样本、测试时间、模型版本、测试结果和整改记录。模型、提示词、知识库或工具权限发生重大变化时,还应重新测试,而不是把首次上线报告长期沿用。

数据保护审查要围绕“必要、授权、可控”展开

3. 明确哪些数据可以进入模型

智能体项目最常见的合规风险,并不一定来自模型本身,而是来自企业把不应上传的数据直接交给模型处理。

上线前应建立数据清单,至少标注:

  • 数据来源和业务用途;
  • 是否包含个人信息或敏感个人信息;
  • 是否包含客户合同、财务数据、源代码、未公开经营信息;
  • 数据是否会离开企业自有环境;
  • 第三方模型是否会保留输入内容或用于训练;
  • 数据保存期限、删除机制和访问日志;
  • 数据跨境传输或由境外服务商处理的情况。

“内部使用”不等于可以无条件上传。员工把客户名单、身份证件、病历、合同或源代码复制到外部模型中,仍可能构成数据泄露或超范围处理。

更稳妥的做法是按照业务必要性进行数据最小化处理:能脱敏就不使用原始数据,能使用摘要就不传输全文,能在企业内部部署就不直接调用不清楚数据处理规则的外部服务。

4. 审查供应商的数据处理承诺

企业采购智能体平台时,应把供应商尽职调查纳入上线流程,而不是仅比较模型能力和价格。

合同和技术评估中应重点确认:

  • 输入输出数据是否用于模型训练;
  • 数据存储地点和处理主体;
  • 是否支持企业删除数据、导出日志和关闭记忆功能;
  • 是否能够配置租户隔离、访问控制和单点登录;
  • 是否提供安全事件通知和应急响应机制;
  • 模型升级、插件变更和接口调整是否提前通知;
  • 服务终止后数据如何返还或销毁;
  • 供应商是否允许企业开展安全测试和审计。

对于连接核心业务系统的智能体,企业还应要求供应商说明工具调用权限、接口认证方式、日志保留期限和异常阻断机制。不能只依据供应商的“安全”“私有化”或“企业级”等营销表述作出判断。

内容生成合规:审核对象不只是最终答案

智能体具有连续对话、主动执行和调用外部工具的特点,企业不能只对最终展示给用户的文本进行审核,还要关注生成过程和执行结果。

5. 建立内容安全规则和人工兜底

面向公众提供服务的智能体,应配置敏感场景识别、违规内容拦截、风险提示和人工转接机制。规则至少需要覆盖:

  • 违法违规和危害公共安全的内容;
  • 欺诈、虚假宣传和误导性营销;
  • 歧视、侮辱、骚扰等不当表达;
  • 未成年人保护相关风险;
  • 医疗、金融、法律等专业领域的高风险建议;
  • 未经授权的个人信息披露;
  • 生成内容的来源说明、事实核验和必要标识。

对医疗诊断、投资建议、法律意见、招聘筛选和信贷决策等场景,企业不应让智能体直接替代具备相应资质的人员作出最终决定。系统可以承担资料整理、初步问答或流程辅助,但应设置人工复核和责任确认环节。

如果智能体能够代表企业对外发送邮件、发布内容、回复客户或执行营销动作,还应设置发送前审核、敏感词拦截、频率限制和撤回机制。

一套可执行的上线前合规流程

企业可以将审查流程拆成六个步骤,形成项目上线门槛。

第一步:建立应用登记表

登记智能体的名称、负责人、业务目的、服务对象、模型来源、数据类型、连接系统、工具权限和预期上线时间。没有完成登记的试验性应用,也不应直接接入生产数据。

第二步:完成风险分级

按照数据敏感程度、自动化程度、外部影响范围和业务重要性进行分级。内部问答、外部客服和自动执行型智能体应采用不同的审查深度。

第三步:进行模型与系统安全测试

同时测试模型输出、提示词、知识库、插件、API权限和异常处理。测试不应只由开发团队自行完成,最好由技术、安全、业务和合规人员共同参与。

第四步:完成数据保护评估

对数据来源、处理目的、保存方式、供应商使用方式和删除机制进行审查。涉及个人信息、敏感数据或重要业务数据时,应根据适用法律法规和企业制度履行相应评估、授权与备案要求。

第五步:设置人工控制点

明确哪些回答必须提示风险,哪些动作需要二次确认,哪些异常必须转人工,哪些操作一律禁止自动执行。对于高风险业务,人工复核应成为系统流程,而不是员工自行决定是否查看。

第六步:小范围灰度上线并持续监测

先在有限用户、有限数据和有限权限范围内运行,观察错误率、拒答率、敏感信息触发、越权尝试、用户投诉和人工接管情况。达到预设指标后再扩大范围,并保留版本、日志和事件记录。

企业最容易忽视的三类风险

把“通过内部测试”误认为“完成合规

内部测试只能说明系统在设定样本下运行正常,并不等于完成监管要求,也不等于可以处理所有类型的数据。企业仍需结合业务场景判断是否涉及个人信息保护、算法服务、网络安全、行业监管或内容治理要求。

把模型风险与供应商风险分开处理

即使基础模型本身具备安全机制,企业在接入私有知识库、外部插件和自动化工作流后,也可能产生新的风险。合规审查对象应是完整系统,而不是只看模型供应商的产品说明书。

只审核输入和输出,不审核执行权限

智能体真正的高风险往往来自“能做什么”,而不是“会说什么”。一个能够读取客户资料、修改订单或发送对外信息的智能体,必须采用最小权限、审批确认、操作留痕和可撤销设计。

编辑观察:合规审查应成为产品上线机制

从《智能体规范应用与创新发展实施意见》释放的政策信号看,智能体治理的重点并非简单限制应用,而是推动创新与安全同步推进。对企业来说,最有价值的做法不是临近上线时临时补一份合规材料,而是把安全评估、数据保护、内容审核和权限管理嵌入产品生命周期。

需要特别说明的是,现有公开资料能够确认政策提出了安全可控、行为管控和分类分级治理方向,但并不足以证明所有企业都必须完成一套名称统一、内容完全固定的“网信办智能体安全审查”。企业应以正式发布的法律法规、部门规章、备案要求和主管部门通知为准,不要把媒体报道中的政策概括直接当作强制审批清单。

对于正在推进企业部署的管理者,当前最稳妥的判断标准是:上线前是否能说清楚数据从哪里来、模型做什么、智能体能执行什么、谁对结果负责,以及出现错误时能否及时发现、阻断和追溯。做到这些,才是将 AI 合规审查真正转化为企业部署能力的起点。

<small>资料依据:公开报道所引《智能体规范应用与创新发展实施意见》及全国信息安全标准化技术委员会发布的《人工智能安全治理框架》相关内容。政策事实和具体适用要求以主管部门正式发布的最新文件为准。</small>

关于文章版权的声明:

https://news.softunis.com/75192.html 文章来自软盟资讯

若非本站原创的文章,特别作如下声明:

本文刊载所有内容仅供提供信息交流和业务探讨而非提供法律建议目的使用,不代表任何监管机构的立场和观点。不承担任何由于内容的合法性及真实性所引起的争议和法律责任。

凡注明为其他媒体来源的信息,均为转载,版权归版权所有人所有。

如有未注明作者及出处的文章和资料等素材,请版权所有者联系我们,我们将及时补上或者删除,共同建设自媒体信息平台,感谢你的支持!

(0)
AI产品发布频繁变更:企业如何核验模型上线、内测与预告的真实状态?
上一篇 2026年9月12日 20:12
工信部发布“人工智能+软件”专项行动方案:到2028年覆盖2万家软件企业,企业如何抓住智能化升级窗口?
下一篇 2026年9月12日 21:07

相关文章推荐

发表回复

登录后才能评论