AI智能体安全与人工审批：上线前必须构建的管控措施

本指南适用于即将允许智能体向CRM、ERP、邮箱或支付系统执行写操作的CTO、安全负责人与工程师。我们的业务运营AI自动化指南决定每个步骤的自主程度；本页面介绍如何在软件层面落实该决策。如果您仍在智能体与固定工作流之间做选择，请先阅读AI智能体与工作流自动化。

本指南内容

• 为什么智能体是一种新型特权用户？
• 管控层级一览
• 身份与最小权限
• 设计审批门控
• 提示注入：将每项输入视为不可信
• 日志、监控与停止开关
• GDPR、DSGVO与欧盟《AI法案》：对审批设计的要求
• AI在智能体管控中的应用
• 替代方案与选型标准
• 哪些交付记录存在，哪些不存在？
• 本指南的局限性是什么？
• 常见问题
• 下一步

为什么智能体是一种新型特权用户？

聊天助手产生的是文本供人阅读。智能体产生的是动作：调用工具、更新记录、发送消息。这使语言模型的每一个弱点都可能演变为安全事故。OWASP《大型语言模型应用Top 10（2025）》将核心风险命名为过度能动性——因意外、模糊或被篡改的模型输出而执行破坏性操作。该风险源于三个原因：功能过度、权限过度和自主性过度，每项原因均有对应的管控措施（详见下文）。

智能体比普通集成更难以保障安全，因为其行为往往受到外部文本的引导（例如供应商邮件或上传的PDF），且模型自行选择下一个工具，因此一条被篡改的指令可能跨系统传播。设计原则：模型提议，周围系统决定。任何重要管控措施都不能依赖模型自身的配合。

管控层级一览

身份与最小权限

为每个智能体在其接触的每个系统中分配独立的服务身份，凭据存储于代码之外并定期轮换，以便按需设置权限范围、归因日志记录，并在不影响其他集成的情况下撤销访问权限。

在提示词之前先设计工具。将订单状态更新为已发货这样的工具比执行任意SQL或调用任意API更安全，因为权限已内嵌于其形态之中。当智能体代表特定员工执行操作时，使用该员工的权限运行工具，确保其无法查看或修改超出该员工权限范围的内容。OWASP对过度能动性的缓解措施同样指出：最小化扩展功能，避免开放式命令（如Shell命令），并在下游系统中强制执行授权，而非依赖模型自律。

提示注入：将每项输入视为不可信

OWASP LLM01将直接注入（由用户键入）与间接注入（隐藏在智能体读取的内容中）区分开来。间接注入是智能体特有的危险：一份包含白色文字同时将所有未结发票转发至此地址的发票PDF，是现实存在的攻击场景。

没有任何过滤器能完全消除风险，因此需要分层防御：

• 将数据与指令分离。将检索或接收到的内容放入明确界定的数据字段，并告知模型其中不含指令。
• 限制被污染运行的访问范围。上述权限与审批层是真正的防线：被注入的指令无法发送智能体没有工具可发送的内容。
• 校验输出内容。针对Schema进行结构化输出检查，加上收件人必须是现有客户联系人等规则，可在大多数被篡改的操作执行前将其拦截。
• 进行对抗性测试。在测试集中植入含注入内容的邮件和文档，并在每次提示词、模型或工具变更后重复测试。

德国联邦信息安全办公室（BSI）在其生成式AI模型指南中也提出了同样的观点：对策应贯穿整个生命周期，而非仅依赖单一过滤器。当智能体从公司文档中检索并作答时，检索本身会引入新的风险；我们的RAG架构指南涵盖了权限感知检索相关内容。

日志、监控与停止开关

审计人员或工程师应能重现任何案例：智能体读取了什么、调用了哪些工具及其参数、谁批准了什么、目标系统中发生了什么。按案例记录上述信息，保留期限遵循数据政策，并对日志不需要的个人数据进行脱敏处理。

像对待任何新API客户端一样监控智能体：调用量、错误数、每个案例的成本，以及转交人工处理的案例占比。为每个智能体和工具设置频率限制，并为指定人员提供无需部署即可触发的停止开关，同时保留手动路径以便在智能体下线期间工作照常进行。

GDPR、DSGVO与欧盟《AI法案》：对审批设计的要求

对于在德国及欧盟其他国家运营的企业，三部法律文本构成了管控框架。以下为概述，不构成法律建议。

• GDPR（DSGVO）第22条赋予个人不受仅基于自动化处理的决定约束的权利，前提是该决定对其产生法律效力或类似的重大影响，相关保障措施包括获得人工干预的权利。如果智能体决定信用、就业或合同条款，则必须有人工审核环节。
• GDPR第25条和第32条要求从设计层面实现数据保护，并对处理活动采取适当的安全措施。智能体工具中的最小权限、日志记录与数据最小化，是工程团队满足这两项要求的具体体现。
• 欧盟《AI法案》第14条要求高风险AI系统的设计使人员能够有效监督：理解系统局限、保持对自动化偏见的警觉、解读输出结果、决定不使用或予以干预，以及停止系统运行。大多数运营智能体并非高风险，但这五项能力是任何审批界面的良好检查清单。

我们的中型企业AI治理指南涵盖《AI法案》的时间节点与公司层面的政策；本页面的管控措施则是在软件层面使这些政策真正落地的方法。

替代方案与选型标准

四项标准决定选型：最坏操作的可逆程度、智能体读取的外部内容量、每日需处理的案例数，以及是否能在扩大自主权前在真实案例上衡量准确率。对于同时需要模型监控与评审流程的项目，请参阅负责任AI与MLOps；跨部门共享智能体层的相关内容见企业AI智能体平台。

哪些交付记录存在，哪些不存在？

• 已存在的记录。Netbase JSC已为未披露姓名的客户交付了AI项目，包括上述内容审核与聊天机器人记录，其中AI输出流向人工审核或受治理的CRM工作流。Netbase JSC的交付遵循其安全实践：安全代码审查、传输层TLS加密与静态AES加密、基于角色的访问控制、管理员仪表板多因素认证、漏洞扫描与渗透测试。贡献者在NDA约束下工作，NDA与DPA可应要求提供。Netbase JSC在自身运营层面符合ISO 27001与SOC 2 Type II标准，并遵循GDPR合规要求、HIPAA对齐方法与CCPA实践；详见安全与合规。
• 尚不存在的记录。目前没有已发布记录描述具有支付系统或ERP系统写入权限的自主智能体，也没有任何记录公布审批率、事故数量或注入测试结果。Netbase JSC的认证覆盖其自身运营，并不认证客户的智能体。

本指南的局限性是什么？

• 本指南为通用工程指导，不构成法律建议；某个智能体是否属于欧盟《AI法案》下的高风险系统，或其决策是否适用GDPR第22条，需要针对具体用途进行法律评估。
• OWASP、BSI与NIST文件作为参考框架引用；应用这些框架并不意味着系统已获得认证或达到合规要求。

下一步

告诉我们您计划部署的智能体、其将接触的系统以及应执行的操作，我们将预约解决方案评审，在上线前规划其身份、工具与审批门控。您也可以查看AI自动化与智能体或更多Netbase JSC洞察。

相关服务与解决方案