本指南面向CTO或工程负责人——他们是线上Agent出错时的第一响应人;同时面向运营或风险合规负责人——他们负责决定失控Agent能否安全恢复生产。我们的AI自动化指南负责决定哪个流程适合部署Agent,智能体AI自动化服务涵盖交付事宜;本页从Agent已在线上系统执行了意外操作之后开始。
本指南目录
- AI Agent出错后,前15分钟应该做什么?
- 并非所有操作都可撤销:在承诺修复之前先测试可逆性
- 从遏制到恢复的操作手册
- 五种结果及各自的条件
- AI的适用范围
- 现有交付记录与尚不存在的记录
- 替代方案:谁来主导Agent的事故响应
- 本指南的局限性
- 常见问题
- 下一步
AI Agent出错后,前15分钟应该做什么?
前15分钟的目标是遏制,而非诊断:停止Agent运行,吊销其凭证和令牌,并确认其在任何人调查期间均无法重复该操作。仅屏蔽Agent日志记录的控制措施并不构成遏制;停止必须落实在Agent的访问权限层面,而非仅限于其可见性,因为模型无法被信任通过自身提示内部的关机指令来合规响应。在采取任何回滚操作之前,请保全运行记录:提示词与模型版本、每一次工具调用及其涉及的记录、其所持有的权限,以及最终输出。AI Agent事故的定义取决于其业务后果,而非系统是否在技术上"失败"——一个已触达客户或以错误结果写入账本的已完成任务,本身就已构成事故。
我们的可观测性与终止开关指南设计了本阶段所依赖的追踪与停止机制;本页从停止开关已拉下或本应拉下的那一刻开始。我们的运营模型指南明确了需要通知谁进行遏制——运营负责人的职责在于本阶段,风险与合规负责人的职责则从下一阶段开始。
并非所有操作都可撤销:在承诺修复之前先测试可逆性
回滚可行性完全取决于Agent的具体行为。内部受控系统的写入操作通常可直接回滚;而已离开系统的操作——已发送的邮件、已提交的付款、客户已读的消息——通常只能通过补偿措施处理,无法撤销;某些结果,例如已泄露的受限数据,则既无法撤销也无法补偿。在向任何人承诺"回滚"之前,请将每项受影响的操作归入以下三类之一。
| 类别 | 涵盖范围 | 恢复方式 | 示例 |
|---|---|---|---|
| 技术上可逆 | Agent及您的团队完全掌控的系统内部写入操作 | 使用操作自身的标识符直接恢复先前值,确保重试不会覆盖他人后续的合法变更 | Agent更新了客户记录的状态字段;从存储的前后值对中恢复先前值 |
| 仅可补偿 | 已离开系统记录并触达人员、账本或第三方的操作 | 执行一项新的、反向的操作,通常还需进行披露——而非恢复原状 | Agent发送了重复发票;修复措施是发送取消通知和更正邮件,而非删除已发送的邮件 |
| 既不可逆也不可补偿 | 已被公司外部人员读取的数据,或对信任与声誉造成的损害 | 遏制、披露并形成文档化响应;任何技术手段均无法撤销 | Agent将一名客户的记录暴露给另一名客户;该记录无法"被看回",因此响应是程序性的,而非技术性的 |
在决定行动紧迫性之前,先判断操作属于哪一类:即使两者均源自同一漏洞,在数分钟内发现的技术可逆错误与已触达客户的可补偿错误,是截然不同的事故。
从遏制到恢复的操作手册
-
遏制。
停止Agent运行,吊销其凭证和令牌,并确认——而非假设——其无法再次行动。仅阻止新日志条目的终止开关并不构成遏制。
-
保全证据。
在更改任何内容之前,完整捕获运行记录:提示词与模型版本、每次工具调用及其结果、当时生效的权限,以及所有被触及的记录。这能将"出了问题"转化为可回答的问题——究竟是哪个步骤、工具和重试操作导致了它。
-
评估可逆性。
将每项受影响的操作归入上述三类,并评估影响范围:发生了哪些变更、哪些内容已离开系统,以及在错误被发现之前下游自动化是否已触发。
-
按类别分别处理。
使用操作自身的标识符恢复技术上可逆的操作,确保重试不会覆盖后续的合法变更;对仅可补偿的操作,发出补偿性操作及任何必要的披露;对于既不可逆也不可补偿的情况,直接进入遏制与披露流程。
-
找到失效的控制层,而非只是错误的输出。
修正输出并不等于修正系统。追问是哪一层让该操作发生:工作流设计、权限边界、工具行为、输入数据、提示词或模型、监控,还是本应捕获该问题的审批步骤。我们的人在回路控制指南设计了该检查点层;此处发生的事故通常意味着某个检查点缺失或位置不当。
-
决定Agent的命运。
在Agent再次运行于线上数据之前,从以下五种结果中做出选择。
-
将事故转化为测试用例。
将该失败场景添加到Agent上线前使用的评估套件中,以便下一次发布在重复发生前能够捕获它。
五种结果及各自的条件
导致事故的Agent并不会自动恢复"正常运行"状态。请在五种结果中主动做出选择,每种结果都有各自的重新启用标准:
- 恢复运行:当根本原因已确认、已完全修复,且问题风险较低时——先在影子模式或审批模式下验证修复效果,而非直接恢复完全自主运行。
- 受限运行:当Agent本身具备价值但权限过大时——缩小其权限范围,或针对失败的操作类别添加审批门控。
- 回滚:当近期的某项变更——提示词编辑、模型更新、新工具或新权限——导致了问题时——恢复到最后一个已知可用的、版本固定的配置。
- 重新设计:当工作流、其依赖的数据或工具结构存在缺陷时——单点修复无法持久,任务需要以不同方式进行拆解。
- 停用:当事故表明该Agent在此流程中产生的风险大于价值时——停用一个Agent是合理的结果,而非修复失败。
在将遏制中的Agent恢复到前三种结果中的任何一种之前,请确认:根本原因已文档化,事故涉及的凭证已轮换,审计跟踪端到端完整,回滚路径已经过测试而非仅做假设,修复在线上流量的影子或审批模式下通过验证,并且有具名人员负责恢复后的监控。为了更快恢复而跳过此清单,等同于以未经验证的重复失败来换取已验证的修复。
AI的适用范围
Netbase与主要商业和开源AI工具及模型合作,按项目选型,并将经过测试的回滚路径和文档化的事故操作手册视为Agent具备运行资质的组成部分——正如可观测性指南对待终止开关一样——这是一项必须在第一次真实事故发生之前就存在并经过演练的控制措施,而非在事故中临时拼凑。
-
已交付(匿名客户):分类信息平台上的AI内容审核。
在审核模型上线至管理员审核面板之前,进行了测试与优化阶段,客户未公开姓名;同样的分阶段验证原则,正是事故发生后安全恢复生产所需的。
-
增长能力:事故操作手册与回滚路径设计。
将可逆性测试、五结果决策点和重新启用清单纳入Agent运营模型,作为智能体AI自动化交付的组成部分;目前尚未与专门记录此类规范的已发布案例挂钩。
现有交付记录与尚不存在的记录
现有记录。Netbase已为未具名客户交付AI项目,其中里程碑包括系统上线至审核面板或正式运行前的测试与优化阶段:一个用于分类信息平台的AI内容审核模型(F113)和一个集成CRM的WhatsApp AI聊天机器人(F115),以及匿名的RAG、文档AI和MLOps项目(F072)。Netbase自身的安全实践包括基于角色的访问控制、MFA和漏洞扫描(F021)——这些正是事故遏制和凭证吊销步骤所依赖的控制措施;Netbase持有ISO 27001认证和SOC 2 Type II鉴证,适用于其自身运营(F022、F051、F052)。
尚不存在的记录。目前没有已发布的Netbase记录记载任何Agent的事故数量、恢复时间、回滚数量或根本原因检测耗时。没有记录描述某个线上Agent已在生产环境中完整经历过这一遏制-保全-评估-决策的完整流程。Netbase的认证覆盖其自身运营,不延伸至客户的Agent、其数据或其回滚路径。
替代方案:谁来主导Agent的事故响应
| 方案 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| 由构建Agent的工程团队临时处理事故 | 启动快,无需新流程 | 没有经过测试的回滚路径或固定决策点;压力下依赖记忆 | 单一低风险的纯内部试点Agent |
| 由Agent运营模型中具名运营角色持有书面操作手册 | 可重复执行,在第一次真实事故前已演练 | 需要前期投入来编写可逆性表格并测试回滚路径 | 任何向线上系统写入数据或面向客户的Agent |
| 由交付合作伙伴构建并维护操作手册和恢复路径 | 跨Agent、其护栏及恢复路径由同一团队负责 | 需要与任何交付项目一样解决归属问题 | 内部无责任人,或多个Agent需要统一规范 |
在Netbase定制开发中,客户拥有为其创建的知识产权,大多数项目在发现阶段后以固定总价合同形式约定,同时也提供基于里程碑的月度团队服务费和KPI挂钩等条款(F067、F069)。
本指南的局限性
- 本指南是工程与运营操作手册,不构成法律、监管或合规建议;特定事故在法律层面的要求取决于所涉及的数据、行业和司法管辖区。
- 本指南中没有任何数据构成基准:没有事故数量、恢复时间或回滚成功率的公开数据,因为这些均未被注册为Netbase的事实。
- 可逆性分类和五结果决策是起点性框架,而非经过认证的标准;具有监管报告义务的企业应单独确认其自身的披露要求。
常见问题
不能。内部数据库写入操作通常可直接回滚,但已离开系统的操作——已发送的消息、已处理的付款、客户已看到的通知——通常只能通过补偿措施处理;而其他人已经看过的数据,任何技术手段都无法撤销。
不能。修复应先在线上流量的影子或审批模式下通过验证,同时轮换凭证并实际测试回滚路径;立即恢复等同于以未经验证的重复失败来换取已验证的修复。
受限运行是缩小一个本身功能正常的Agent今后可以执行的操作范围,例如针对失败的操作类别添加审批门控;回滚则是将Agent自身的配置——提示词、模型版本或工具权限——恢复到最后一个已知可用的版本。
下一步
告诉我们哪个Agent正在运行或即将上线,以及它可以写入哪些系统,我们将预约解决方案评审,为其设计可逆性分类、恢复操作手册和重新启用清单。您也可以查看企业AI Agent平台解决方案,或浏览更多Netbase JSC洞察。
相关服务与解决方案
保留人工审批的AI自动化与智能体
Netbase为希望用软件处理重复性多步骤工作的运营团队提供AI自动化与智能体开发服务,同时保留对关键决策的人工审批权。我们将规则自动化与AI结合,构建人工审批环节,并与基线对比衡量回报。
Learn More
企业级AI智能体平台:在审批、审计日志与成本限额下运行AI智能体
企业级AI智能体平台是一个受治理的运行时环境,AI智能体通过已审批的工具规划并执行多步骤任务,同时审批流程、审计日志、访问规则与成本限额确保每个操作可问责。Netbase将其作为前瞻性解决方案提供,部署于您自有环境中,而非以产品形式授权。
Learn More
与Netbase远程合作
Netbase JSC的所有项目均以远程方式交付,任何国家、任何行业的客户均可与我们合作;Netbase已服务全球80个国家的客户。合同与发票由Netbase JSC出具,付款方式为银行转账至Netbase JSC公司账户或PayPal Business。欢迎通过WhatsApp或邮件联系CEO Huy Nguyen(David)。
讨论项目
Netbase JSC帮助企业设计、构建、现代化及运营数字产品与AI赋能的业务系统。project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
取得联系
告诉我们您想构建、现代化或运营什么。