跳至主要内容

您在寻找什么?

探索我们的服务,了解我们如何帮助您实现目标

智能体AI架构与人在回路中的管控:检查点应放在哪里

根据操作的可逆性、业务可接受的延迟以及智能体的实测置信度来放置人类检查点:不可逆或低置信度步骤使用同步阻塞,其余情况使用异步队列,仅在存在补偿操作的前提下才使用带回滚的乐观执行。在暂停时持久化足够的状态,以便恢复时无需重放副作用。

预约方案评审 查看相关解决方案

作者 Netbase AI and Automation Engineering Desk · 审阅者 David (CEO) · 更新于 · 1 分钟阅读

star

本指南面向负责设计或审查智能体架构(上线前)的CTO和工程负责人,以及决定工作流中哪些部分可由智能体独立运行的技术产品负责人。我们的AI智能体与工作流自动化指南帮助判断任务是否需要智能体;我们的AI智能体安全与人类审批控制指南则针对单个审批门控的注入防护与合规自动化决策问题。本页介于两者之间:在已有智能体且确认需要门控之后,本页设计门控在控制循环中的位置,以及系统在等待期间的存活方式。若提议的工具调用涉及ERP、CRM或财务系统,我们的MCP服务器指南将设计服务器及其前置审批边界。

本指南目录

控制循环中有三个人工介入位置,而非一个

智能体运行感知-决策-行动循环:读取上下文、提议工具调用,并(在门控适用时)等待决策后再执行。大多数团队默认采用一种检查点形式——一条阻塞至有人回应的聊天消息——因为它是最容易率先构建的。但在规模化时它也是最慢的,而且正如我们的安全与审批指南所指出的,这种形式会训练审批者停止认真阅读。实际上存在三种形式,架构应在其中做出主动选择,而非沿用默认:

  • 同步阻塞。运行在门控步骤处停止;该运行中下游的任何步骤都不会继续,直到有人作出回应。
  • 异步队列。门控操作被写入队列或持久化承诺;运行继续执行其他独立工作,智能体(或下一次运行)在收到回应时获取答案。
  • 乐观执行加补偿操作。步骤立即执行,并将预先构建的撤销操作(退款、撤回发送、回滚)加入队列;人工事后审查并在必要时触发撤销。

选择模式

模式 等待期间的存活方式 成本 适用场景
同步阻塞 最简单:一个暂停线程,一次恢复调用 吞吐量降至最慢审批者的速度 操作不可逆、价值高,或置信度低且智能体处于影子模式
异步队列 需要持久化检查点以及回调或信号ID 更多组成部分:队列、超时、去重键 量太大无法阻塞,且操作可安全等待数分钟至数小时(大多数运营审批)
乐观执行加补偿操作 每个乐观操作都需要经过测试的撤销路径 风险转移至撤销操作是否真正生效 操作在已知时间窗口内可逆,且业务重视速度胜过预审批(常规低金额情形)

构建检查点位置矩阵

  1. 按可逆性对操作分类。

    只读、可逆写入,或不可逆/外部操作(支付、退款、客户消息、删除、权限变更)——与我们的安全指南用于门控的分类相同,此处复用以选择暂停形式,而不仅仅是是否设置门控。

  2. 设定延迟预算。

    询问业务可接受的范围:秒级(同步)、分钟至小时级(队列),或完全无需等待因为撤销窗口才是关键(乐观)。

  3. 基于真实案例评估置信度。

    对某类案例具有可测量准确率的智能体,只有在该准确率体现于与当前案例相似的真实案例之后,才能从同步迁移至队列、从队列迁移至乐观——不能基于演示假设;我们的评估框架指南介绍了在任何模式上线前如何构建该测量集。

  4. 将组合映射至模式。

    低可逆性或低置信度始终路由至同步,无论延迟预算如何;高可逆性加高置信度是唯一可采用乐观执行的组合。

  5. 为每个异步和乐观模式添加超时与上报路径。

    没有上限的暂停就是泄漏:若在预算时间窗口内没有收到回应,则上报至第二审批者,或安全失败为不执行,而非继续执行。

状态与检查点设计:暂停期间必须存活的内容

同步门控可以将状态保存在运行中的进程里,因为等待期间不会发生其他事情。但异步和乐观模式不行:进程可能重启、工作节点可能宕机、等待可能持续数小时。持久化执行平台和智能体框架都收敛到同一个答案——将状态持久化到进程内存之外,以运行或线程ID为键,并从运行暂停的确切位置恢复,而非重放。对于智能体检查点,最重要的四个字段是:智能体已读取的输入(包括任何检索上下文,当运行涉及知识库时,如我们的RAG架构指南所述)、确切的提议工具调用及其参数、审批响应绑定到的稳定运行或线程标识符,以及幂等键——因为恢复的运行通常会从顶部重新进入暂停步骤,不能重复副作用(如扣款或重复消息)。LangChain的中断-恢复模型在暂停时持久化完整状态快照并在恢复时还原;云工作流回调模式(例如AWS Step Functions风格的任务令牌)使暂停步骤保持可见且计费-空闲状态,而非占用活跃线程;持久化承诺模式(如Restate的awakeables)将审批绑定到可在进程重启后存活的回调ID。这不是产品背书:Netbase与主流商业和开源AI工具及模型合作,按项目选用,并围绕项目已有的编排层设计检查点。

AI与检查点设计的交汇点

已有的交付记录与尚无记录的内容

  • 已有内容。Netbase已为未具名客户交付AI项目,包括上述审核和聊天机器人记录,其中智能体的输出或操作在面向人工的队列或CRM工作流中等待或同步。Netbase遵循自身的安全实践(安全代码审查、传输中TLS和静态AES加密、基于角色的访问控制、管理仪表板的MFA、漏洞扫描和渗透测试),并持有ISO 27001认证和针对自身运营的SOC 2 Type II证明;详见安全与合规。
  • 尚无内容。Netbase尚无已发布记录说明暂停智能体运行的恢复时间、队列深度、审批率或事件计数,也无记录说明特定交付所使用的编排框架或工作流引擎。Netbase的认证覆盖其自身运营,不延伸至客户系统。

备选方案与选择标准

方案 优势 劣势 适用场景
全程同步阻塞 构建最简单,向审批者解释也最容易 吞吐量受审批者速度限制;长期运行会训练出形式审批 处于影子模式的新智能体,或所有操作均为高风险
默认异步队列 保持吞吐量的同时,每个门控案例仍由人工决策 需要持久化存储、超时策略和去重键 当量超出同步审查能力时,适用于大多数运营智能体
乐观执行加补偿操作 最快;正常路径无需等待 安全性取决于撤销路径;不适用于任何不可逆操作 常规、可逆、低金额操作,且存在经过测试的回滚
无检查点的固定工作流 无需设计;状态丢失的攻击面最小 无智能体灵活性 任务足够可预测,固定工作流比智能体更合适

上述矩阵中的四个标准同样决定这些方案的选择:最坏情况的可逆性、业务可接受的延迟、基于真实案例的实测置信度,以及是否存在经过测试的补偿操作。

本指南的局限性

  • 本指南描述架构模式,而非特定框架的保证;每个编排层和工作流引擎对中断、回调和持久化承诺模式的实现略有不同,引用的来源记录的是其自身产品的行为,而非通用标准。
  • 本指南为通用工程指导,而非法律建议;智能体决策是否需要根据《欧盟人工智能法》或GDPR进行人工监督,是我们的AI智能体安全与人类审批控制指南所涵盖的法律评估,而非本指南。

与 Netbase 顾问规划下一步

常见问题

不需要。只读和低风险可逆操作可以无需检查点运行;本指南中的矩阵仅将可逆性低、延迟预算紧或置信度未经验证的操作路由至检查点,并为其余操作选择暂停形式。

这是最简单的构建模式,但它将吞吐量限制在审批者速度,若对每个操作都保留此模式,会训练审批者不加阅读就批准。一旦在真实案例上证明准确率,应将常规可逆操作迁移至异步队列或乐观模式。

若状态仅保存在进程内存中,暂停将丢失。以运行或线程ID为键、保存提议操作和幂等键的持久化检查点,可让运行从暂停位置恢复,而无需重放步骤——无论是哪个编排层写入了检查点。

下一步

请分享您正在设计的智能体、它提议的操作以及决策可以安全等待多长时间,我们将预约方案评审,帮助您确定检查点位置并设计恢复所需的状态。您也可以查看AI自动化与智能体或更多Netbase洞见。

保留人工审批的AI自动化与智能体 保留人工审批的AI自动化与智能体

Netbase为希望用软件处理重复性多步骤工作的运营团队提供AI自动化与智能体开发服务,同时保留对关键决策的人工审批权。我们将规则自动化与AI结合,构建人工审批环节,并与基线对比衡量回报。

Learn More
line
企业级AI智能体平台:在审批、审计日志与成本限额下运行AI智能体 企业级AI智能体平台:在审批、审计日志与成本限额下运行AI智能体

企业级AI智能体平台是一个受治理的运行时环境,AI智能体通过已审批的工具规划并执行多步骤任务,同时审批流程、审计日志、访问规则与成本限额确保每个操作可问责。Netbase将其作为前瞻性解决方案提供,部署于您自有环境中,而非以产品形式授权。

Learn More
line

与 Netbase 远程合作

Netbase 所有项目均远程交付,任何国家、任何行业的客户均可与我们合作;Netbase 已服务全球 80 个国家的客户。合同与发票由 Netbase JSC 开具,款项通过银行转账至 Netbase JSC 公司账户或 PayPal Business 支付。欢迎通过 WhatsApp 或邮件联系 CEO Huy Nguyen(David)。

联系 Netbase

讨论项目

Netbase JSC 帮助企业设计、构建、现代化和运营数字产品及 AI 驱动的业务系统。
项目咨询

project@netbasejsc.com

WhatsApp

+84 937 869 689

办公地址

91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam

取得联系

告诉我们您想构建、现代化或运营什么。

告诉我们您想构建、现代化或运营什么。

联系 Netbase