跳至主要内容

您在寻找什么?

探索我们的服务,了解我们如何助您实现目标

AI智能体人工审批质量与橡皮图章检测

已记录的人工审批仅在审批本身为真实审查时才构成监督证据:按审批人追踪审批率、决策时间、覆盖率和连续审批长度,因为接近100%的比率、几秒内的决策、下降的覆盖率或长期未中断的连续审批,均指向橡皮图章而非有效控制措施。

预约解决方案审查 查看相关解决方案

作者 Huy Nguyen (David), Founder & CEO · 更新于 · 1 分钟阅读

star

本指南面向已运行智能体审批关卡、并对每项决策保留审计日志的工程负责人或合规负责人——现在需要回答一个比「关卡是否存在」更难的问题:它是否仍在正常运作。我们的AI业务运营自动化指南决定流程获得多大自主权,智能体AI自动化服务涵盖交付环节;本页假设智能体已上线,具备审计追踪和安全与人工审批关卡,并说明两者单独存在均无法证明已记录的审批是真实的。一旦这些信号显示某位审批人接近容量上限,审批人容量指南将说明该审批人可承接多少智能体,以及何时应增加第二位审批人而非再次收窄关卡。

本指南目录

如何判断已记录的审批是真实审查,而非橡皮图章?

没有单一数字能证明审查已发生,但从现有审批日志中计算出的四项信号,综合判读后可将有效关卡与橡皮图章区分开来。每位审批人及每个智能体或工具的审批率:审批率攀升至接近100%是警告信号,而非安慰——这意味着关卡已不再拦截任何问题,或已无人阅读。决策时间:若决策速度快到连审批提示的内容都来不及阅读,则无论日志显示什么,均不构成审查。在滚动窗口内的覆盖或拒绝率:随着审批量增加,该比率趋近于零,是习惯化模式,而非智能体改进的表现。连续审批长度:某位审批人连续未中断的审批记录越长,越应将下一项路由给第二位审批人,而非将其视为可靠记录的证明。

新加坡IMDA《智能体AI模型治理框架》将人工覆盖率和响应时间列为人工监督的审计指标,并以监管机构罕见的直接措辞指出:低覆盖率「可能意味着橡皮图章行为」。该框架还指出单一信号的模糊性——低覆盖率既可能意味着橡皮图章,也可能意味着智能体确实表现良好——这正是本指南中任何单一指标都无法单独成立的原因;四项信号须作为一组,针对每位审批人和每个智能体的自身基线来解读,而非对照某个固定的行业数字。

全量审批还是选择性审批:审批范围实际保护什么

要求对每项操作审批看似更安全,实则产生相反结果:它会耗尽审批人的精力,并滋生出本页所要检测的橡皮图章模式。关卡范围本身就是一项橡皮图章控制措施。

方式 优势 风险 适用场景
每项操作均需审批 原则上没有任何内容在没有人工参与的情况下上线 审批人疲劳快速积累;审批率攀升至接近100%,关卡失去审核作用 不应作为常态;仅在新智能体上线初期的影子模式阶段可接受
仅对不可逆、高影响或受监管的操作要求审批;其余操作无人值守运行或事后抽样 审批人注意力集中于重要决策;审批量低到足以认真审查 需要在上线前按风险对智能体的操作集进行分类,而非上线后 任何已过初期阶段的在线智能体的常态,与运营模型中命名的决策类别挂钩
无审批关卡;仅有终止开关和事后监控 无审批人疲劳,无需审计审批日志 操作发生前无人授权;凡存在不可逆或受监管操作可能的场景均不适用 低风险、完全可逆的内部智能体,且无受监管决策

审批质量检测清单

  1. 从现有日志中计算四项信号。

    审批率、决策时间、覆盖率和连续长度均可从我们审计追踪指南已要求的事件ID、时间戳、审批人身份和决策字段中推导;无需新建日志系统即可开始。

  2. 按审批人和智能体设定基线,而非使用一个全公司统一数字。

    每天审查五笔不可逆支付的财务审批人,与每天清理两百条低风险回复的支持台审批人,健康范围各不相同;应将每位审批人和每个智能体与其自身历史记录对比,而非与单一固定阈值对比。

  3. 自动将连续记录和突发率变化标记给第二位审批人。

    超过约定长度的连续记录,或急剧向任一方向跳变的比率,应自动将下一项审批路由给运营模型中另一位指定审批人,而非等待定期审计才发现。

  4. 按固定周期对植入错误的样本进行审计。

    在低后果队列中植入少量已知错误操作;若审批人放行,则说明关卡未被阅读,无论该周的比率指标如何显示。

  5. 在增加监控之前先收窄关卡。

    若比率信号指向疲劳而非恶意审批人,解决方案通常是更少、更精准的关卡(见上方对比),而非在不应以现有形式存在的关卡上叠加更重的检测系统。

  6. 将确认的橡皮图章发现纳入事件响应,而非仅记入记分卡。

    改变审批人访问权限或智能体自主边界的检测结果,遵循我们事件响应与回滚指南中任何其他确认故障的处理路径;无人跟进的仪表板不是控制措施。

AI的适用范围

Netbase与主要商业及开源AI工具和模型合作,按项目选用,并将审批质量监控视为在上线后保持智能体人工监督真实性的一部分,而不仅限于安全与人工审批指南所涵盖的设计阶段。

现有交付记录与缺失记录

现有记录。除4over4外,Netbase已为未具名客户交付AI项目,包括检索增强知识助手、文档AI及用于训练、评估、发布和监控模型的MLOps流水线(F072)。Netbase自身的安全实践包括针对管理后台的基于角色的访问控制和MFA(F021),这是将审批归因于特定可审计审批人的身份规范,本指南中的每项信号都依赖于此。Netbase持有ISO 27001认证和SOC 2 Type II认证,适用于其自身运营(F022、F051、F052)。

缺失记录。没有已发布的Netbase记录说明特定客户智能体的审批率、覆盖率、审批人数量或橡皮图章发现;上述内容均未作为Netbase事实登记,因此不予声明。没有记录描述某个在线智能体的审批质量信号已在实践中提交给审计员。Netbase的认证覆盖Netbase自身运营,不延伸至客户的审批流程或其审批人。

替代方案:谁来审计审批质量

方式 优势 劣势 适用场景
审批人的上级定期抽查少量决策,无固定指标 无建设成本,立即开始 只能发现上级碰巧抽到的问题;无记录显示模式是否改善或恶化 只有一位审批人、审批量低且无受监管决策的单一智能体
从现有审计日志中计算四项信号,并由运营模型中指定角色按固定周期审查 持续计算,非抽样;自动将连续记录和比率变化路由给第二位审批人 需要审计日志中的身份和时间戳字段先就位,并需按审批人约定基线 审批量已超出人工抽查范围,或涉及受监管或面向客户的决策的任何智能体
交付合作伙伴将信号计算和连续路由规则与审批关卡本身一同内置于智能体平台 从第一天起,关卡、日志和质量信号由同一团队负责 需要与任何交付合作一样解决所有权问题 尚无内部负责人,或多个智能体需要一种统一的检测方法

在Netbase定制开发中,客户拥有为其工作创建的知识产权(F020),大多数项目在探索后以固定总价合同运行,并在更适合的情况下提供里程碑付款、月度团队保留金和KPI挂钩条款(F067)。

本指南的局限性

  • 本指南是工程和运营设计指南,不构成法律、监管或合规建议;特定覆盖率或响应时间是否可接受,取决于决策的风险、行业和司法管辖区。
  • 本指南中没有任何数字是Netbase基准:没有审批率、覆盖率或响应时间作为Netbase结果发布,因为上述内容均未作为Netbase事实登记。已引用数字(Claude Code的93%权限提示审批率、代码审查习惯化研究的审批率攀升)仅作为其发布者在其自身系统上的测量结果被引用。
  • 四项信号是启发性方法,不是经认证的评分模型;有自身审计或监管要求的公司应确认其具体审计员或监管机构期望看到的内容。

常见问题

是指已记录的人工审批并未经过对拟定操作的真实审查——审批人未阅读决策级上下文即点击批准,通常源于疲劳或习惯化而非恶意——因此日志显示监督已发生,而实际检查并未进行。

没有通用的临界值,但某位审批人或某个智能体的审批率攀升至接近100%,尤其是同时伴随着几秒内做出的决策或随时间下降的覆盖率,是有据可查的警告模式,而非智能体单纯变得更好的信号。

应从现有审计日志中持续计算四项信号,而非等待定期审计,并按固定周期添加植入错误的抽样检查,使橡皮图章模式在审计之间便能浮现,而非仅在审计员或客户询问时才发现。

下一步

告诉我们哪个智能体已有审批关卡和审计日志,我们将预约解决方案审查,在您现有日志基础上设计审批质量信号、基线和连续路由规则。您也可以查看企业AI智能体平台解决方案,或浏览更多Netbase洞察。

保留人工审批的AI自动化与智能体 保留人工审批的AI自动化与智能体

Netbase为希望用软件处理重复性多步骤工作的运营团队提供AI自动化与智能体开发服务,同时保留对关键决策的人工审批权。我们将规则自动化与AI结合,构建人工审批环节,并与基线对比衡量回报。

Learn More
line
企业级AI智能体平台:在审批、审计日志与成本限额下运行AI智能体 企业级AI智能体平台:在审批、审计日志与成本限额下运行AI智能体

企业级AI智能体平台是一个受治理的运行时环境,AI智能体通过已审批的工具规划并执行多步骤任务,同时审批流程、审计日志、访问规则与成本限额确保每个操作可问责。Netbase将其作为前瞻性解决方案提供,部署于您自有环境中,而非以产品形式授权。

Learn More
line

与Netbase远程合作

Netbase JSC的所有项目均以远程方式交付,任何国家、任何行业的客户均可与我们合作;Netbase已服务全球80个国家的客户。合同与发票由Netbase JSC出具,付款方式为银行转账至Netbase JSC公司账户或PayPal Business。欢迎通过WhatsApp或邮件联系CEO Huy Nguyen(David)。

联系Netbase

讨论项目

Netbase JSC帮助企业设计、构建、现代化及运营数字产品与AI赋能的业务系统。
项目咨询

project@netbasejsc.com

WhatsApp

+84 937 869 689

办公地址

91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam

取得联系

告诉我们您想构建、现代化或运营什么。

告诉我们您想构建、现代化或运营什么。

联系Netbase