本指南面向已上线智能体、需要持续监控其是否悄然发生变化的工程负责人或AI产品负责人，以及上线后负有运营问责职责的运营与风险负责人。我们的AI自动化指南负责决策智能体所需流程，智能体AI自动化服务负责交付实施；本页聚焦于智能体通过上线评审后的持续检查，确保运行期间不出现静默变化。
本指南内容
什么是AI智能体漂移，它与主动变更有何不同？
漂移是指在发布日志中没有对应记录的情况下，智能体行为发生了变化。我们的变更管理与版本控制指南涵盖有意变更的发布流程——无论是新提示词、模型升级还是更宽泛的权限，每次变更都有版本标识，并在上线前经过评审。漂移恰恰相反：智能体的提示词、代码和声明的模型版本与上周完全一致，而实际输出结果却更差。代码仓库中没有任何改动，翻查近期Pull Request也找不到原因，这正是漂移能够悄无声息地持续、直到有人发现输出有误才被察觉的原因。
有三类情况会在未经刻意编辑的情况下发生变化。模型提供商更新了固定API端点背后的模型，导致相同提示词和相同声明版本返回不同输出。线上输入分布发生偏移：用户开始提出与智能体调优和测试时所用数据集不同的问题，比例也有所不同。知识库中被智能体检索的内容过期，或与源系统的连接器悄然改变了结构，导致相同的检索查询返回更弱或错误的上下文。这三种情况都不会抛出异常、破坏Schema或引发延迟升高；智能体继续运行，而基于正常运行时间和错误率构建的仪表板无从告警。我们的知识库治理指南涵盖第三类原因的责任归属和更新频率，帮助减少本检查需要捕获的内容。
线上智能体漂移的三种类型：对比分析
| 漂移原因 | 实际发生了什么变化 | 如何检测 | 误报风险 |
|---|---|---|---|
| 提供商侧静默模型更新 | 固定API端点背后的模型版本发生变化，您这侧的代码和提示词均未改动 | 对相同输入，将智能体当前输出与冻结基线进行影子对比；上线时不存在而现在出现的差距，首先指向这一原因 | 一旦基线存在则风险较低；对比对象是智能体自身的历史输出，而非外部基准 |
| 输入分布偏移 | 真实用户问题的分布发生变化，不再与智能体调优和测试所用的数据集匹配 | 跟踪意图聚类以及解决率或升级率的时间趋势（而非单次交互），并将当前分布与上线分布进行对比 | 中等；用户提问中真实存在的季节性或产品变化可能与漂移相似，修复前需人工研判 |
| 知识库过期 | 智能体依赖的检索索引、文档来源或连接器已过期或被重构 | 在固定查询集上重新运行检索质量检查，监控召回率下降或矛盾答案增多的情况 | 中等；一次性数据刷新可能呈现突变外观，与真实回归一样需要确认窗口期 |
如何建立漂移检测节奏
-
在上线时冻结基线。
复用智能体评估框架中的上线/不上线基线，作为所有后续对比的固定参照点；事后创建的基线不是基线，而是一种主观判断。
-
保持黄金测试集固定不变。
测试用例及其正确答案在各轮次之间不得改变；只有稳定、不变的黄金测试集，才能使分数下降成为明确信号，而非测试集波动引起的噪声。
-
安排定期重放。
按固定节奏重放黄金测试集（面向客户的智能体每日一次，低风险内部智能体每周一次），而不只在下一次刻意发布时才执行，从而在两次发布之间捕获退化，而非在下次发布时才发现。
-
设置阈值，而非仅依赖仪表板。
当分数跨越预先设定的阈值时触发告警，使信号变为立即行动指令，而非一张无人查看的图表；只会上报的系统本身无法主动检测任何问题。
-
监控输入分布，而不仅是分数。
在滚动窗口上跟踪意图聚类、解决率和升级率，使用户提问的静默偏移在拖累黄金测试集分数之前就能被发现。
-
怀疑提供商更新时使用影子对比。
在相同输入下，将智能体当前输出与冻结基线进行对比；由于此检查中的输入从不改变，可将提供商侧模型变化与输入分布偏移或知识库过期区分开来。
-
将确认的漂移按照刻意变更的方式路由处理。
一旦漂移得到确认，需执行与我们变更管理指南对模型版本变更要求相同的评审流程（完整回归重跑，并与冻结基线对比）；如果智能体已基于错误输出采取了行动，则由事件响应与回滚手册接管。
AI的定位
Netbase JSC与主流商业及开源AI工具和模型合作，按项目选型，并将持续评估节奏视为保持智能体上线后可信度的组成部分，而非仅限于构建和交付阶段。
-
已交付（匿名客户）：MLOps流水线。
除智能体本身外，Netbase JSC已为一位未具名客户交付了MLOps流水线工作；流水线保持模型输出长期可信所需的可复用评估规范，正是漂移检测节奏应用于线上智能体的相同方法。
-
成长型能力：持续评估设计。
将黄金测试集、重放计划和阈值告警纳入智能体运营模型，作为智能体AI自动化交付的一部分；尚未与专门提及此类监测的已发布案例挂钩。
已有的交付记录与尚不存在的内容
已有的内容。Netbase JSC与多家商业及开源提供商的模型合作，按项目选型（F070），并已交付匿名AI项目，包括检索增强知识助手、文档AI和MLOps流水线，客户均未具名（F072）。Netbase JSC自身实践包括安全代码审查、版本控制和基于角色的访问控制（F021），Netbase JSC持有ISO 27001认证及SOC 2 Type II证明，覆盖其自身运营（F022、F051、F052）。匿名分类信息平台（F113）和WhatsApp聊天机器人（F115）项目均在构建进入评审仪表板或上线之前设有专门的测试与优化阶段。Netbase JSC正在将AI转型和智能体自动化融入每项服务中（F131）。
尚不存在的内容。没有任何已发布的Netbase JSC记录具体提及任何智能体的漂移检测阈值、黄金测试集分数、重放节奏或误报率。没有任何记录描述线上智能体在生产环境中经历过这套完整的冻结-重放-阈值-影子对比流程。ISO 27001认证和SOC 2 Type II证明覆盖Netbase JSC自身运营，不延伸至客户的智能体或其评估流水线。
替代方案：谁来监控漂移
| 方案 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| 无人监控；团队等待投诉 | 无需任何建设成本 | 漂移由客户或下游故障发现，损害已经造成 | 永远不适用于任何向线上系统写入或面向客户的智能体；仅可接受用于一次性内部实验 |
| 内部黄金测试集重放，构建一次并定期调度 | 复用上线评估集，无需购买新工具 | 需要前期工作来固定黄金测试集，并接入定时任务和告警阈值 | 团队已在上线时构建了评估框架，且可在此基础上扩展 |
| 供应商持续评估或漂移监控平台 | 调度、阈值设置和仪表板开箱即用 | 在智能体本身之外增加了供应商依赖和持续成本 | 团队没有多余工程资源来自行构建和维护重放任务 |
| 交付合作伙伴设计并运行节奏 | 智能体、评估集和漂移检查由同一团队统一负责 | 与任何交付合作一样，需要明确所有权和升级流程 | 尚无内部负责人，或多个智能体需要统一的检测规范 |
在Netbase JSC定制开发项目中，客户拥有为其创建的知识产权，大多数项目在发现阶段后以固定总价合同执行（F067）。
本指南的局限性
- 本文是工程与运营实践，而非经认证的方法论；本指南中的任何准确率阈值、重放频率或误报率均不构成基准，因为这些数据均未作为Netbase JSC事实登记在案。
- 黄金测试集只能捕获其自身能够衡量的漂移；对于超出所有现有测试用例范围的全新故障模式，需要人工阅读线上流量，而非仅凭重放分数来发现。
- 模型提供商不一定按固定时间表公告后端更新；与冻结基线的影子对比可缩小排查范围，但不能替代查阅提供商自身的发布说明。
常见问题
只有在定期重放的情况下才能。在上线时运行一次的测试套件只能证明第一天的质量，对第九十天毫无说明；必须按固定节奏针对接近线上的输入重新运行，才能捕获后续的回归。
不能，这正是检测比预防更重要的原因。可控的是：检查实际使用的模型版本，并将当前输出与冻结基线进行影子对比，从而在提供商侧变化影响所有用户之前使其可见。
将节奏与智能体动作面向客户的程度及可逆性相匹配：面向客户或向线上系统写入的智能体每日一次，对低风险内部工具而言每周通常足够；合适的频率是一个风险决策，而非固定的行业标准数字。
此指南背后的项目
Netbase未披露名称的一家机构（归类于专业服务），需要一套受控的模型训练、评估、发布与监控流程。Netbase远程交付了一条MLOps流水线，结合AI咨询、工程与集成服务。客户所在地、模型信息、日期及结果均未公开；本匿名档案仅说明系统类型和Netbase的角色。
Keep Reading相关服务与解决方案
保留人工审批的AI自动化与智能体
Netbase为希望用软件处理重复性多步骤工作的运营团队提供AI自动化与智能体开发服务，同时保留对关键决策的人工审批权。我们将规则自动化与AI结合，构建人工审批环节，并与基线对比衡量回报。
Learn More
企业级AI智能体平台：在审批、审计日志与成本限额下运行AI智能体
企业级AI智能体平台是一个受治理的运行时环境，AI智能体通过已审批的工具规划并执行多步骤任务，同时审批流程、审计日志、访问规则与成本限额确保每个操作可问责。Netbase将其作为前瞻性解决方案提供，部署于您自有环境中，而非以产品形式授权。
Learn More
与Netbase远程合作
Netbase JSC的所有项目均以远程方式交付，任何国家、任何行业的客户均可与我们合作；Netbase已服务全球80个国家的客户。合同与发票由Netbase JSC出具，付款方式为银行转账至Netbase JSC公司账户或PayPal Business。欢迎通过WhatsApp或邮件联系CEO Huy Nguyen（David）。
讨论项目
Netbase JSC帮助企业设计、构建、现代化及运营数字产品与AI赋能的业务系统。project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
取得联系
告诉我们您想构建、现代化或运营什么。