本指南面向即将授权AI Agent访问CRM、ERP、邮箱或支付系统的CTO、工程负责人，以及负责Agent上线决策的交付或QA负责人。业务运营AI自动化指南负责决定流程应获得多大的自主权；本页重点在于证明Agent在上线前确实具备该自主权。通过验证后，AI Agent安全与人工审批控制涵盖运行期间的安全管控措施，智能体AI自动化服务负责交付。前90天运营计划将本测试框架门控置于更宏观的90天试点序列中。
本指南目录
为何单元测试不足以测试Agent
传统测试套件针对单一函数验证单一预期输出。而Agent会串联多次模型调用，自主选择调用哪些工具、以何种顺序调用，并对工具返回的任何内容做出响应——包括堆栈跟踪、空结果或超出预期的大段文本。同一输入的两次运行可能产生不同的工具调用序列，两者可能都正确，也可能以不同方式出错。NIST的生成式AI资料明确指出：组织应在部署前运行测试、评估、验证与核查（TEVV），以了解生成式AI系统的能力，而不能假设通过演示就能推广到实际场景。对Agent而言，被测对象是完整的执行轨迹，而非单一答案：调用了哪些工具、使用了哪些参数、按何种顺序调用，以及对返回结果做出了什么处理。
OWASP《Agentic应用Top 10》从攻击者角度揭示了同样的漏洞：一个在设计者预想场景中行为正确的Agent，仍可能被恶意文档劫持、以不安全的方式滥用合法工具，或将一个错误输入级联为多步失败。测试框架的存在，正是为了在Agent接触客户或企业无法承受损失的数据之前，捕获普通失败和对抗性失败两类问题。
影响层级 × 评分类型：测试框架
按Agent被允许执行的操作对每个测试用例分类——与决定哪些操作需要人工审批时所用的影响层级相同——并为每个层级配对能有效捕获其失败的评分方法。确定性检查成本低、结果精确，擅长捕获格式和工具选择错误；用模型评分另一个模型输出的方式（LLM-as-judge）速度较慢且需要自身校准，但这是评估开放式答案的接地性或语气的唯一可行方式。
| 影响层级 | Agent执行的操作 | 主要评分方式 | 晋升前须证明 |
|---|---|---|---|
| 只读 | 查询记录，起草无人自动执行的摘要 | 确定性（模式与字段检查） | 正确检索记录；无虚构字段 |
| 可逆写入 | 更新状态、标记记录、起草待审消息 | 确定性 + LLM-as-judge（针对起草文本） | 工具调用与任务匹配；草稿准确且符合品牌调性 |
| 不可逆或外部操作 | 发送客户消息、发起退款、删除记录 | 确定性、LLM-as-judge及保留的对抗测试集 | 确定性检查零容忍；对抗测试集须在任何上线运行前通过 |
仅检查最终答案的用例会遗漏大多数Agent失败。应对执行轨迹进行评分：调用了哪些工具、使用了哪些参数、按何种顺序调用，并与已审批的参考路径进行对比，同时评估测试断言的终态（记录、消息、账本），而非模型自身生成的摘要。
构建测试框架
-
先制定生产契约。
在编写任何测试用例之前，以书面形式说明：哪些可观察状态证明成功、Agent可使用哪些工具、允许的参数值和范围，以及绝不可尝试的操作。以下所有内容均针对此契约进行测试，而非针对Agent某次状态良好时的偶然表现。
-
按层级收集真实与合成用例。
从支柱指南帮助选择的流程中提取代表性用例，添加边界用例（空结果、模糊请求、冲突记录），并有意添加对抗性用例：含隐藏指令的文档、外表类似合法请求但越过权限边界的请求。
-
在沙箱而非生产环境中运行Agent。
沙箱使用与预发布环境相同的编排和工具接口，指向合成或脱敏数据，确保失败永远不会触及真实客户记录。这也是人机协同检查点设计进行演练的环节。
-
使用匹配的评分方式对每个用例评分，并与基准对比。
工具选择、参数和输出模式使用确定性检查；接地性、语气和目标对齐使用LLM-as-judge；两者均与冻结的基准运行结果对比，以便将模型、提示词或工具的变更量化为增量，而非孤立解读。
-
按层级设置通过/失败阈值，而非一个全局分数。
只读查询95%通过率并不能说明那个真正重要的不可逆层级用例是否可靠。不可逆或外部操作需要其对抗测试集达到或接近100%，门控才能开放。
-
将每次生产故障转化为新用例。
只从事故中成长、而非单凭想象的测试框架才是真正能提升质量的框架；将其纳入与其所保护的提示词、模型和工具版本相同的变更管理与版本控制流程。
上线审批门控：生产数据访问从哪里开始
测试框架针对一项具体变更（新Agent、新工具、新模型、新提示词版本）回答一个是/否问题：它是否在当前对抗测试集和回归测试集上清除了每个不可逆层级的阈值，且结果经过冻结基准的衡量？若是，由具名人员签字确认，Agent的凭证从沙箱范围扩展至真实系统，遵循我们AI Agent安全指南中的最小权限身份设计。若否，无论该变更在只读用例上表现多好，均留在沙箱中。门控在部署流水线中强制执行，方式与代码审查者管控拉取请求相同，而非在上线当天交由Agent或某位工程师自行判断。
每次提示词、模型或工具变更时均须重新运行完整测试套件，而不仅限于首次上线：OWASP Agentic Security Initiative将更改提示词模板或替换模型视为新的攻击面，NIST的资料将测量视为持续过程，而非一次性的部署前认证。
AI的作用
LLM-as-judge本身也是一个可能出错的模型，因此它永远不能取代确定性检查和不可逆层级的人工签字确认；它只是减少了人工逐一阅读开放式用例的数量。Netbase JSC与主流商业和开源AI工具及模型合作，按项目选型，并设计测试框架，使模型、提示词或工具的更换不会丢失上线决策所需的证据。
-
已交付（匿名客户）：分类信息平台AI内容审核。
在标记模型进入管理员审核仪表板之前，进行了测试与优化阶段，客户未公开命名。
-
已交付（匿名客户）：WhatsApp AI聊天机器人与CRM集成。
里程碑中包含NLP调优、测试与优化，均在上线前完成，客户未公开命名。
-
成长能力：Agent评估框架。
测试用例设计、沙箱搭建、评分和上述上线审批门控，作为Agent交付的组成部分；对于跨部门共享运行时，可参见企业AI Agent平台；尚未绑定至公开命名本框架的已发布案例。
备选方案与选择标准
| 方案 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| 上线前人工抽查 | 速度快，无需构建工具 | 遗漏罕见和对抗性用例；超过一次上线后无法扩展 | 低流量、可逆、仅内部使用且试点周期短的Agent |
| 仅使用确定性检查 | 成本低、结果精确、易于在CI中运行 | 无法评分开放式文本质量或意图 | 输出结构化且范围较窄的工具调用Agent |
| 确定性检查 + LLM-as-judge | 同时覆盖结构化和开放式失败 | 判断模型需要自身校准及定期人工审计 | 任何起草面向客户文本或判断模糊用例的Agent |
| 含对抗测试集和上线审批门控的完整框架 | 最接近证明Agent已准备好处理真实数据 | 构建和维护需要真实的工程时间 | 任何达到不可逆或外部操作层级的Agent |
四个因素决定在该表中走多远：最坏操作的可逆程度、有多少输入来自公司外部（电子邮件、上传文件、网页）、每天运行多少用例，以及错误答案是直接触达客户还是先经过人工审核。一个仅供一个团队使用的只读内部Agent，通常在第一季度可以止步于人工抽查；而发送资金或向客户发送消息的Agent则不然。
已有的交付记录与尚不存在的记录
- 已有记录。Netbase JSC已为未具名客户交付AI项目，其中测试与优化阶段作为记录里程碑的组成部分，在系统进入审核仪表板或上线之前完成，包括上述审核和聊天机器人记录，以及匿名RAG、文档AI和MLOps流水线。Netbase JSC遵循其已发布的安全实践：安全代码审查、传输层TLS加密、静态AES加密、基于角色的访问控制、管理仪表板MFA、漏洞扫描和渗透测试。Netbase JSC持有ISO 27001认证及其自身运营的SOC 2 Type II认证。
- 尚不存在的记录。没有已发布的Netbase JSC记录命名独立的评估框架产品、测试用例数量、通过率、对抗测试结果或Agent的事件计数。没有记录描述具有对支付或ERP系统进行无人值守写入访问权限的自主Agent。Netbase JSC的认证覆盖Netbase JSC自身的运营；不认证客户的Agent或其评估结果。
本指南的局限性
- 本文为通用工程指导，不构成认证、审计或对特定Agent安全性的保证；上述阈值和层级是一个起始结构，需根据Agent实际可执行的操作进行适配。
- 生成式AI的评估方法仍是一个不成熟的领域：NIST自身的资料指出，许多有用的测试尚无公认的已发布基准，因此应随着生产中出现新的失败模式而持续修订测试用例。
常见问题
足以覆盖每个影响层级至少一次，加上针对任何可逆或外部操作的边界用例和对抗性用例。没有固定数量；不可逆层级的覆盖比总数量更重要。
不能。它减少了人工逐一阅读开放式用例的数量，但不可逆层级变更的上线审批签字仍须由具名人员承担，且判断模型本身需要定期经人工审计的校准。
不能。测试框架证明Agent在上线前对固定用例集的行为正确且安全；身份管控、最小权限工具、提示词注入防御和审批门控在Agent上线后面对框架从未见过的输入时保障其安全。参见AI Agent安全与人工审批控制。
下一步
请分享您即将构建或扩展的Agent及其最终将接触的系统，我们将预约解决方案评审，在其接触生产数据之前设计测试用例层级、沙箱和上线审批门控。您也可以查看AI自动化与Agent或更多Netbase JSC洞察。
此指南背后的项目
一位匿名创始人（所在国家未披露）需要一个支持英语和尼泊尔语的双语分类广告平台。Netbase远程完成交付，功能涵盖付费广告发布、账号实名验证、搜索、评级、消息及支付，并集成AI过滤器对违规内容进行标记供管理员审核。平台未发布任何用量或收入数据。
Keep Reading相关服务与解决方案
保留人工审批的AI自动化与智能体
Netbase为希望用软件处理重复性多步骤工作的运营团队提供AI自动化与智能体开发服务，同时保留对关键决策的人工审批权。我们将规则自动化与AI结合，构建人工审批环节，并与基线对比衡量回报。
Learn More
企业级AI智能体平台：在审批、审计日志与成本限额下运行AI智能体
企业级AI智能体平台是一个受治理的运行时环境，AI智能体通过已审批的工具规划并执行多步骤任务，同时审批流程、审计日志、访问规则与成本限额确保每个操作可问责。Netbase将其作为前瞻性解决方案提供，部署于您自有环境中，而非以产品形式授权。
Learn More
与Netbase远程合作
Netbase JSC的所有项目均以远程方式交付，任何国家、任何行业的客户均可与我们合作；Netbase已服务全球80个国家的客户。合同与发票由Netbase JSC出具，付款方式为银行转账至Netbase JSC公司账户或PayPal Business。欢迎通过WhatsApp或邮件联系CEO Huy Nguyen（David）。
讨论项目
Netbase JSC帮助企业设计、构建、现代化及运营数字产品与AI赋能的业务系统。project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
取得联系
告诉我们您想构建、现代化或运营什么。