本指南面向CTO、工程负责人，以及负责决定是否让中型企业AI Agent访问CRM、ERP、邮箱或支付系统的交付或QA负责人。我们的业务运营AI自动化指南决定某一流程应获得多大程度的自主权；本页面的重点是在Agent上线前，证明其已具备获得该自主权的资格。通过验证后，AI Agent安全与人工审批控制涵盖Agent运行期间的安全管控措施，智能体AI自动化服务涵盖交付内容。前90天运营计划将本测试框架门控嵌入更宏观的90天试点序列中。
本指南内容
为何单元测试不足以验证Agent
传统测试套件针对单一函数检查预期输出。而Agent会串联多个模型调用、自主决定调用哪些工具及其顺序，并对工具返回的任何内容作出响应——包括堆栈跟踪、空结果或其未预料到的整页文本。同一输入的两次运行可能产生不同的工具调用序列，却都正确，或以不同方式出错。NIST的生成式AI概况文件对此有明确说明：组织应在部署前运行测试、评估、验证和核查（TEVV）以理解生成式AI系统的能力，而不能假设通过演示即可推广至实际场景。对于Agent而言，测试对象是完整的执行轨迹，而非单一答案：调用了哪些工具、使用了什么参数、按何顺序调用，以及对返回内容如何处理。
OWASP的智能体应用Top 10从攻击者视角揭示了同样的缺口：一个在设计者预想场景下表现正确的Agent，仍可能被恶意文档劫持、以不安全方式滥用合法工具，或将一次错误输入级联为多步骤故障。测试框架的存在，就是为了在Agent被信任处理客户或企业无法承受丢失的数据之前，捕获两类故障——常规故障与对抗性故障。
影响层级×评分类型：测试框架
按Agent被允许执行的操作对每个测试用例分类，采用与决定哪些操作需要人工审批相同的影响层级，并为每个层级配以真正能捕获其故障的评分方法。确定性检查成本低、精确，善于捕获格式和工具选择错误；用模型评分另一个模型的输出（LLM裁判）速度较慢且需要自身校准，但它是对开放式答案进行基础性或语气评分的唯一可行方式。
| 影响层级 | Agent执行内容 | 主要评分器 | 晋升前须证明的内容 |
|---|---|---|---|
| 只读 | 查询记录，起草无人自动执行的摘要 | 确定性（模式和字段检查） | 检索记录正确；无虚构字段 |
| 可逆写入 | 更新状态、标记记录、起草待审核消息 | 确定性 + 对起草文本的LLM裁判 | 工具调用与任务匹配；草稿准确且符合品牌调性 |
| 不可逆或外部 | 发送客户消息、发放退款、删除记录 | 确定性、LLM裁判及预留对抗性测试集 | 确定性检查零容忍；对抗性测试集在任何实时运行前通过 |
仅检查最终答案的测试用例会遗漏大多数Agent故障。应对执行轨迹评分：调用了哪些工具、使用了哪些参数、按何顺序调用，与已批准的参考路径进行比对，以及测试断言的最终状态（记录、消息、账本），而非模型自身生成的摘要。
构建测试框架
-
首先编写生产合同。
在编写任何测试用例之前，以书面形式说明哪些可观测状态证明成功、Agent可使用哪些工具、允许哪些参数值和范围，以及绝对不得尝试的操作。以下所有内容均针对此合同进行测试，而非针对Agent在某个顺利的日子碰巧表现出的行为。
-
按层级收集真实和合成用例。
从支柱指南帮助您选定的流程中提取具有代表性的用例，添加边界用例（空结果、模糊请求、冲突记录），并刻意添加对抗性用例：含隐藏指令的文档、类似合法请求但越权的请求。
-
在沙箱而非生产环境中运行Agent。
沙箱使用与预发布环境相同的编排方式和工具接口，指向合成或脱敏数据，因此故障永远不会触及真实客户记录。这也是人在环路检查点设计进行演练的环节。
-
以匹配的评分器针对基准对每个用例评分。
对工具选择、参数和输出模式进行确定性检查；对基础性、语气和目标对齐性进行LLM裁判评分；两者均与冻结基准运行进行比对，以便模型、提示词或工具的变更以增量形式呈现，而非孤立解读。
-
按层级设置通过/失败阈值，而非一个全局分数。
只读查询95%的通过率，无法说明那个真正重要的不可逆层级用例是否可靠。不可逆或外部操作的对抗性测试集需在门禁开放前达到接近100%的通过率。
-
将每次生产故障转化为新的测试用例。
仅从事故中积累、而非凭空想象的测试框架，才是真正能持续改进的框架；将其纳入与其所保护的提示词、模型和工具版本相同的变更流程中。
上线审批门禁：生产数据访问的起点
测试框架针对某一特定变更（新Agent、新工具、新模型、新提示词版本）回答一个是/否问题：它是否通过了当前对抗性和回归测试集上的所有不可逆层级阈值，并与冻结基准进行了比对？若是，由指定人员签字批准，Agent的凭证从沙箱范围扩展到真实系统，遵循我们AI Agent安全指南中的最小权限身份设计。若否，无论其在只读用例上表现多好，变更均保留在沙箱中。门禁在部署流水线中强制执行，方式与代码审查员管控拉取请求相同，而非交由Agent或某位工程师在上线当天自行判断。
每次提示词、模型或工具变更时均须重新运行完整测试套件，而不仅限于首次上线：OWASP的智能体安全计划将更改提示词模板或替换模型视为新的攻击面，NIST的概况文件将度量视为持续性工作，而非一次性的部署前认证。
AI的作用
LLM裁判本身也是一个可能出错的模型，因此它永远不会取代确定性检查和不可逆层级的人工签字；它只是减少了人工逐一阅读开放式用例的数量。Netbase与主要商业和开源AI工具及模型合作，按项目选型，并设计测试框架，使模型、提示词或工具的变更不会丢失上线审批决策所需的证据。
-
已交付（匿名客户）：分类信息平台AI内容审核。
在旗帜模型进入管理员审核仪表板之前，运行了测试和优化阶段，为未具名客户交付。
-
已交付（匿名客户）：WhatsApp AI聊天机器人与CRM集成。
里程碑包含NLP调优、测试和优化阶段，在上线前完成，为未具名客户交付。
-
成长能力：Agent评估测试框架。
测试用例设计、沙箱、评分及上述上线审批门禁，作为Agent交付的一部分；对于跨部门共享运行时，可参见企业AI Agent平台；尚未关联命名此框架的已发布案例。
备选方案与选择标准
| 方案 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| 上线前人工抽查 | 快速，无需构建工具 | 遗漏罕见和对抗性用例；无法扩展至多次上线 | 低频次、可逆、仅限内部、试点周期短的Agent |
| 仅限确定性检查 | 成本低、精确、易于在CI中运行 | 无法评估开放式文本质量或意图 | 输出结构化且范围窄的工具调用Agent |
| 确定性 + LLM裁判 | 同时覆盖结构化和开放式故障 | 裁判模型需要自身校准和定期人工审计 | 任何起草面向客户文本或判断模糊用例的Agent |
| 含对抗性测试集和上线门禁的完整框架 | 最接近证明Agent已准备好处理真实数据 | 需要真实的工程时间来构建和维护 | 任何达到不可逆或外部层级的Agent |
四个因素决定在此表中走多远：最坏操作的可逆程度、输入来自公司外部的比例（邮件、上传文件、网页）、每日运行用例数量，以及错误答案是直接触达客户还是先经过人工审核。供单一团队使用的只读内部Agent，在第一个季度通常可以停留在人工抽查阶段；而会发送资金或向客户发消息的Agent则不能。
已有交付记录与尚未记录的内容
- 已有内容。 Netbase已为未具名客户交付AI项目，其中测试和优化阶段作为已记录里程碑的一部分，在系统进入审核仪表板或上线之前完成，包括上述审核和聊天机器人记录以及匿名的RAG、文档AI和MLOps流水线。Netbase遵循其已发布的安全实践：安全代码审查、传输层TLS加密和静态AES加密、基于角色的访问控制、管理员仪表板MFA、漏洞扫描和渗透测试。Netbase持有ISO 27001认证和针对自身运营的SOC 2 Type II鉴证。
- 尚未记录的内容。 目前没有已发布的Netbase记录命名独立的评估框架产品、测试用例数量、通过率、对抗性测试结果或Agent的事件数量。没有记录描述对支付或ERP系统具有无人值守写入权限的自主Agent。Netbase的认证涵盖Netbase自身的运营；不认证客户的Agent或其评估结果。
本指南的局限性
- 本文为通用工程指导，不构成认证、审计或保证特定Agent安全的承诺；上述阈值和层级是一个起始结构，需根据Agent可执行的实际操作进行调整。
- 生成式AI的评估方法仍是不成熟的领域：NIST的概况文件本身指出，许多有用的测试尚无已达成共识的已发布基准，因此应随着生产中出现新的故障模式，不断修订测试用例。
常见问题
足以至少覆盖每个影响层级一次，加上适用于可逆或外部操作的边界用例和对抗性用例。没有固定数量；不可逆层级的覆盖度比总数量更重要。
不能。它减少了人工逐一阅读开放式用例的数量，但不可逆层级变更的上线签字仍须由指定人员负责，裁判模型本身也需要定期经人工审计的校准。
不能。测试框架证明Agent在上线前的固定用例集上行为正确且安全；身份管控、最小权限工具、提示词注入防御和审批门禁在Agent上线后面对框架从未见过的输入时，才是保障安全的手段。参见AI Agent安全与人工审批控制。
下一步
分享您即将构建或扩展的Agent及其最终将访问的系统，我们将安排解决方案评审，在其接触生产数据之前设计测试用例层级、沙箱和上线审批门禁。您也可以了解AI自动化与Agent或更多Netbase洞察。
此指南背后的项目案例
Netbase为一位创始人交付了一个英语和尼泊尔语双语分类广告平台：支持付费广告发布、账号验证、搜索、评分、站内消息及支付，并集成AI过滤功能，自动检测违规内容并标记供管理员审核。该创始人姓名不公开。本案例仅涵盖项目范围与交付情况。
Keep Reading相关服务与解决方案
AI自动化与智能体，人工保持决策控制
Netbase为运营团队提供AI自动化和智能体开发服务，让软件处理重复性多步骤工作，同时人工保留关键决策的审批权。我们将基于规则的工作流自动化与AI步骤相结合，在有价值的地方引入AI，设计人工审批节点，并对照构建前的基准衡量回报。
Learn More
企业级AI智能体平台：在审批、审计日志与成本限额下运行AI智能体
企业级AI智能体平台是一个受治理的运行时环境，AI智能体通过已审批的工具规划并执行多步骤任务，同时审批流程、审计日志、访问规则与成本限额确保每个操作可问责。Netbase将其作为前瞻性解决方案提供，部署于您自有环境中，而非以产品形式授权。
Learn More
与 Netbase 远程合作
Netbase 所有项目均远程交付，任何国家、任何行业的客户均可与我们合作；Netbase 已服务全球 80 个国家的客户。合同与发票由 Netbase JSC 开具，款项通过银行转账至 Netbase JSC 公司账户或 PayPal Business 支付。欢迎通过 WhatsApp 或邮件联系 CEO Huy Nguyen（David）。
讨论项目
Netbase JSC 帮助企业设计、构建、现代化和运营数字产品及 AI 驱动的业务系统。project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
取得联系
告诉我们您想构建、现代化或运营什么。