AIエージェント評価ハーネス：本番データに触れる前にエージェントをテストする

このガイドは、中堅企業のAIエージェントにCRM・ERP・メールボックス・決済システムへのアクセスを許可する判断を担うCTO、エンジニアリングリード、デリバリーリード、QAリードを対象としています。ビジネスオペレーション向けAI自動化ガイドではプロセスへの自律性の付与方法を扱いますが、本ページでは本番稼働前にエージェントがその自律性に値することを証明する方法を説明します。評価を通過した後は、AIエージェントのセキュリティと人間による承認制御が稼働中の安全性を保つための管理手法を、エージェント型AI自動化サービスがデリバリーをカバーします。最初の90日間の運用計画では、このハーネスゲートを90日間のパイロットシーケンス全体の中に位置づけています。

目次

• ユニットテストだけではエージェントに不十分な理由
• 影響度ティア × 採点手法：ハーネスフレームワーク
• ハーネスの構築
• Go/No-Goゲート：本番データアクセスの開始点
• AIの役割
• 代替手法と選択基準
• 存在する納品実績と存在しないもの
• このガイドの限界
• よくある質問
• 次のステップ

ユニットテストだけではエージェントに不十分な理由

従来のテストスイートは、一つの関数と一つの期待出力を照合します。一方、エージェントは複数のモデル呼び出しを連鎖させ、どのツールをどの順序で呼び出すかを選択し、スタックトレース・空の結果・想定外のテキストページなど、ツールが返すあらゆる値に反応します。同じ入力を2回実行しても、異なるツールシーケンスが生成されることがあり、そのどちらも正しい場合も、それぞれ異なる形で誤っている場合もあります。NISTの生成AIプロファイルはこの点を明確に指摘しています：組織は生成AIシステムの能力を把握するために、デプロイ前にテスト・評価・検証・確認（TEVV）を実施すべきであり、デモが通過したからといって一般化できると想定してはなりません。エージェントにとって、テスト対象は単一の回答ではなく軌跡全体です——どのツールを、どの引数で、どの順序で呼び出したか、そして戻り値に対して何をしたか、という点がすべてです。

OWASP Top 10 for Agentic Applicationsは、同じギャップを攻撃者の視点から整理しています：開発者が想定したケースで正しく動作するエージェントであっても、汚染されたドキュメントによってハイジャックされたり、正当なツールを安全でない方法で誤用したり、一つの不正入力から多段階の障害を連鎖させたりする可能性があります。ハーネスは、エージェントが顧客やビジネスにとって損失の許されないデータを扱う前に、通常の障害と敵対的な障害の両方を捕捉するために存在します。

影響度ティア × 採点手法：ハーネスフレームワーク

すべてのテストケースを、エージェントが実行できるアクションの影響度ティア——人間の承認が必要なアクションを決定する際に使用するティアと同じ分類——で分類し、各ティアにその障害を実際に捕捉できる採点手法を対応させます。決定論的チェックは安価で正確であり、フォーマットやツール選択のエラーを捕捉するのに優れています。モデルが別のモデルの出力を採点するLLM-as-judgeは低速でキャリブレーションが必要ですが、自由形式の回答を根拠性やトーンの観点でスコアリングできる唯一の実用的な手法です。

最終的な回答のみをチェックするケースは、エージェント障害のほとんどを見落とします。軌跡をスコアリングしてください：どのツールが、どの引数で、どの順序で呼び出されたかを承認済みの参照パスと比較し、テストがアサートするエンドステート（レコード、メッセージ、台帳）を確認します——モデルが自分自身について書いたサマリーではなく。

Go/No-Goゲート：本番データアクセスの開始点

ハーネスは、一つの特定の変更（新しいエージェント、新しいツール、新しいモデル、新しいプロンプトバージョン）に対してYes/Noの質問に答えます：現在の敵対的セットとリグレッションセットで、フリーズされたベースラインに対して測定した際に、すべての不可逆ティアの閾値をクリアしているかどうか。Yesであれば指名された担当者が承認し、エージェントの認証情報はサンドボックスのスコープから実システムへと拡大されます。これはAIエージェントセキュリティガイドに記載された最小権限のアイデンティティ設計に従います。Noであれば、読み取り専用ケースでどれだけ優れた成績を収めたとしても、その変更はサンドボックスに留まります。ゲートはデプロイメントパイプラインで強制されます——コードレビュアーがプルリクエストをゲートするのと同じ方法で——エージェントや単一のエンジニアがリリース当日に判断するものではありません。

最初のリリース時だけでなく、プロンプト・モデル・ツールのすべての変更において完全なスイートを再実行してください：OWASPのAgentic Security Initiativeは、変更されたプロンプトテンプレートや交換されたモデルを新たな攻撃面として扱い、NISTのプロファイルは測定を継続的なものとして扱います——デプロイ前の一回限りのスタンプではありません。

代替手法と選択基準

このテーブルのどこまで進むかは4つの要因で決まります：最悪のアクションの可逆性、入力が社外から来る割合（メール、アップロードファイル、Webページ）、1日あたりの実行ケース数、そして誤った回答が顧客に直接届くか人が最初に確認するか。一つのチームが使用する読み取り専用の社内エージェントは、最初の四半期は手動スポットチェックで止まることが多いでしょう；顧客にお金を送ったりメッセージを送ったりするエージェントはそうはいきません。

存在する納品実績と存在しないもの

• 存在するもの。Netbaseは、名前が公開されていないクライアントにAIプロジェクトを納品しており、システムがレビューダッシュボードに到達またはゴーライブする前にテストと最適化フェーズがマイルストーンとして記録されています。これには上記のモデレーションとチャットボットの実績、および匿名化されたRAG・ドキュメントAI・MLOpsパイプラインが含まれます。Netbaseは公開されているセキュリティプラクティスに従っています：セキュアコードレビュー、転送時TLS・保存時AES暗号化、ロールベースアクセス制御、管理者ダッシュボードのMFA、脆弱性スキャン、ペネトレーションテスト。Netbaseは自社の運用においてISO 27001認証とSOC 2 Type II証明を保有しています。
• 存在しないもの。Netbaseの公開実績に、スタンドアロンの評価ハーネス製品、テストケース数、合格率、敵対的テスト結果、またはエージェントのインシデント数を名指しするものはありません。決済またはERPシステムへの無人書き込みアクセスを持つ自律エージェントを説明する実績もありません。Netbaseの認証はNetbase自身の運用をカバーするものであり、クライアントのエージェントやその評価結果を認証するものではありません。

このガイドの限界

• これは一般的なエンジニアリングガイダンスであり、特定のエージェントが安全であることの認証・監査・保証ではありません；上記の閾値とティアは、エージェントが実際に実行できるアクションに適応するための出発点の構造です。
• 生成AIの評価手法はまだ未成熟な分野です：NISTのプロファイル自体、多くの有用なテストにはまだ合意された公開ベンチマークが存在しないと指摘しており、本番環境に新たな障害モードが現れるにつれてテストケースを改訂することが予想されます。

次のステップ

構築または拡張しようとしているエージェントと、最終的に接続するシステムをご共有ください。本番データに近づく前に、テストケースのティア、サンドボックス、Go/No-Goゲートを設計するためのソリューションレビューをご予約いただけます。AI自動化とエージェントやNetbase JSCのインサイトもご覧ください。

関連サービスとソリューション