AIエージェント評価ハーネス：本番データに触れる前にエージェントをテストする

このガイドは、中堅企業のAIエージェントがCRM・ERP・メールボックス・決済システムに触れることを許可する決定を担うCTO・エンジニアリングリード・デリバリーまたはQAリード向けです。業務オペレーション向けAI自動化ガイドではプロセスにどこまで自律性を与えるかを決定しますが、このページではエージェントが本番稼働する前にその自律性を得るに値することを証明する方法を扱います。評価をパスした後は、AIエージェントのセキュリティと人間承認コントロールが稼働中の安全を維持するためのコントロールを、エージェント型AI自動化サービスがデリバリーを説明しています。最初の90日間オペレーションプランでは、このハーネスゲートを90日間パイロットシーケンス全体の中に位置づけています。

このガイドの内容

• ユニットテストだけでは不十分な理由
• 影響度ティア×グレーダータイプ：ハーネスフレームワーク
• ハーネスの構築
• Go/No-Goゲート：本番データアクセスが始まる場所
• AIの位置づけ
• 代替手段と選択基準
• 存在するデリバリー実績と存在しないもの
• このガイドの限界
• よくある質問
• 次のステップ

ユニットテストだけでは不十分な理由

従来のテストスイートは1つの関数を1つの期待出力に対して検証します。一方、エージェントは複数のモデル呼び出しを連鎖させ、どのツールをどの順序で呼び出すかを選択し、スタックトレース・空の結果・予期しないテキストページなど、ツールが返すあらゆる内容に反応します。同じ入力を2回実行しても異なるツールシーケンスが生成される場合があり、その両方が正しいこともあれば、それぞれ異なる形で間違っていることもあります。NISTのGenerative AI Profileはこの点を明確に指摘しています：組織は生成AIシステムの能力を把握するために、デプロイメント前にTEVV（テスト・評価・検証・確認）を実施すべきであり、デモが通過したからといって汎化を仮定してはならない、と。エージェントにとってテスト対象となるのは、軌跡全体です：どのツールをどの引数で、どの順序で呼び出し、返ってきた結果をどう処理したか、単一の回答ではありません。

OWASP Top 10 for Agentic Applicationsは同じギャップを攻撃者の視点から示しています：開発者が想定したケースで正しく動作するエージェントでも、毒入りドキュメントによってハイジャックされたり、正当なツールを安全でない方法で悪用したり、1つの悪い入力をマルチステップの障害に連鎖させたりする可能性があります。ハーネスは、顧客やビジネスが失うことのできないデータをエージェントに委ねる前に、通常の失敗と敵対的な失敗の両方を捕捉するために存在します。

影響度ティア×グレーダータイプ：ハーネスフレームワーク

各テストケースを、エージェントに許可されているアクションによって分類します。これは人間の承認が必要なアクションを決定する際に使用するのと同じ影響度ティアであり、各ティアを実際にその失敗を捕捉できるグレーディング手法と組み合わせます。決定論的チェックは低コストで正確であり、フォーマットとツール選択のエラーの検出に優れています。モデルが別のモデルの出力を評価するLLM-as-judgeは低速で独自のキャリブレーションが必要ですが、オープンエンドな回答の根拠や文調をスコアリングする唯一の実用的な方法です。

最終回答のみをチェックするケースは、エージェントの失敗のほとんどを見逃します。軌跡をスコアリングしてください：どのツールをどの引数でどの順序で呼び出したかを承認済みの参照パスと比較し、さらにテストが主張するエンドステート（レコード、メッセージ、台帳）を確認します。モデルが自分について書いたサマリーではありません。

Go/No-Goゲート：本番データアクセスが始まる場所

ハーネスは1つの特定の変更（新しいエージェント、新しいツール、新しいモデル、新しいプロンプトバージョン）に対してYes/Noの質問に答えます：現在の敵対的セットとリグレッションセット上で、フリーズされたベースラインと比較して、すべての不可逆ティアの閾値をクリアしているか？Yesの場合、指名された人物がサインオフし、エージェントのクレデンシャルがサンドボックスのスコープから実際のシステムへと拡大されます。これはAIエージェントセキュリティガイドの最小権限のアイデンティティ設計に従います。Noの場合、読み取り専用ケースでどれだけ良いパフォーマンスを示しても、変更はサンドボックスに留まります。ゲートはデプロイメントパイプラインで強制されます。コードレビュアーがプルリクエストをゲートするのと同様に、エージェントや単一のエンジニアのリリース当日の判断に委ねられません。

最初のリリース時だけでなく、プロンプト・モデル・ツールの変更ごとにフルスイートを再実行してください。OWASPのAgentic Security Initiativeは変更されたプロンプトテンプレートやモデル交換を新しい攻撃面として扱い、NISTのプロファイルは測定を継続的なものとして扱います。一度限りのデプロイ前スタンプではありません。

代替手段と選択基準

このテーブルのどこまで上がるかを決める要因は4つです：最悪のアクションがどの程度可逆か、入力がどの程度社外から来るか（メール、アップロードファイル、Webページ）、1日に何件のケースが実行されるか、そして誤った回答が顧客に直接届くか人が先に確認するか。1チームが使う読み取り専用の内部エージェントは、最初の四半期は手動スポットチェックで止められることが多いですが、送金や顧客へのメッセージ送信を行うエージェントはそうはいきません。

存在するデリバリー実績と存在しないもの

• 存在するもの。Netbase JSCは名前を公表していないクライアントへのAIプロジェクトをデリバリーしており、システムがレビューダッシュボードに達したり本番稼働する前のテストおよび最適化フェーズが記録されたマイルストーンに含まれています。上記のモデレーションとチャットボットの実績、および匿名化されたRAG・ドキュメントAI・MLOpsパイプラインが含まれます。Netbase JSCは公開されているセキュリティプラクティスに従っています：セキュアコードレビュー、通信時のTLSおよび保存時のAES暗号化、ロールベースアクセスコントロール、管理ダッシュボードのMFA、脆弱性スキャンおよびペネトレーションテスト。Netbase JSCは自社の運用においてISO 27001認証とSOC 2 Type II証明を保持しています。
• 存在しないもの。Netbase JSCの公開実績には、スタンドアロンの評価ハーネス製品・テストケース数・パス率・敵対的テスト結果・エージェントのインシデント数を名指ししたものはありません。決済システムやERPシステムへの無人書き込みアクセスを持つ自律型エージェントについての実績もありません。Netbase JSCの認証はNetbase JSC自身の運用をカバーするものであり、クライアントのエージェントやその評価結果を認証するものではありません。

このガイドの限界

• これは一般的なエンジニアリングガイダンスであり、特定のエージェントが安全であるという認証・監査・保証ではありません。上記の閾値とティアは、エージェントが実際に実行できるアクションに適応するための出発点の構造です。
• 生成AIの評価手法はまだ未成熟な分野です：NISTのプロファイル自体が、多くの有用なテストにはまだ合意された公開ベンチマークがないと指摘しており、本番環境で新しい失敗モードが現れるにつれてテストケースを改訂することが見込まれます。

次のステップ

構築または拡張しようとしているエージェントと、最終的に触れるシステムをお知らせください。本番データに近づく前に、テストケースティア・サンドボックス・Go/No-Goゲートを設計するソリューションレビューをご予約いただけます。AI自動化とエージェントやNetbase JSCのインサイトもご覧ください。

関連サービスとソリューション