AIエージェントのインシデント対応とロールバック：エージェントが誤作動した場合の対処法

このガイドは、稼働中のエージェントが誤った操作を行った際に最初に対応するCTOまたはエンジニアリングリード、およびエージェントを本番環境に復帰させるかどうかを判断するオペレーションまたはリスク担当者を対象としています。AIオートメーションガイドではどのプロセスにエージェントを導入するかを決定し、エージェント型AIオートメーションサービスでは開発・提供を扱っています。本ページは、エージェントがすでに意図しない形でシステムに対して操作を実行した後の段階から始まります。

このガイドの内容

• AIエージェントが誤作動した後、最初の15分間に何をすべきか？
• すべての操作を元に戻せるわけではありません：修正を約束する前に可逆性をテストしてください
• 封じ込めから復旧までのランブック
• 5つの結果とそれぞれの条件
• AIの活用について
• 存在する納品実績と存在しないもの
• 代替案：エージェントのインシデント対応を誰が担当するか
• このガイドの限界
• よくある質問
• 次のステップ

AIエージェントが誤作動した後、最初の15分間に何をすべきか？

最初の15分間は診断ではなく封じ込めに充てます。エージェントを停止し、認証情報とトークンを失効させ、誰かが調査している間にエージェントが同じ操作を繰り返せないことを確認します。エージェントのログ記録を止めるだけのコントロールでは何も封じ込められていません。停止処置はエージェントのアクセス権限に対して行う必要があり、可視性だけに対してではありません。モデルはプロンプト内のシャットダウン指示に従うとは限らないためです。何かを元に戻す前に、実行記録を保全してください。プロンプトとモデルのバージョン、すべてのツール呼び出しとそれが触れたレコード、保有していた権限、および最終出力を記録します。AIエージェントのインシデントはシステムが技術的に「失敗した」かどうかではなく、ビジネス上の影響によって定義されます。完了したタスクが顧客や台帳に誤った結果をもたらした場合、それはすでにインシデントです。

オブザービリティとキルスイッチのガイドでは、このフェーズが依存するトレースと停止の設計を扱っています。本ページはその停止がすでに実行された、あるいは実行されるべきだった瞬間から始まります。オペレーティングモデルガイドでは封じ込めが必要な場合に誰に連絡するかを定義しています。オペレーションオーナーの役割がこのフェーズ、リスク・コンプライアンスオーナーの役割は次のフェーズから始まります。

すべての操作を元に戻せるわけではありません：修正を約束する前に可逆性をテストしてください

ロールバックの実現可能性は、エージェントが何をしたかによって完全に異なります。内部の管理されたシステムへの書き込みは多くの場合直接ロールバック可能ですが、システム外部に出た操作（送信したメール、提出した支払い、顧客がすでに読んだメッセージ）は通常補償しかできず、元に戻すことはできません。制限されたデータの漏洩など一部の結果はどちらでもありません。「ロールバック」を誰かに約束する前に、影響を受けたすべての操作を以下の3つのクラスのいずれかに分類してください。

どのクラスに該当するかを決定してから、どれだけ緊急に対応するかを判断してください。同じバグから始まったとしても、数分以内に発見された技術的にロールバック可能なエラーと、すでに顧客に届いた補償のみ可能なエラーは、全く異なるインシデントです。

5つの結果とそれぞれの条件

インシデントを起こしたエージェントはデフォルトで「通常通り実行」に戻りません。5つの結果の中から意図的に選択してください。それぞれに独自の再有効化基準があります。

• 復帰させる：原因が特定・完全に修正され、リスクが低かった場合。まずシャドウモードまたは承認モードで修正を検証してから復帰させます。いきなり完全自律に戻さないでください。
• 制限する：エージェント自体は有用だが権限が過大だった場合。権限スコープを絞るか、障害が発生した操作クラスに承認ゲートを追加します。
• ロールバックする：プロンプトの編集、モデルの更新、新しいツールや権限など最近の変更が問題を引き起こした場合。最後に正常と確認されたバージョン固定の設定に戻します。
• 再設計する：ワークフロー、依存データ、またはツール構造に問題がある場合。部分的な修正では持続せず、タスクを異なる方法で分割する必要があります。
• 廃止する：インシデントにより、このプロセスではエージェントがもたらすリスクが価値を上回ることが示された場合。廃止は修正の失敗ではなく、正当な結果です。

封じ込まれたエージェントを最初の3つの結果のいずれかに復帰させる前に確認してください。原因が文書化されていること、インシデントに関わった認証情報がローテーションされていること、監査証跡がエンドツーエンドで完全であること、ロールバックパスが想定ではなく実際にテストされていること、修正が実際のトラフィックでシャドウモードまたは承認モードをパスしていること、そして名前の付いた担当者が復帰後のモニタリングを担当していることです。早急に再開するためにこのチェックリストをスキップすることは、検証済みの修正を未検証の同じ失敗の繰り返しと引き換えにすることになります。

存在する納品実績と存在しないもの

存在するもの。Netbase JSC は名前を公開していないクライアントへのAIプロジェクトを納品しており、そのマイルストーンにはシステムがレビューダッシュボードに到達する前または稼働前のテストと最適化フェーズが含まれています。クラシファイドマーケットプレイス向けAIコンテンツモデレーションモデル（F113）、CRM連携WhatsApp AIチャットボット（F115）、および匿名化されたRAG、ドキュメントAI、MLOpsエンゲージメント（F072）です。Netbase JSC 自身のセキュリティプラクティスにはロールベースアクセス制御、MFA、脆弱性スキャン（F021）が含まれており、これらはインシデントの封じ込めと認証情報失効ステップが依存するコントロールです。また Netbase JSC は自社の運営においてISO 27001認証とSOC 2 Type II認定を取得しています（F022、F051、F052）。

存在しないもの。公開されたNetbase JSCの記録の中に、エージェントのインシデント件数、復帰時間、ロールバック件数、または根本原因の検出所要時間を記載したものはありません。この封じ込め・保全・評価・決定というシーケンスを本番環境で実際に経験したライブエージェントを記述した記録もありません。Netbase JSCの認証は Netbase JSC 自身の運営を対象としており、クライアントのエージェント、そのデータ、またはロールバックパスには適用されません。

代替案：エージェントのインシデント対応を誰が担当するか

Netbase JSC のカスタム開発では、クライアントがそのために作成されたIPを所有します。ほとんどのプロジェクトはディスカバリー後に合意された固定価格契約で進み、より適した場合にはマイルストーンベース、月次チームリテーナー、KPIリンク型の条件も提供しています（F067、F069）。

このガイドの限界

• これはエンジニアリングおよびオペレーションのランブックであり、法的・規制・コンプライアンス上のアドバイスではありません。特定のインシデントが法的に何を必要とするかは、関係するデータ、業種、管轄によります。
• このガイドの数値はベンチマークではありません。インシデント件数、復帰時間、ロールバック成功率はいずれも公開されていません。Netbase JSCのファクトとして登録されているものがないためです。
• 可逆性クラスと5つの結果の決定は出発点となる構造であり、認定フレームワークではありません。規制上の報告義務を持つ企業は、独自の開示要件を別途確認する必要があります。

次のステップ

稼働中または稼働予定のエージェントと、そのエージェントが書き込み可能なシステムについてお知らせください。ソリューションレビューのご予約を通じて、可逆性分類、復旧ランブック、再有効化チェックリストの設計をご支援します。エンタープライズAIエージェントプラットフォームソリューションもご覧いただけます。またNetbase JSCのインサイトもご参照ください。

関連サービスとソリューション