エージェントAIアーキテクチャにおけるヒューマン・イン・ザ・ループ制御：チェックポイントの配置場所

このガイドは、エージェントアーキテクチャを設計・レビューするCTOやエンジニアリングリード、および運用ワークフローのどの部分をエージェントが単独で実行すべきかを判断するテクニカルプロダクトオーナーを対象としています。AIエージェントとワークフロー自動化の比較ガイドでは、タスクにエージェントが必要かどうかを判断します。AIエージェントのセキュリティと人間承認制御ガイドでは、インジェクションや非準拠の自動意思決定に対する単一の承認ゲートを保護します。このページはその中間に位置します。エージェントが存在し、ゲートが必要とわかった後、コントロールループのどこにゲートを配置するか、またシステムが待機中も機能し続けるかを設計します。

このガイドの内容

• コントロールループには、1か所ではなく3か所の人間介入ポイントがある
• パターンの選択
• チェックポイント配置マトリクスの構築
• 状態とチェックポイントの設計：一時停止中に保持すべきもの
• AIとチェックポイント設計の交差点
• 存在する納品実績と存在しないもの
• 代替アプローチと選択基準
• このガイドの限界
• よくある質問
• 次のステップ

コントロールループには、1か所ではなく3か所の人間介入ポイントがある

エージェントは「認識→判断→行動」のループで動作します。コンテキストを読み取り、ツール呼び出しを提案し、（ゲートが適用される場合は）行動の前に決定を待ちます。多くのチームはデフォルトで1つのチェックポイント形式——誰かが回答するまでブロックするチャットメッセージ——を採用します。それは最初に構築するには最も簡単だからです。しかし、スケールすると最も遅くなり、セキュリティと承認ガイドが指摘するように、承認者が内容を確認せずに承認する習慣を生み出す形式でもあります。3つの形式が存在し、アーキテクチャはデフォルトではなく、意図的にその中から選択すべきです。

• 同期ブロッキング。ゲート対象のステップで実行が停止し、人間が回答するまでそのラン内の下流処理は何も進みません。
• 非同期キュー。ゲート対象のアクションはキューまたは耐久性のあるプロミスに書き込まれ、ランは他の独立した処理を継続します。エージェント（または次のラン）は回答が届いた時点でそれを受け取ります。
• 楽観的実行と補償アクション。ステップは即座に実行され、事前に構築された取り消し処理（返金、送信取り消し、ロールバック）がキューに入ります。人間は事後にレビューし、必要であれば取り消しをトリガーします。

パターンの選択

状態とチェックポイントの設計：一時停止中に保持すべきもの

同期ゲートは、待機中に他の処理が発生しないため、実行中のプロセス内に状態を保持することができます。非同期および楽観的パターンはそれができません。プロセスが再起動したり、ワーカーが停止したり、待機が数時間に及ぶ可能性があるからです。耐久性のある実行プラットフォームとエージェントフレームワークは同じ答えに収束しています——状態をプロセスメモリの外部に、ランまたはスレッドIDをキーとして永続化し、ランを最初から再実行するのではなく、一時停止した正確な場所から再開します。エージェントチェックポイントで最も重要な4つのフィールドは次のとおりです：エージェントがここまでに読み込んだ入力（RAGアーキテクチャガイドのようにランがナレッジベースに触れる場合の取得済みコンテキストを含む）、正確に提案されたツール呼び出しとそのパラメータ、承認レスポンスが紐付けられる安定したランまたはスレッド識別子、そして冪等性キー——再開されたランは通常、一時停止したステップの先頭から再入力するため、課金や重複メッセージなどの副作用を繰り返してはならないからです。LangChainの割り込み・再開モデルは一時停止時に完全な状態スナップショットを永続化し、再開時に復元します。クラウドワークフローのコールバックパターン（例：AWS Step Functions方式のタスクトークン）は、ライブスレッドを保持するのではなく、一時停止したステップを可視状態・課金アイドル状態に保ちます。Restateのawakeablesのような耐久性プロミスパターンは、承認をプロセス再起動後も生存するコールバックIDに紐付けます。これは製品の推薦ではありません。Netbaseは主要な商用およびオープンソースのAIツールとモデルをプロジェクトごとに選択して使用しており、チェックポイントはプロジェクトがすでに使用しているオーケストレーション層に合わせて設計します。

存在する納品実績と存在しないもの

• 存在するもの。Netbaseは名前を明かせないクライアント向けにAIを納品しており、上記のモデレーションとチャットボットの実績を含め、エージェントの出力やアクションが人間向けキューやCRMワークフローで待機または同期されています。Netbaseは自社のセキュリティプラクティス（セキュアコードレビュー、転送時TLSと保存時AES暗号化、ロールベースアクセス制御、管理ダッシュボードへのMFA、脆弱性スキャンとペネトレーションテスト）に従い、自社の運用についてISO 27001認証とSOC 2 Type II認証を取得しています。詳しくはセキュリティとコンプライアンスをご覧ください。
• 存在しないもの。Netbaseの公開実績には、一時停止されたエージェントランの再開時間、キュー深度、承認率、インシデント数を記載したものはなく、特定の納品でどのオーケストレーションフレームワークやワークフローエンジンを使用したかを明記したものもありません。Netbaseの認証は自社の運用を対象としており、クライアントのシステムには及びません。

代替アプローチと選択基準

上記マトリクスと同じ4つの基準がこれらの行間の選択を決定します：最悪ケースの可逆性、ビジネスが許容するレイテンシ、実際のケースにおける実測確信度、そしてテスト済みの補償アクションが存在するかどうか。

このガイドの限界

• このガイドはアーキテクチャパターンを説明するものであり、特定フレームワークの保証を説明するものではありません。オーケストレーション層やワークフローエンジンはそれぞれ割り込み、コールバック、耐久性プロミスパターンを微妙に異なる形で実装しており、引用したソースはそれぞれのプロダクトの動作を説明するものであって、普遍的な標準ではありません。
• このガイドは一般的なエンジニアリングガイダンスであり、法的アドバイスではありません。EU AI ActやGDPRのもとでエージェントの意思決定に人間の監視が必要かどうかは、AIエージェントのセキュリティと人間承認制御ガイドで扱う法的評価の問題であり、このガイドの範囲外です。

よくある質問

すべてのエージェントアクションに人間のチェックポイントが必要ですか？いいえ。読み取り専用および低リスクの可逆的アクションはチェックポイントなしで実行できます。このガイドのマトリクスは、可逆性が低い、レイテンシ予算が厳しい、または確信度が未証明のアクションのみをチェックポイントにルーティングし、残りについては一時停止形式を選択します。

なぜすべてのエージェントランを人間が回答するまでブロックしないのですか？最もシンプルなパターンですが、スループットが承認者の速度に上限され、すべてのアクションに継続して適用すると、承認者が内容を確認せずに承認する習慣が生まれます。精度が実際のケースで証明されたら、定型・可逆的なアクションを非同期キューまたは楽観的パターンに移行してください。

エージェントが承認待ちで一時停止している間にプロセスが再起動した場合はどうなりますか？状態がプロセスメモリのみに保持されている場合、一時停止は失われます。ランまたはスレッドIDをキーとし、提案されたアクションと冪等性キーを保持する耐久性のあるチェックポイントがあれば、どのオーケストレーション層がチェックポイントを書き込んでいても、ステップを再実行せずに一時停止した場所から再開できます。

次のステップ

設計中のエージェント、提案するアクション、そして意思決定がどれくらいの時間待てるかをお知らせください。ソリューションレビューを予約して、チェックポイントの配置と再開に必要な状態の設計をお手伝いします。AI自動化とエージェントやNetbase JSCのインサイトもご覧ください。

関連サービスとソリューション