このガイドは、従業員向けアシスタントの検索パイプラインを設計するアーキテクトとエンジニアリングリードを対象としています。各設計判断とそのデフォルト値を解説します。エンジニアリングの実装をご希望の方はエンタープライズナレッジRAGサービスを、製品としての概要はAIナレッジアシスタントをご参照ください。ナレッジアシスタントは、業務オペレーション向けAI自動化ガイドで取り上げているAIステップのひとつです。
このガイドの内容
- 検索品質を左右する理由
- パイプライン設計判断の概要
- インジェスションとチャンキング
- 検索:キーワード、ベクトル、またはハイブリッド
- 権限管理:モデルが参照する前にフィルタリング
- 鮮度と削除
- 根拠ある回答と拒否
- RAGシステムの評価
- RAG、ロングコンテキスト、ファインチューニング、検索:代替案と選択基準
- RAGパイプラインにおけるAI
- 存在する納品実績と存在しないもの
- このガイドの限界
- よくある質問
- 次のステップ
検索品質を左右する理由
LewisらがNeurIPS 2020で発表した検索拡張生成(RAG)は、言語モデルと外部インデックスを組み合わせた手法です。システムはまず質問に関連するパッセージを検索し、次にそれらをもとにモデルが回答を生成します。企業のナレッジ管理においては、この点が二重の意味で重要です。モデルは自社の契約書や手順書をもとに学習していないうえ、それらのドキュメントは毎週更新されるからです。
見落とされがちな重要点があります。アシスタントが誤った回答をする場合、原因はほとんどの場合モデルの上流にあります。適切なパッセージがインデックスに入っていなかった、分割箇所が不適切だった、ノイズの下にランクされた、またはフィルタリングで除外されたのです。モデルを交換してもこれらの問題は解決されません。品質の勝敗は以下の設計判断によって決まります。
パイプライン設計判断の概要
| ステージ | 判断事項 | 推奨デフォルト | 見直しが必要な場合 |
|---|---|---|---|
| インジェスション | 何をどのメタデータで取り込むか | 承認済みソースのみ。各ソースにオーナー、アクセス権限、最終更新日を付与 | ソースにオーナーまたは信頼できる日付がない場合 |
| チャンキング | ドキュメントをどこで分割するか | ドキュメント固有の構造(見出し、セクション、表の行)で分割し、見出しパスを保持 | 回答に手順全体や長い表が必要な場合 |
| 検索 | 候補をどのように見つけるか | キーワードとベクトルのハイブリッド検索。ランク融合でマージ | クエリがほぼすべてコードと名称、またはほぼすべて言い換えの場合 |
| 再ランキング | どの候補をモデルに渡すか | 再ランカーが候補を採点し、短く多様なセットを保持 | レイテンシまたはコストの制限が厳しい場合 |
| 権限管理 | 誰がどのパッセージを閲覧できるか | 検索クエリ内で質問者の権限によるフィルタリング | ソースに機械可読なアクセス権限がない場合 |
| 生成 | 回答をどのように生成するか | パッセージのみから回答し、各主張を引用し、根拠がない場合は回答を拒否 | ユーザーがライブデータの計算を必要とする場合 |
| 評価 | 品質をどのように証明するか | 期待するソースを持つ実際の質問セットを用意し、変更のたびに実行 | 質問の傾向が変化した場合 |
インジェスションとチャンキング
クロールではなく、ソースインベントリから始めます。各システムについて、オーナー、アクセスモデル、更新頻度、および現時点の正確な情報を保持しているかどうかを記録します。重複や古いコピーが自信を持った誤回答の最も一般的な原因であるため、何かをインデックスする前にどのソースが優先するかを決定してください。
チャンキングは検索への影響が最も大きい設計判断です。固定サイズのウィンドウはシンプルですが、手順と表を途中で切り分けてしまいます。構造認識型チャンキングは見出し、リスト項目、または表の行で分割し、見出しパスを各チャンクと一緒に保存します。これにより「返金 > 破損品 > EU域外」というタイトルのパッセージを単独で検索・引用できます。長い手順書の場合は、マッチング用に小さなチャンクをインデックスしつつ、モデルには親セクションを渡すことで、回答がステップリスト全体を参照できます。すべてのチャンクにソース、オーナー、アクセス権限、バージョン、日付のドキュメントメタデータを保持してください。
検索:キーワード、ベクトル、またはハイブリッド
ベクトル検索は、異なる表現で同じ意味のパッセージを見つけます。キーワード検索は、製品コード、契約番号、名称、エンベディングでは曖昧になる社内用語などの完全一致を見つけます。企業の質問はその両方を含むため、ハイブリッド検索が推奨デフォルトです。Microsoftの検索サービスのドキュメントには、一般的なパターンとして全文クエリとベクトルクエリを並列実行し、相互ランク融合(Reciprocal Rank Fusion)で2つのランクリストをマージする方法が説明されています。
次に再ランカーが各候補を質問とともに読み取り、並び替えを行います。第1段階の検索より低速であるため、候補に対してのみ実行されますが、回答品質への単一の改善策として最もコストパフォーマンスが高い場合が多いです。最終セットは短く多様に保ちます。LiuらはLost in the Middleの論文で、モデルは長いコンテキストの中間部分よりも先頭と末尾の情報をより活用することを示しており、コンテキストが多ければ自動的に良くなるわけではありません。
権限管理:モデルが参照する前にフィルタリング
アシスタントは、質問者が開けないドキュメントを引用してはなりません。プロンプトではなく検索の中で強制してください。各チャンクにアクセス権限を保存し、質問者のIDとグループを検索クエリに渡し、生成前に閲覧不可のものを除外します。生成後のフィルタリング、または制限されたコンテンツを差し控えるようモデルに依頼する方法では、要約やヒントを通じて情報が漏洩します。
OWASPはベクトルとエンベディングの脆弱性を2025年LLMアプリケーションTop 10のLLM08として挙げており、インデックスを通じた不正アクセス、共有ベクトルストアでのクロステナントリーク、汚染されたコンテンツが含まれます。その対策はこの設計と一致します。ベクトルストアへの細粒度で権限を考慮したアクセス、信頼できるソースからの検証済みインジェスション、アクセスレベルによるコンテンツ分類、変更不可の検索ログです。アシスタントが回答だけでなくアクションも実行できる場合は、AIエージェントセキュリティガイドのコントロールも適用されます。
鮮度と削除
企業のナレッジは変化し、インデックスもそれに追随する必要があります。ソースシステムが変更イベントを提供する場合はその際に再インデックスし、提供しない場合はスケジュールで実行します。各チャンクに最終更新日を保存し、引用の横に表示することで、ユーザーはポリシーのパッセージが2年前のものであることを確認できます。削除は更新と同様に重要です。ドキュメントが廃止された場合や人物のアクセスが取り消された場合、データポリシーが約束する期間内にインデックスに反映する必要があり、質問と回答の保持については独自のルールが必要です。
根拠ある回答と拒否
生成ステップはひとつの契約です。パッセージから回答し、各主張をパッセージに引用し、パッセージが回答を支持しない場合は「わかりません」と述べてドキュメントのオーナーに誘導します。NISTのGenerative AI Profileは、架空の内容を確信を持って述べるConfabulation(幻覚)を生成AIのコアリスクのひとつとして挙げており、引用と拒否がユーザーによる確認手段となります。HR、法務、財務などの規制対象トピックについては、直接回答せず、レビュー用の下書きキューに回答を振り分けてください。
RAGシステムの評価
-
実際の質問を収集する。
ドキュメントからではなく、チケット、チャットログ、インタビューから収集し、各質問に対して回答すべきソースを記録します。
-
検索を個別に採点する。
各質問について、期待するソースが検索結果セットに含まれているか、またどの位置にランクされているかを確認します。ほとんどの失敗はここで明らかになります。
-
回答を採点する。
パッセージへの忠実度、質問への関連性、引用が正しいソースを指しているかを確認します。Ragasフレームワークはこれらのディメンションに沿ったReference-Free評価指標を提案していますが、サンプルの人手によるレビューは引き続き必要です。
-
拒否と権限をテストする。
ソースに回答のない質問と、テストユーザーが回答を見てはならない質問を含めます。
-
変更のたびにセットを実行する。
チャンキング、ランキング、プロンプト、モデルの変更はすべて結果に影響します。セットが維持されるときのみリリースします。
-
本番環境から学ぶ。
未回答または低評価の質問は、ドキュメントオーナーに何が不足しているかを示し、次のテストセットのフィードバックになります。
RAG、ロングコンテキスト、ファインチューニング、検索:代替案と選択基準
| アプローチ | 得意なこと | 苦手なこと | 選択すべき場合 |
|---|---|---|---|
| RAG | 引用を持つ大規模で変化する権限付きドキュメントセット | インジェスション、権限管理、評価の作業が必要 | 回答が変化する多くのソースから来る必要がある場合 |
| ロングコンテキストプロンプティング | 少数のドキュメントを全文読み込む | 質問ごとのコスト、中間部分への注意、権限管理 | コーパス全体が1つのプロンプトと1つのオーディエンスに収まる場合 |
| ファインチューニング | トーン、フォーマット、ドメイン用語 | 最新の事実、引用、アクセス制御 | 現在の事実よりスタイルが重要な場合 |
| エンタープライズ検索 | ドキュメントを素早く見つける | 回答を合成する | サマリーではなくドキュメント自体が必要な場合 |
4つの基準が判断を左右します。ナレッジがどのくらいの頻度で変化するか、異なる人物が異なるドキュメントを閲覧できるか、回答をソースまで追跡できる必要があるか、そして関与するドキュメントの数です。実際にはアプローチを組み合わせることが多く、事実にはRAG、フォーマットには軽いファインチューニングまたは指示、フォールバックに検索を使用します。どのナレッジ問題を最初に解決するかの選択は、エンタープライズAIレディネス評価の一部です。
RAGパイプラインにおけるAI
AIはパイプラインの複数の箇所に登場し、最終回答だけではありません。ベクトル検索用のエンベディングモデル、再ランカー、オプションのクエリ書き換え、評価中に回答を採点するモデルなどです。それぞれがバージョン管理とテストが必要なコンポーネントです。Netbaseは主要な商用およびオープンソースのAIモデルと連携し、プロジェクトごとに選択して、モデルを交換してもすべてを再インデックスする必要がないパイプラインを構築します。チャットサーフェスはNetbaseのプロダクト化モジュールライブラリのAIチャットボットとWorkChatインテグレーターから開始でき、データとモデルの選択についてはデータとAIスタックで説明しています。以下の各項目は、Netbaseでの成熟度を示しています。
-
納品実績(匿名クライアント):RAGナレッジアシスタント。
企業ナレッジに対する検索拡張アシスタント。名前を伏せたクライアント向けに納品済みです。
-
成長中の機能:根拠ある回答のためのNLPと生成AI。
その実績を超えた企業ナレッジの検索、回答ドラフト作成、評価。公開済みのケースとはまだ紐付いていません。
存在する納品実績と存在しないもの
- 存在するもの。 Netbaseは名前を伏せたクライアント向けに、検索拡張ナレッジアシスタント、ドキュメントAI、MLOpsパイプラインを納品しています。匿名RAG実績はシステムの種類とNetbaseの役割を説明しています。納品はNetbaseのセキュリティ慣行に従っており、ロールベースのアクセス制御、管理ダッシュボードのMFA、転送中のTLS、保存時のAES、セキュアコードレビュー、脆弱性スキャンが含まれます。
- 存在しないもの。 この実績にはクライアント名、コーパスサイズ、精度、採用率、時間節約の数値は公開されていないため、ここではいかなる数値も提示しません。このページのデフォルト値は設計ガイダンスであり、そのプロジェクトから測定された結果ではありません。
このガイドの限界
- このデフォルト値は、1つの組織内のドキュメントと記録に対する社内アシスタントに適しています。パブリックチャットボット、マルチテナント製品、規制対象のアドバイスにはさらなるコントロールが必要です。
- 研究論文とベンダードキュメントは方法論の引用として参照されており、推薦ではありません。検索品質はコンテンツに依存し、自社の質問で測定する必要があります。
- インデックス内の個人データにはデータ保護の義務が生じますが、このガイドはそれに代わるものではありません。GDPRやその他のプライバシー法が適用される場合は法律の専門家に相談してください。
Netbase consultantと次のステップを計画する
よくある質問
RAGの最適なチャンクサイズは何ですか? 唯一の正解はありません。ドキュメント固有の構造で分割し、各チャンクに見出しパスを保持し、評価セットでサイズをテストしてください。適切な回答はポリシー、契約書、チケットによって異なります。
企業ナレッジアシスタントにベクトル検索だけで十分ですか? 通常は不十分です。企業の質問は意味とコードや名前などの完全一致の両方を含むため、再ランカーを備えたキーワードとベクトルのハイブリッド検索がより安全なデフォルトです。
RAGアシスタントが制限ドキュメントを漏洩しないようにするにはどうすればよいですか? すべてのチャンクにアクセス権限を保存し、モデルが何かを参照する前に検索クエリ内で質問者の権限によってフィルタリングし、特定の回答を見てはならないユーザーでテストしてください。
RAGの代わりにモデルをファインチューニングすべきですか? ファインチューニングはスタイルと語彙を形成しますが、事実を最新に保ち、ソースを引用し、アクセス権限を尊重することはできません。変化する企業ナレッジにはRAGが基盤であり、ファインチューニングはオプションの追加要素です。
次のステップ
社員が現在検索しているソース、誰が何を閲覧できるか、実際の質問を10件お知らせいただければ、検索設計と評価セットの概要を説明するためのソリューションレビューをご予約します。AI自動化とエージェントや、Netbaseのインサイトもあわせてご覧ください。
関連サービスとソリューション
人が承認権を持つAI自動化とエージェント
Netbaseは、繰り返し発生する複数ステップの業務をソフトウェアが処理しながら、重要な意思決定の承認を人が保持できる、業務チーム向けのAI自動化とエージェント開発を提供します。ルールベースのワークフロー自動化と付加価値をもたらすAIステップを組み合わせ、人間の承認ポイントを設計に組み込み、構築前に取得したベースラインに対してリターンを測定します。
詳しく見る
エンタープライズAIナレッジアシスタント:アクセス制御付きRAGエンジニアリング
Netbase JSCは社内ナレッジを対象にRAG(検索拡張生成)を構築します。取り込み処理、検索、アクセス権限チェック、出典付き回答、品質評価を通じて、言語モデルが自社の文書やシステムから回答できる環境を実現します。初回プロトタイプからアクセス制御と評価を組み込んだ成長段階のケイパビリティであり、Netbase JSCは非公開クライアント向けにRAGナレッジアシスタントを納品した実績があります。
詳しく見る
AIナレッジアシスタント:社内ナレッジへの引用付き回答とアクセス制御
AIナレッジアシスタントは、社員の質問に対して自社のドキュメントやシステムから回答し、すべての回答に出典を明示して、各ユーザーが閲覧権限を持つ情報のみを表示する社内ツールです。Netbase JSCは成長型機能として提供しており、初回パイロットから検索・評価・人によるレビューを組み込んだ設計で、未公表クライアント向けに1件の納品実績があります。
詳しく見る
プロジェクトを相談する
Netbase JSCは、デジタルプロダクトおよびAI活用ビジネスシステムの設計・開発・モダナイゼーション・運用を支援します。+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
お問い合わせ
構築・モダナイズ・運用したい内容をお聞かせください。