내부 지식 어시스턴트를 위한 RAG 아키텍처: 근거 기반 답변을 위한 설계 결정

이 가이드는 직원 대상 어시스턴트의 검색 파이프라인을 설계하는 아키텍트와 엔지니어링 리드를 위한 것입니다. 각 결정 사항과 기본값을 설명합니다. 엔지니어링 구현을 원하신다면 엔터프라이즈 지식 및 RAG 서비스를, 패키지화된 제품 뷰는 AI 지식 어시스턴트를 참조하십시오. 지식 어시스턴트는 비즈니스 운영을 위한 AI 자동화 가이드에서 다루는 AI 단계 중 하나입니다.

이 가이드의 내용

• 검색이 품질을 결정하는 이유
• 파이프라인 결정 사항 한눈에 보기
• 수집 및 청킹
• 검색: 키워드, 벡터, 또는 하이브리드
• 권한: 모델이 보기 전에 필터링하기
• 최신성 및 삭제
• 근거 기반 답변 및 거부
• RAG 시스템 평가하기
• RAG, 긴 컨텍스트, 파인튜닝, 또는 검색: 대안과 선택 기준
• RAG 파이프라인에서의 AI
• 어떤 납품 기록이 있고, 없는 것은 무엇인가
• 이 가이드의 한계
• 자주 묻는 질문
• 다음 단계

검색이 품질을 결정하는 이유

2020년 Lewis와 동료들이 소개한 검색 증강 생성(RAG)은 언어 모델과 외부 인덱스를 결합합니다. 시스템이 먼저 질문과 관련된 구절을 찾은 후 모델에게 해당 구절을 바탕으로 답변하도록 요청합니다. 기업 지식의 경우 이 방식이 두 배로 중요합니다. 모델은 귀사의 계약이나 절차에 대해 학습한 적이 없으며, 해당 문서들은 매주 변경됩니다.

그 결과는 놓치기 쉽습니다. 어시스턴트가 잘못된 답변을 줄 때, 원인은 대개 모델의 상위 단계에 있습니다. 올바른 구절이 인덱싱되지 않았거나, 잘못된 위치에서 분할되었거나, 노이즈 아래로 순위가 밀렸거나, 필터링으로 제외된 것입니다. 모델을 교체해도 이 문제는 거의 해결되지 않습니다. 아래의 결정 사항들이 바로 품질이 결정되는 지점입니다.

파이프라인 결정 사항 한눈에 보기

수집 및 청킹

크롤링이 아닌 소스 목록 작성부터 시작하십시오. 각 시스템에 대해 소유자, 접근 모델, 업데이트 빈도, 그리고 해당 소스가 현재 버전의 정보를 보유하고 있는지 기록하십시오. 중복 및 오래된 사본은 확신에 찬 잘못된 답변의 가장 흔한 원인이므로, 인덱싱 전에 어떤 소스가 우선인지 결정하십시오.

청킹은 검색에 가장 큰 영향을 미치는 결정입니다. 고정 크기 윈도우는 단순하지만 절차와 표를 반으로 자릅니다. 구조 인식 청킹은 제목, 목록 항목 또는 표 행에서 분할하고 각 청크와 함께 제목 경로를 저장하여, "환불 > 파손 상품 > EU 외 지역"으로 표기된 구절을 독립적으로 찾고 인용할 수 있게 합니다. 긴 절차의 경우 매칭을 위해 작은 청크를 인덱싱하되 모델에는 상위 섹션을 전달하여 전체 단계 목록을 볼 수 있게 합니다. 모든 청크에 문서 메타데이터(소스, 소유자, 접근 권한, 버전, 날짜)를 유지하십시오.

검색: 키워드, 벡터, 또는 하이브리드

벡터 검색은 다른 단어로 같은 의미를 표현한 구절을 찾습니다. 키워드 검색은 정확한 일치를 찾습니다. 제품 코드, 계약 번호, 이름, 임베딩이 흐릿하게 만드는 내부 용어가 그 예입니다. 기업 질문은 두 가지를 모두 포함하므로 하이브리드 검색이 권장 기본값입니다. Microsoft의 검색 서비스 문서는 일반적인 패턴을 설명합니다. 전체 텍스트와 벡터 쿼리를 병렬로 실행하고 상호 순위 융합으로 두 순위 목록을 병합하는 방식입니다.

재순위화 모델은 각 후보를 질문과 함께 읽고 재순위화합니다. 1단계 검색보다 느리므로 후보에 대해서만 실행하며, 답변 품질에 대한 가장 저렴한 단일 개선책인 경우가 많습니다. 최종 세트는 짧고 다양하게 유지하십시오. Liu와 동료들은 "Lost in the Middle"에서 모델이 긴 컨텍스트의 시작과 끝에 있는 정보를 중간의 정보보다 더 잘 활용한다는 것을 보였습니다. 따라서 더 많은 컨텍스트가 자동으로 더 좋은 것은 아닙니다.

권한: 모델이 보기 전에 필터링하기

어시스턴트는 질문자가 열 수 없는 문서를 절대 인용해서는 안 됩니다. 프롬프트가 아닌 검색 단계에서 이를 적용하십시오. 각 청크에 접근 권한을 저장하고, 검색 쿼리에 질문자의 신원과 그룹을 전달하며, 생성 전에 볼 수 없는 항목을 제거하십시오. 생성 후 필터링하거나 모델에 제한 콘텐츠를 숨기도록 요청하면 요약과 힌트를 통해 정보가 유출됩니다.

OWASP는 2025년 LLM 애플리케이션 Top 10의 LLM08에 벡터 및 임베딩 취약점을 포함시켰습니다. 인덱스를 통한 무단 접근, 공유 벡터 스토어의 교차 테넌트 유출, 오염된 콘텐츠가 포함됩니다. 이 설계와 일치하는 완화 조치는 벡터 스토어에 대한 세밀한 권한 인식 접근, 신뢰할 수 있는 소스로부터의 검증된 수집, 접근 수준에 따른 콘텐츠 분류, 검색의 불변 로그입니다. 어시스턴트가 답변뿐만 아니라 행동도 할 수 있는 경우 AI 에이전트 보안 가이드의 제어 사항도 적용됩니다.

최신성 및 삭제

기업 지식은 변경되며, 인덱스는 이를 반영해야 합니다. 소스 시스템이 변경 이벤트를 제공하는 경우 이벤트 기반으로 재인덱싱하고, 그렇지 않은 경우 일정에 따라 재인덱싱하십시오. 각 청크와 함께 최종 업데이트 날짜를 저장하고 인용 옆에 표시하여 사용자가 정책 구절이 2년 된 것임을 확인할 수 있게 하십시오. 삭제는 업데이트만큼 중요합니다. 문서가 철회되거나 사람의 접근 권한이 취소되면, 인덱스는 데이터 정책이 약속하는 시간 내에 이를 반영해야 하며, 질문과 답변의 보존도 별도의 규칙이 필요합니다.

근거 기반 답변 및 거부

생성 단계는 계약입니다. 구절에서 답변하고, 각 주장을 구절에 인용하며, 구절이 답변을 지원하지 않을 때 문서 소유자를 가리키며 "모릅니다"라고 말하십시오. NIST의 생성형 AI 프로파일은 거짓 내용을 확신하며 진술하는 환각(confabulation)을 생성형 AI의 핵심 위험 중 하나로 꼽습니다. 인용과 거부가 사용자가 이를 확인하는 방법입니다. HR, 법무, 재무 등 규제 분야의 경우 직접 답변 대신 검토 대기 큐에 초안으로 라우팅하십시오.

RAG, 긴 컨텍스트, 파인튜닝, 또는 검색: 대안과 선택 기준

네 가지 기준이 결정합니다. 지식이 얼마나 자주 변경되는지, 다른 사람이 다른 문서를 볼 수 있는지, 답변이 소스로 추적 가능해야 하는지, 관련된 문서가 얼마나 많은지입니다. 실제로 접근 방식들은 결합됩니다. 사실에는 RAG, 형식에는 가벼운 파인튜닝 또는 지침, 폴백으로 검색을 사용합니다. 먼저 해결할 지식 문제를 선택하는 것은 엔터프라이즈 AI 준비도 평가의 일부입니다.

어떤 납품 기록이 있고, 없는 것은 무엇인가

• 있는 것. Netbase는 이름이 공개되지 않은 고객을 위해 검색 증강 지식 어시스턴트, 문서 AI, MLOps 파이프라인을 납품했습니다. 익명화된 RAG 기록은 시스템의 종류와 Netbase의 역할을 설명합니다. 납품은 역할 기반 접근 제어, 관리자 대시보드 MFA, 전송 중 TLS, 저장 시 AES, 보안 코드 검토, 취약점 스캐닝을 포함한 Netbase의 보안 관행을 따릅니다.
• 없는 것. 기록에는 고객 이름, 코퍼스 크기, 정확도, 채택률 또는 절감 시간 수치가 공개되지 않으므로 여기서도 제공하지 않습니다. 이 페이지의 기본값은 설계 지침이며, 해당 프로젝트의 측정된 결과가 아닙니다.

이 가이드의 한계

• 기본값은 단일 조직의 문서 및 기록에 대한 내부 어시스턴트에 적합합니다. 공개 챗봇, 멀티 테넌트 제품, 규제 조언에는 추가 제어가 필요합니다.
• 연구 논문과 벤더 문서는 방법에 대한 참고로 인용되며 보증이 아닙니다. 검색 품질은 귀사의 콘텐츠에 따라 다르며 귀사의 질문으로 측정해야 합니다.
• 인덱스의 개인 데이터는 이 가이드가 대체하지 않는 데이터 보호 의무를 수반합니다. GDPR 또는 기타 개인정보 보호법이 적용되는 경우 법적 조언을 구하십시오.

다음 단계

현재 직원들이 검색하는 소스, 누가 무엇을 볼 수 있는지, 실제 질문 10개를 공유해 주시면 검색 설계와 평가 세트를 스케치하기 위한 솔루션 검토를 예약해 드리겠습니다. AI 자동화 및 에이전트를 보거나 더 많은 Netbase 인사이트를 확인할 수도 있습니다.

관련 서비스 및 솔루션