AI 에이전트 평가 하네스: 프로덕션 데이터 접근 전 테스트 방법

이 가이드는 중견 기업의 AI 에이전트가 CRM, ERP, 메일함 또는 결제 시스템에 접근하도록 허용할 결정을 내리는 CTO, 엔지니어링 리더 및 딜리버리·QA 리더를 위한 것입니다. 비즈니스 운영을 위한 AI 자동화 가이드는 프로세스에 얼마나 많은 자율성을 부여할지 결정하며, 이 페이지는 에이전트가 실제로 운영되기 전에 그 자율성을 받을 자격이 있음을 증명하는 방법을 다룹니다. 하네스를 통과하면 AI 에이전트 보안 및 인간 승인 제어에서 운영 중 안전을 유지하는 제어 방법을 다루며, 에이전틱 AI 자동화 서비스에서 딜리버리를 다룹니다. 첫 90일 운영 계획은 이 하네스 게이트를 90일 파일럿 시퀀스 전체 안에 배치합니다.

이 가이드의 내용

• 유닛 테스트만으로는 부족한 이유
• 영향 계층 × 평가자 유형: 하네스 프레임워크
• 하네스 구축
• go/no-go 게이트: 프로덕션 데이터 접근이 시작되는 곳
• AI가 적합한 곳
• 대안 및 선택 기준
• 존재하는 딜리버리 기록과 존재하지 않는 것
• 이 가이드의 한계
• 자주 묻는 질문
• 다음 단계

유닛 테스트만으로는 부족한 이유

기존 테스트 스위트는 하나의 함수를 하나의 예상 출력에 대해 확인합니다. 에이전트는 여러 모델 호출을 연결하고, 어떤 도구를 어떤 순서로 호출할지 선택하며, 스택 추적, 빈 결과 또는 예상하지 못한 텍스트 페이지 등 도구가 반환하는 결과에 반응합니다. 동일한 입력에 대해 두 번의 실행이 서로 다른 도구 시퀀스를 생성하더라도 둘 다 올바르거나 둘 다 서로 다른 방식으로 잘못될 수 있습니다. NIST의 생성형 AI 프로파일은 이를 명확히 지적합니다. 조직은 배포 전에 생성형 AI 시스템의 역량을 이해하기 위해 TEVV(테스트, 평가, 검증 및 확인)를 실행해야 하며, 통과한 데모가 일반화된다고 가정해서는 안 됩니다. 에이전트에서 테스트 대상은 전체 궤적입니다. 즉, 어떤 도구가 호출되었는지, 어떤 인수로, 어떤 순서로, 그리고 반환된 결과로 무엇을 했는지입니다. 단순한 단일 답변이 아닙니다.

OWASP의 에이전틱 애플리케이션 Top 10은 공격자 관점에서 동일한 격차를 설명합니다. 빌더가 상상한 케이스에서 올바르게 동작하는 에이전트도 오염된 문서에 의해 하이재킹되거나, 안전하지 않은 방식으로 합법적인 도구를 오용하거나, 하나의 잘못된 입력을 다단계 실패로 확산시킬 수 있습니다. 하네스는 고객이나 비즈니스가 잃어서는 안 되는 데이터를 에이전트에게 신뢰하기 전에 일반적인 실패와 적대적 실패 모두를 포착하기 위해 존재합니다.

영향 계층 × 평가자 유형: 하네스 프레임워크

각 테스트 케이스를 에이전트가 허용된 작업 기준으로 분류하세요. 어떤 작업에 인간 승인이 필요한지 결정하는 데 사용하는 것과 동일한 영향 계층을 사용하고, 각 계층을 실제로 실패를 포착하는 평가 방법과 연결하세요. 결정론적 검사는 저렴하고 정확하며 형식 및 도구 선택 오류를 포착하는 데 뛰어납니다. 다른 모델의 출력을 평가하는 모델(LLM-as-judge)은 느리고 자체 보정이 필요하지만, 근거나 어조에 대해 개방형 답변을 채점하는 유일한 실용적인 방법입니다.

최종 답변만 확인하는 케이스는 대부분의 에이전트 실패를 놓칩니다. 궤적을 채점하세요. 어떤 도구가 어떤 인수로, 어떤 순서로 호출되었는지, 승인된 참조 경로와 비교하여 확인하고, 모델이 자신에 대해 작성한 요약이 아닌 테스트가 주장하는 최종 상태(레코드, 메시지, 원장)도 확인하세요.

go/no-go 게이트: 프로덕션 데이터 접근이 시작되는 곳

하네스는 하나의 특정 변경(새 에이전트, 새 도구, 새 모델, 새 프롬프트 버전)에 대해 예/아니오 질문에 답합니다. 현재 적대적 및 회귀 세트에서 모든 되돌릴 수 없는 계층 임계값을 고정된 베이스라인 대비로 통과하는가? 그렇다면 지명된 사람이 서명하고 에이전트의 자격 증명이 샌드박스 범위에서 실제 시스템으로 확대되며, AI 에이전트 보안 가이드의 최소 권한 ID 설계를 따릅니다. 그렇지 않으면 읽기 전용 케이스에서 아무리 잘 수행했더라도 변경은 샌드박스에 남아 있습니다. 게이트는 배포 파이프라인에서 시행되며, 코드 리뷰어가 풀 리퀘스트를 게이팅하는 것과 같은 방식으로, 출시 당일 에이전트나 단일 엔지니어의 판단에 맡기지 않습니다.

첫 번째 출시 시에만이 아니라 모든 프롬프트, 모델 또는 도구 변경 시 전체 스위트를 다시 실행하세요. OWASP의 에이전틱 보안 이니셔티브는 변경된 프롬프트 템플릿이나 교체된 모델을 새로운 공격 표면으로 취급하며, NIST의 프로파일은 측정을 일회성 배포 전 스탬프가 아닌 지속적인 것으로 취급합니다.

대안 및 선택 기준

이 표에서 얼마나 올라갈지는 네 가지 요소에 따라 결정됩니다. 최악의 행동이 얼마나 되돌릴 수 있는지, 입력 중 회사 외부(이메일, 업로드된 파일, 웹 페이지)에서 오는 비율, 하루에 실행되는 케이스 수, 그리고 잘못된 답변이 고객에게 직접 도달하는지 아니면 사람이 먼저 확인하는지입니다. 한 팀에서만 사용하는 읽기 전용 내부 에이전트는 첫 분기에 수동 스팟 체크에서 멈출 수 있는 경우가 많습니다. 그러나 돈을 보내거나 고객에게 메시지를 보내는 에이전트는 그렇지 않습니다.

존재하는 딜리버리 기록과 존재하지 않는 것

• 존재하는 것. Netbase는 이름이 밝혀지지 않은 클라이언트를 위해 AI 프로젝트를 딜리버리했으며, 시스템이 검토 대시보드에 도달하거나 서비스를 시작하기 전에 테스트 및 최적화 단계가 기록된 마일스톤의 일부입니다. 여기에는 위의 모더레이션 및 챗봇 기록과 익명화된 RAG, 문서 AI 및 MLOps 파이프라인이 포함됩니다. Netbase는 공개된 보안 관행을 따릅니다: 보안 코드 리뷰, 전송 중 TLS 및 저장 시 AES, 역할 기반 액세스 제어, 관리자 대시보드의 MFA, 취약점 스캐닝 및 침투 테스트. Netbase는 자체 운영에 대해 ISO 27001 인증과 SOC 2 Type II 인증을 보유하고 있습니다.
• 존재하지 않는 것. 독립 실행형 평가 하네스 제품, 테스트 케이스 수, 합격률, 적대적 테스트 결과 또는 에이전트에 대한 사고 수를 명명하는 게시된 Netbase 기록은 없습니다. 결제 또는 ERP 시스템에 무인 쓰기 액세스 권한을 가진 자율 에이전트를 설명하는 기록도 없습니다. Netbase의 인증은 Netbase 자체 운영을 커버합니다. 클라이언트의 에이전트나 그 평가 결과를 인증하지 않습니다.

이 가이드의 한계

• 이것은 일반 엔지니어링 가이드이며, 특정 에이전트가 안전하다는 인증, 감사 또는 보증이 아닙니다. 위의 임계값과 계층은 에이전트가 실제로 취할 수 있는 작업에 맞게 조정할 시작 구조입니다.
• 생성형 AI의 평가 방법은 아직 미성숙한 분야입니다. NIST 자체 프로파일은 많은 유용한 테스트가 아직 합의된 게시된 벤치마크를 갖지 않는다고 언급하므로, 프로덕션에서 새로운 실패 모드가 나타날 때 테스트 케이스를 수정할 것을 예상하세요.

다음 단계

구축하거나 확장하려는 에이전트와 결국 연결될 시스템을 공유해 주시면, 프로덕션 데이터에 접근하기 전에 테스트 케이스 계층, 샌드박스 및 go/no-go 게이트를 설계하기 위해 솔루션 리뷰를 예약하겠습니다. AI 자동화 및 에이전트를 보거나 더 많은 Netbase 인사이트를 확인할 수도 있습니다.

관련 서비스 및 솔루션