AI 에이전트 평가 하네스: 프로덕션 데이터 접근 전 에이전트 검증

이 가이드는 중견기업의 AI 에이전트가 CRM, ERP, 메일함 또는 결제 시스템에 접근하도록 허용할 결정권을 가진 CTO, 엔지니어링 리드, 그리고 딜리버리 또는 QA 리드를 위한 것입니다. 비즈니스 운영을 위한 AI 자동화 가이드는 프로세스에 얼마나 많은 자율성을 부여할지 결정하고, 이 페이지는 에이전트가 운영에 투입되기 전에 그 자율성을 부여받을 자격이 있음을 증명하는 방법을 다룹니다. 검증을 통과한 후에는 AI 에이전트 보안 및 인간 승인 제어가 운영 중 안전을 유지하는 제어 방법을 설명하며, 에이전트형 AI 자동화 서비스가 딜리버리를 다룹니다. 첫 90일 운영 계획은 이 하네스 게이트를 더 넓은 90일 파일럿 시퀀스 안에 위치시킵니다.

이 가이드의 내용

• 단위 테스트가 에이전트에 충분하지 않은 이유
• 영향 등급 × 채점 유형: 하네스 프레임워크
• 하네스 구축
• go/no-go 게이트: 프로덕션 데이터 접근이 시작되는 곳
• AI의 역할
• 대안 및 선택 기준
• 존재하는 딜리버리 기록과 존재하지 않는 것
• 이 가이드의 한계
• 자주 묻는 질문
• 다음 단계

단위 테스트가 에이전트에 충분하지 않은 이유

기존 테스트 스위트는 하나의 함수를 하나의 예상 출력과 비교합니다. 에이전트는 여러 모델 호출을 연결하고, 어떤 도구를 어떤 순서로 호출할지 선택하며, 스택 트레이스, 빈 결과, 또는 예상치 못한 텍스트 페이지 등 도구가 반환하는 것에 반응합니다. 동일한 입력의 두 번 실행이 서로 다른 도구 시퀀스를 생성하더라도 둘 다 정확하거나, 각각 다른 방식으로 오류일 수 있습니다. NIST의 생성형 AI 프로파일은 이를 명시적으로 지적합니다: 조직은 배포 전에 생성형 AI 시스템의 역량을 이해하기 위해 테스트, 평가, 검증 및 확인(TEVV)을 실행해야 하며, 성공적인 데모가 일반화된다고 가정해서는 안 됩니다. 에이전트의 경우 테스트 대상은 단일 답변이 아닌 전체 궤적입니다: 어떤 도구가 호출되었는지, 어떤 인수로, 어떤 순서로, 그리고 반환된 결과로 무엇을 했는지.

에이전트형 애플리케이션을 위한 OWASP Top 10은 공격자 관점에서 동일한 격차를 설명합니다: 빌더가 예상한 케이스에서 올바르게 동작하는 에이전트도 오염된 문서에 의해 탈취되거나, 합법적인 도구를 안전하지 않은 방식으로 오용하거나, 하나의 잘못된 입력을 다단계 오류로 연쇄시킬 수 있습니다. 하네스는 고객이나 비즈니스가 잃을 수 없는 데이터를 에이전트가 신뢰받기 전에 일반적 실패와 적대적 실패 모두를 포착하기 위해 존재합니다.

영향 등급 × 채점 유형: 하네스 프레임워크

모든 테스트 케이스를 에이전트가 수행할 수 있는 작업 기준으로 분류하세요. 어떤 작업에 인간 승인이 필요한지 결정하는 데 사용되는 동일한 영향 등급을 적용하고, 각 등급을 해당 실패를 실제로 포착하는 채점 방법과 연결하세요. 결정론적 검사는 저렴하고 정확하며 형식 및 도구 선택 오류를 잘 포착합니다. 모델이 다른 모델의 출력을 채점하는 LLM-as-judge는 더 느리고 자체 보정이 필요하지만, 개방형 답변을 근거성 또는 톤 측면에서 채점하는 유일한 실용적인 방법입니다.

최종 답변만 검사하는 케이스는 대부분의 에이전트 실패를 놓칩니다. 궤적을 채점하세요: 어떤 도구가 호출되었는지, 어떤 인수로, 어떤 순서로, 승인된 참조 경로와 비교하고, 에이전트가 자신에 대해 작성한 요약이 아닌 테스트가 검증하는 최종 상태(레코드, 메시지, 원장)도 함께 확인하세요.

go/no-go 게이트: 프로덕션 데이터 접근이 시작되는 곳

하네스는 하나의 특정 변경(새 에이전트, 새 도구, 새 모델, 새 프롬프트 버전)에 대해 예/아니오 질문에 답합니다: 고정된 베이스라인에 대해 측정된 현재 적대적 및 회귀 세트에서 모든 되돌릴 수 없는 등급 임계값을 충족하는가? 충족한다면, 지명된 사람이 승인하고 에이전트의 자격 증명이 샌드박스 범위에서 실제 시스템으로 확장되며, AI 에이전트 보안 가이드의 최소 권한 아이덴티티 설계를 따릅니다. 충족하지 못한다면, 읽기 전용 케이스에서 얼마나 잘 수행했는지와 관계없이 변경 사항은 샌드박스에 머뭅니다. 게이트는 배포 파이프라인에서 코드 리뷰어가 풀 리퀘스트를 통제하는 것과 동일한 방식으로 적용되며, 에이전트나 출시 당일 단일 엔지니어의 판단에 맡겨지지 않습니다.

최초 출시 시에만이 아니라 모든 프롬프트·모델·도구 변경 시마다 전체 스위트를 재실행하세요: OWASP의 에이전트 보안 이니셔티브는 변경된 프롬프트 템플릿이나 교체된 모델을 새로운 공격 표면으로 다루며, NIST의 프로파일은 측정을 일회성 배포 전 확인이 아닌 지속적인 것으로 봅니다.

대안 및 선택 기준

이 표에서 얼마나 높이 올라갈지를 결정하는 네 가지 요소가 있습니다: 최악의 작업이 얼마나 되돌릴 수 있는지, 입력이 회사 외부(이메일, 업로드된 파일, 웹 페이지)에서 얼마나 오는지, 하루에 몇 개의 케이스가 실행되는지, 그리고 잘못된 답변이 고객에게 직접 전달되는지 아니면 사람을 통해 먼저 전달되는지. 한 팀이 사용하는 읽기 전용 내부 에이전트는 첫 분기 동안 수동 스팟 체크로 충분한 경우가 많습니다. 돈을 보내거나 고객에게 메시지를 보내는 에이전트는 그렇지 않습니다.

존재하는 딜리버리 기록과 존재하지 않는 것

• 존재하는 것. Netbase는 이름이 공개되지 않은 클라이언트를 위한 AI 프로젝트를 딜리버리했으며, 시스템이 검토 대시보드에 도달하거나 라이브로 전환되기 전에 테스트 및 최적화 단계가 기록된 마일스톤의 일부로 포함됩니다. 여기에는 위의 모더레이션 및 챗봇 기록과 익명화된 RAG, 문서 AI 및 MLOps 파이프라인이 포함됩니다. Netbase는 게시된 보안 관행을 따릅니다: 보안 코드 리뷰, 전송 중 TLS 및 저장 중 AES 암호화, 역할 기반 접근 제어, 관리자 대시보드용 MFA, 취약점 스캐닝 및 침투 테스트. Netbase는 자체 운영에 대해 ISO 27001 인증 및 SOC 2 Type II 증명을 보유합니다.
• 존재하지 않는 것. 독립 실행형 평가 하네스 제품, 테스트 케이스 수, 합격률, 적대적 테스트 결과 또는 에이전트 사고 수를 명시하는 Netbase의 공개된 기록은 없습니다. 결제 또는 ERP 시스템에 대한 무인 쓰기 접근 권한을 가진 자율 에이전트를 설명하는 기록도 없습니다. Netbase의 인증은 Netbase 자체 운영에 적용됩니다. 클라이언트의 에이전트나 그 평가 결과를 인증하지 않습니다.

이 가이드의 한계

• 이것은 일반적인 엔지니어링 지침이며, 특정 에이전트가 안전하다는 인증, 감사 또는 보증이 아닙니다. 위의 임계값과 등급은 에이전트가 실제로 취할 수 있는 작업에 맞게 적용해야 하는 시작 구조입니다.
• 생성형 AI를 위한 평가 방법은 아직 미성숙한 분야입니다: NIST의 자체 프로파일은 많은 유용한 테스트가 아직 합의되고 공개된 벤치마크를 갖지 못한다고 지적하므로, 프로덕션에서 새로운 실패 모드가 나타남에 따라 테스트 케이스를 수정할 것으로 예상하세요.

다음 단계

구축하거나 확장하려는 에이전트와 최종적으로 연결될 시스템을 공유해 주시면, 프로덕션 데이터에 접근하기 전에 테스트 케이스 등급, 샌드박스 및 go/no-go 게이트를 설계하기 위한 솔루션 검토를 예약해 드립니다. AI 자동화 및 에이전트를 살펴보거나 더 많은 Netbase JSC 인사이트를 확인하실 수도 있습니다.

관련 서비스 및 솔루션