이 가이드는 에이전트의 다음 프롬프트, 모델 또는 툴 변경을 승인해야 하는 CTO 또는 엔지니어링 리드와, 단계적 배포를 모니터링하고 새 버전을 더 넓게 적용해도 안전한지 결정하는 운영 담당자를 위한 것입니다. AI 자동화 가이드는 어떤 프로세스에 에이전트를 도입할지 결정하고, 에이전틱 AI 자동화 서비스는 델리버리를 다루며, 이 페이지는 라이브 에이전트가 이미 작동한 후 안전하게 변경하기 위한 상시 릴리스 프로세스입니다.
이 가이드에서 다루는 내용
- 라이브 AI 에이전트의 변경 사항이란 무엇이며, 릴리스 프로세스가 필요한가요?
- 변경 사항에 맞는 게이트: 비교
- 라이브 에이전트의 릴리스 사다리
- AI의 역할
- 존재하는 델리버리 기록과 존재하지 않는 것
- 대안: 에이전트의 릴리스 프로세스를 누가 운영하는가
- 이 가이드의 한계
- 자주 묻는 질문
- 다음 단계
라이브 AI 에이전트의 변경 사항이란 무엇이며, 릴리스 프로세스가 필요한가요?
에이전트의 동작을 변경하는 요소는 다섯 가지이며, 각각 고유한 버전 식별자가 필요합니다: 프롬프트 또는 시스템 지시사항, 호출하는 모델 버전, 툴 또는 MCP 서버 구성, 보유한 권한 범위, 그리고 주변 워크플로 구조(새 단계 또는 로직의 새 분기). 여섯 번째 변경 유형은 팀 내 아무도 변경하지 않았기 때문에 놓치기 쉽습니다: 모델 제공업체가 고정된 API 엔드포인트 뒤의 기본 모델을 업데이트하면 의도적인 모델 버전 변경과 동일하게 에이전트 동작이 변경되며, 풀 리퀘스트가 열리지 않았더라도 동일한 게이트가 필요합니다. "저희 레포지토리에서는 아무것도 변경되지 않았습니다"를 거짓 신호로 취급하고, 회귀의 원인을 배제하기 전에 실제로 사용 중인 모델 버전을 확인하세요. 드리프트 감지 가이드에서는 사용자가 인식하기 전에 이 여섯 번째 변경 유형을 감지하는 방법을 다룹니다.
버전 식별자가 없는 변경 사항은 이전 상태와 비교할 수 없고, 깔끔하게 롤백할 수 없으며, 장애 조사를 여러 최근 편집 중 어느 것이 원인인지에 대한 추측으로 만듭니다. 버전 관리는 작동하는 에이전트에 추가된 관료주의가 아니라, 다음에 뭔가 달라 보일 때 "무엇이 변경되었는가"를 답할 수 있는 질문으로 만드는 것입니다. 이는 장애 대응 및 롤백 가이드가 "마지막으로 알려진 양호한, 버전이 고정된 구성으로 되돌리기"를 말할 때 이미 존재한다고 가정하는 것과 동일한 규율입니다.
변경 사항에 맞는 게이트: 비교
모든 변경 사항이 동일한 절차를 필요로 하지는 않습니다. 범위나 툴을 건드리지 않는 문구만의 프롬프트 편집은 모델 버전 변경이나 새 권한보다 가벼운 게이트를 통과할 수 있습니다. 달력이 아니라, 변경이 동작을 얼마나 변경할 수 있는지에 따라 두 가지를 일치시키세요.
| 변경 유형 | 예시 | 라이브 트래픽 전 최소 게이트 | 배포 경로 |
|---|---|---|---|
| 문구만의 프롬프트 편집 | 지시사항 명확화, 오타 수정, 응답 템플릿 재구성 | 기존 회귀 세트에 대한 전체 실행(새 케이스 불필요) | 카나리(소량 트래픽), 그 후 안정적이면 몇 시간 내 전체 프로모션 |
| 범위 또는 동작을 변경하는 프롬프트 편집 | 새 지시사항 추가, 에이전트가 말하거나 할 수 있는 내용 변경 | 회귀 세트 + 변경된 동작에 대한 새 테스트 케이스 | 먼저 섀도 모드, 그 후 카나리, 그 후 전체 프로모션 |
| 모델 버전 변경(자동 제공업체 측 업데이트 포함) | 새 모델 릴리스로 업그레이드, 또는 제공업체가 이미 변경했음을 발견 | 전체 회귀 및 적대적 세트 재실행, 고정된 베이스라인과 비교 | 섀도 모드 필수; 프로모션 전 지정된 검토자와 함께 카나리 |
| 툴 또는 MCP 구성 변경 | 새 툴, 변경된 API 계약, 다른 검색 소스 | 회귀 세트 + 툴별 테스트 케이스; 툴 자체의 접근 범위를 별도로 확인 | 섀도 모드, 그 후 카나리, 그 후 툴 소유자의 승인과 함께 프로모션 |
| 권한 범위 변경 | 에이전트가 쓸 수 있는 대상 또는 접근할 수 있는 시스템 확대 | 회귀 세트 + 새로 접근 가능한 액션과 연결된 모든 테스트 케이스 | 면밀한 모니터링 하에 카나리; 당일 전체 프로모션은 절대 금지 |
게이트를 통과하지 못한 변경 사항은 어떠한 라이브 트래픽에도 도달하지 않으며 드래프트 단계로 돌아갑니다. 이는 평가 하네스 가이드가 완전히 새로운 에이전트에 사용하는 것과 동일한 분리 방식으로, 이미 라이브인 에이전트의 모든 변경에 재사용됩니다.
라이브 에이전트의 릴리스 사다리
-
수정하기 전에 버전을 지정하세요
변경이 제안되는 순간 프롬프트, 모델 참조, 툴 구성 또는 권한 세트에 고유 식별자를 부여하고, 현재 라이브 버전과 별도로 저장하세요. 편집 가능한 드래프트는 실행 중인 구성을 덮어쓰지 않습니다.
-
섀도에서 실행하세요
새 버전에 실제 트래픽의 복사본을 보내되 출력이 누구에게도 도달하지 않도록 하고, 동일한 입력에 대해 현재 라이브 버전과 동작을 비교하세요. 이것이 자동 모델 제공업체 업데이트가 단 한 명의 실제 사용자에게 도달하기 전에 처음으로 드러나는 곳입니다.
-
회귀 및 적대적 세트에 대해 게이팅하세요
새 버전은 에이전트의 최초 출시를 승인한 것과 동일한 평가 스위트와 이전 장애에서 추가된 모든 케이스를 통과해야 합니다. 비공식적으로 유망해 보였더라도 실패한 버전은 섀도에 그대로 유지됩니다.
-
트래픽의 카나리 비율로 프로모션하세요
옵저버빌리티 가이드가 설계한 추적 및 비용 신호를 운영 담당자가 모니터링하면서, 작고 정의된 비율을 새 버전으로 라우팅한 후 추가 확대 여부를 결정하세요.
-
확대하거나 중단하세요, 의도적으로
전체 트래픽으로의 프로모션은 고정된 시간이 지난 후의 기본값이 아니라 카나리 증거를 바탕으로 지정된 사람이 내리는 결정입니다. 회귀가 없는 카나리라도 명시적인 승인이 필요합니다.
-
이전 버전을 삭제하지 말고 고정 상태로 유지하세요
새 릴리스가 교체하는 버전은 정의된 기간 동안 사용 가능하고 복원 가능한 상태로 유지되므로, 롤백은 메모리에서 재구축하는 것이 아니라 구성 전환입니다.
-
릴리스를 기록하세요
무엇이 변경되었는지, 누가 승인했는지, 통과한 회귀 결과와 전체 트래픽에 도달한 날짜를 기록하세요. 이는 평가 하네스와 장애 런북이 사용될 때 이미 존재해야 하는 버전 기록입니다.
AI의 역할
Netbase는 프로젝트별로 선택된 주요 상업용 및 오픈소스 AI 툴 및 모델과 협력하며, 버전이 지정된 릴리스 프로세스—라이브 에이전트 구성에 대한 직접 편집이 아닌—를 에이전트를 신뢰할 수 있게 변경하는 것의 일부로 취급합니다. 이는 옵저버빌리티 가이드가 실행 중인 에이전트를 모니터링하는 데 적용하고 장애 대응 가이드가 장애에서 복구하는 데 적용하는 것과 동일한 규율입니다.
-
델리버리(익명 클라이언트): 클래시파이드 마켓플레이스의 AI 콘텐츠 모더레이션
플래깅 모델이 관리자 검토 대시보드에 도달하기 전에 이름이 공개되지 않는 클라이언트를 위한 테스트 및 최적화 단계가 실행되었습니다. 동일한 단계적 검증 규율이 출시 전 한 번 적용되었으며, 이것이 릴리스 사다리가 이후의 모든 변경에 반복하는 것입니다.
-
성장 역량: 라이브 에이전트를 위한 릴리스 프로세스 설계
버전 분류체계, 회귀 게이트 및 단계적 배포를 에이전트의 운영 모델에 구축하는 것으로, 에이전틱 AI 자동화 델리버리의 일부입니다. 아직 이 계측을 구체적으로 명명한 공개된 케이스와 연결되지 않았습니다.
존재하는 델리버리 기록과 존재하지 않는 것
존재하는 것. Netbase는 이름이 공개되지 않는 클라이언트를 위해 빌드가 검토 대시보드에 도달하거나 라이브로 전환되기 전에 전용 테스트 및 최적화 단계를 포함하는 마일스톤으로 구조화된 AI 프로젝트를 델리버리했습니다: 클래시파이드 마켓플레이스를 위한 AI 콘텐츠 모더레이션 모델(F113) 및 디자인, 통합, NLP 튜닝, 테스트 및 최적화를 통해 델리버리된 CRM 통합 WhatsApp AI 챗봇(F115), 익명화된 RAG, 문서 AI 및 MLOps 인게이지먼트(F072)와 함께. Netbase 자체 실무에는 보안 코드 검토 및 버전 관리, 역할 기반 액세스 제어(F021)가 포함되며, 이는 릴리스의 버전 기록과 액세스 경계가 의존하는 기준입니다. Netbase는 자체 운영을 위한 ISO 27001 인증 및 SOC 2 Type II 증명을 보유하고 있습니다(F022, F051, F052). Netbase는 프로젝트별로 선택된 여러 상업용 및 오픈소스 제공업체의 모델과 협력합니다(F070, F073).
존재하지 않는 것. 어떤 에이전트에 대해서도 배포 비율, 릴리스 수, 회귀 통과율 또는 프로모션 소요 시간을 명명하는 공개된 Netbase 기록은 없습니다. 이 정확한 버전-섀도-카나리-프로모션 순서를 프로덕션에서 거친 라이브 에이전트를 설명하는 기록도 없습니다. Netbase의 인증은 Netbase 자체 운영을 포괄하며, 클라이언트의 에이전트, 버전 관리 시스템 또는 릴리스 파이프라인으로 확장되지 않습니다.
대안: 에이전트의 릴리스 프로세스를 누가 운영하는가
-
에이전트를 구축한 사람이 변경이 필요할 때 직접 편집
- 강점
- 시작이 빠르고, 새 프로세스 불필요
- 약점
- 버전 기록 없음, 섀도 또는 카나리 단계 없음; 잘못된 변경이 한 번에 모든 사용자에게 도달
- 선택 조건
- 아직 라이브 사용자가 없는 단일, 저위험, 내부 전용 파일럿 에이전트
-
에이전트의 운영 모델에서 지정된 기술 소유자가 소유하는 서면 릴리스 프로세스
- 강점
- 반복 가능하고, 에이전트 출시에 사용된 동일한 회귀 세트 재사용
- 약점
- 변경 분류체계 정의 및 섀도/카나리 라우팅 구축을 위한 선행 작업 필요
- 선택 조건
- 라이브 시스템에 쓰거나 고객을 대면하는 모든 에이전트
-
플랫폼의 내장 드래프트/공개 버전 관리 기능
- 강점
- 버전 기록 및 환경 태그가 툴과 함께 제공
- 약점
- 버전 관리가 해당 플랫폼으로 범위가 한정됨; 나중에 에이전트나 제공업체를 이동하려면 자체적인 탈출 계획 필요
- 선택 조건
- 에이전트가 이미 이 기능이 있는 플랫폼에서 실행 중이고, 벤더 종속 및 탈출 가이드 조건이 수용 가능한 경우
-
델리버리 파트너가 릴리스 프로세스를 구축하고 유지 관리
- 강점
- 에이전트, 평가 세트 및 릴리스 파이프라인에 걸쳐 하나의 팀
- 약점
- 모든 델리버리 인게이지먼트와 동일한 소유권 및 승인 질문 필요
- 선택 조건
- 내부 소유자가 없거나 여러 에이전트에 일관된 릴리스 규율이 필요한 경우
Netbase 커스텀 개발에서 클라이언트는 자신을 위해 생성된 IP를 소유하며, 대부분의 프로젝트는 디스커버리 후 합의된 고정가 계약으로 진행되고, 더 적합한 경우 마일스톤 기반, 월별 팀 리테이너 및 KPI 연동 조건도 제공됩니다(F067, F069).
이 가이드의 한계
- 이것은 엔지니어링 및 운영 실무이며, 법적, 규제적 또는 컴플라이언스 조언이 아닙니다. 특정 변경이 문서화하거나 공개해야 하는 것은 관련 데이터, 섹터 및 관할권에 따라 다릅니다.
- 이 가이드의 어떤 수치도 벤치마크가 아닙니다: 배포 비율, 프로모션 시간 또는 회귀 통과율은 Netbase JSC 사실로 등록된 것이 없기 때문에 공개되지 않습니다.
- 변경 분류체계와 릴리스 사다리는 시작 구조이며, 인증된 프레임워크가 아닙니다. 제공업체의 자체 릴리스 노트와 API 동작은 직접 확인해야 하며, 모델 업데이트가 항상 고정된 일정에 따라 공지되지는 않습니다.
Netbase 컨설턴트와 다음 단계를 계획하세요
자주 묻는 질문
아닙니다. 범위나 동작을 변경하지 않는 문구만의 편집은 기존 회귀 세트를 실행하고 카나리로 빠르게 이동할 수 있습니다. 에이전트가 말하거나 할 수 있는 것을 변경하는 편집은 먼저 섀도 모드가 필요하고, 모델 또는 권한 변경은 전체 사다리가 필요합니다.
예. 고정된 API 엔드포인트 뒤의 모델이 변경되면, 아무도 프롬프트를 편집하거나 코드를 작성하지 않았더라도 에이전트의 동작이 변경될 수 있습니다. 실제로 사용 중인 모델 버전을 확인하고 다른 모델 버전 변경과 동일한 회귀 세트를 통해 실행하세요.
섀도 모드는 출력이 실제 사용자에게 도달하지 않도록 하면서 새 버전을 라이브 버전과 함께 실행하여 동작을 순수하게 비교합니다. 카나리 배포는 실제 트래픽의 작고 정의된 비율을 새 버전으로 보내고 라이브로 측정하여 확대 여부를 결정합니다.
다음 단계
어떤 에이전트가 라이브인지, 그리고 다음에 계획하는 프롬프트, 모델 또는 툴 변경이 무엇인지 알려주시면, 솔루션 리뷰를 예약하여 버전 분류체계, 회귀 게이트 및 단계적 배포를 설계해 드리겠습니다. 엔터프라이즈 AI 에이전트 플랫폼 솔루션을 확인하거나 Netbase 인사이트를 더 살펴보실 수도 있습니다.
관련 서비스 및 솔루션
사람이 통제권을 유지하는 AI 자동화와 에이전트
Netbase는 반복적인 다단계 업무를 소프트웨어가 처리하면서 중요한 의사결정에 대한 사람의 승인을 유지하려는 운영팀을 위해 AI 자동화 및 에이전트 개발을 제공합니다. 규칙 기반 자동화와 AI를 가치 있는 곳에 결합하고, 사람 승인을 내장하며, 기준선 대비 성과를 측정합니다.
더 알아보기
엔터프라이즈 AI 에이전트 플랫폼: 승인, 감사 로그, 비용 한도로 AI 에이전트 운영
엔터프라이즈 AI 에이전트 플랫폼은 AI 에이전트가 승인된 도구를 통해 멀티스텝 작업을 계획하고 수행하는 거버넌스 런타임입니다. 승인, 감사 로그, 접근 규칙, 비용 한도가 모든 행동에 책임을 부여합니다. Netbase는 이를 제품 라이선스가 아닌 고객의 자체 환경에 구축하는 전략적 비전 솔루션으로 제공합니다.
더 알아보기
Netbase와 원격으로 협업하기
Netbase JSC의 모든 프로젝트는 원격으로 제공되므로, 어느 국가, 어느 업종의 고객이든 협업할 수 있습니다. Netbase는 80개국 고객과 함께했습니다. 계약 및 인보이스는 Netbase JSC 명의로 발행되며, 결제는 Netbase JSC 법인 계좌 송금 또는 PayPal Business로 진행됩니다. CEO Huy Nguyen(David)에게 WhatsApp 또는 이메일로 문의하세요.
프로젝트 상담
Netbase JSC는 조직이 디지털 제품과 AI 기반 비즈니스 시스템을 설계·구축·현대화·운영할 수 있도록 지원합니다.project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
연락하기
구축, 현대화, 또는 운영하고자 하는 내용을 알려주세요.