이 가이드는 프로덕트 오너, 엔지니어링 리드, 그리고 아웃소싱 개발 구매 담당자를 위한 것으로, 확신만으로는 내릴 수 없는 릴리스 결정이 필요한 분들을 대상으로 합니다. 소프트웨어 품질 거버넌스 가이드에서는 품질을 책임지는 주체와 게이트가 벤더 관계에서 어떻게 작동하는지 설명합니다. 이 페이지는 항목별 실무 체크리스트를 제공합니다.
이 가이드의 목차
- 두 개의 체크리스트, 두 가지 시점
- 체크리스트 1: 스토리는 빌드 준비가 되었는가?
- 스토리 유형별 기준 패턴
- 체크리스트 2: 릴리스는 출시 준비가 되었는가?
- 위험 수준에 맞춘 게이트 조정
- 노-고 트리거
- 고/노-고 결정 실행
- 인수 및 릴리스 작업에서의 AI
- 대안: 릴리스를 게이팅하는 방법
- Netbase의 인수 및 릴리스 준비도 운영 방식
- 존재하는 납품 기록과 존재하지 않는 것
- 이 가이드의 한계
- 자주 묻는 질문
- 다음 단계
두 개의 체크리스트, 두 가지 시점
인수 기준은 스토리가 빌드되기 전에 합의합니다. 릴리스 준비도는 빌드 후, 출시 가능한 후보에 대해 판단합니다. 이 두 가지를 혼동하면 마지막 주에 "완료"의 의미를 아무도 기록하지 않았음을 발견하게 됩니다. 첫 번째는 백로그에, 두 번째는 릴리스 기록에 보관하고, 첫 번째가 두 번째로 이어지도록 하십시오. 통과한 모든 인수 기준은 릴리스 증거의 한 줄이 됩니다.
체크리스트 1: 스토리는 빌드 준비가 되었는가?
Scrum Guide는 완료 정의를 충족하지 못한 작업은 증분(Increment)의 일부가 될 수 없으며, 리파인먼트는 항목을 더 작고 정밀한 조각으로 분해한다고 말합니다. 스토리가 빌드 준비된 상태는 다음과 같습니다:
- 결과가 관찰 가능합니다. 기획 회의에 참석하지 않은 테스터가 화면, 데이터 또는 로그를 통해 통과/실패를 결정할 수 있습니다.
- 한계가 명시되어 있습니다. 파일 크기, 볼륨, 중요한 응답 시간, 지원 브라우저 및 기기, 허용된 역할이 포함됩니다.
- 실패 사례가 작성되어 있습니다. 잘못된 입력, 타임아웃, 더블 클릭, 만료된 세션 및 결제 거부 시 어떻게 되는지 명시합니다.
- 테스트 데이터가 지정되어 있습니다. 테스트에 필요한 역할, 레코드 및 엣지 케이스가 테스트 환경에 존재합니다.
- 비기능적 요구사항이 첨부되어 있습니다. 접근성, 성능 및 보안 요구사항이 기준 또는 공유 완료 정의에 포함되어 있습니다.
- 종속성이 파악되어 있습니다. 스토리가 기다리는 다른 팀, 시스템 또는 결정이 담당자와 함께 나열되어 있습니다.
- 크기가 한 이터레이션에 맞습니다. 기준이 한 페이지 분량의 텍스트가 필요하다면 스토리를 분할하십시오.
- 프로덕트 오너가 문구를 승인했습니다. 승인은 스토리가 스프린트에 들어가기 전에 이루어지며, 테스팅 중이 아닙니다.
스토리 유형별 기준 패턴
| 스토리 유형 | 작성할 기준 | 포함할 실패 사례 |
|---|---|---|
| 로그인 및 권한 | 어떤 역할이 무엇을 보고 할 수 있는지; 로그아웃된 사용자가 보는 것 | 잘못된 역할, 만료된 세션, 다른 사람이 연 링크 |
| 결제 또는 체크아웃 | 각 단계의 합계, 세금 및 상태; 고객이 받는 것 | 결제 거부, 이중 제출, 주문 중단 및 재개 |
| 데이터 가져오기 | 허용 형식 및 한도; 완료된 가져오기가 보고하는 것 | 잘못된 행, 중복, 너무 큰 파일, 부분 실패 |
| 검색 및 목록 | 정렬 순서, 필터, 페이징 및 빈 결과 | 매우 긴 목록, 특수 문자, 일치 없음 |
| 이메일 및 알림 | 트리거, 수신자, 내용 및 타이밍 | 반송, 수신 거부 수신자, 반복 트리거 |
| 보고서 및 내보내기 | 필드, 필터, 합계 및 내보내기 권한자 | 빈 기간, 대용량 내보내기, 다른 계정의 데이터 |
각 기준을 given, when, then 문장으로 작성하고, 위 표는 맹목적으로 채우는 템플릿이 아닌 참고용 프롬프트로 활용하십시오. 핵심은 코드가 존재하기 전에 실패 사례를 기술하는 것입니다.
체크리스트 2: 릴리스는 출시 준비가 되었는가?
Google의 런치 코디네이션 체크리스트는 자사 서비스를 위해 작성되었으며, 아키텍처, 용량, 실패 모드, 모니터링, 보안 및 롤아웃 계획을 다룹니다. 동일한 영역이 대부분의 제품에 적용되며, 각각 열람 가능한 증거가 필요합니다:
- 범위. 릴리스 노트에는 포함된 스토리와 수락된 알려진 이슈가 담당자와 함께 나열됩니다.
- 기능 품질. 인수 테스트와 회귀 테스트 스위트가 릴리스 후보에서 통과하고, 작성자 외의 사람이 검증합니다.
- 보안. 스캔이 실행되었고, 발견 사항이 검토되었으며, 모든 미결 발견 사항에는 이를 수락한 담당자가 있습니다.
- 성능. 핵심 사용자 여정이 기준에 합의된 한도에 대해 측정되었습니다.
- 데이터 및 마이그레이션. 각 마이그레이션은 실제 형태의 데이터 복사본에서 예행 연습되었고, 변경 전 백업이 수행되었습니다.
- 롤백. 롤백이 테스트되었거나, 기능 플래그로 배포 없이 변경을 끌 수 있습니다.
- 운영. 모니터링 및 알림이 새로운 동작을 커버하고, 런북이 업데이트되었으며, 지원팀이 변경 사항을 인지하고 있습니다.
- 종속성 및 구성. 환경 설정, 서드파티 키 및 예약된 작업이 테스트와 프로덕션 간에 일치합니다.
- 커뮤니케이션. 고객 공지, 도움말 페이지 및 내부 공지가 사용자가 변경을 인지할 곳에 준비되어 있습니다.
- 결정 기록. 누가, 언제, 어떤 증거를 바탕으로 결정했으며, 어떤 위험이 수락되었는지 기록합니다.
위험 수준에 맞춘 게이트 조정
모든 릴리스가 모든 항목을 필요로 하지는 않습니다. 세 가지 등급으로 체크리스트를 무시되지 않고 살아있게 유지합니다:
- 일상적인 변경. 소규모 수정은 자동화된 증거로 통과합니다: 테스트 통과, 리뷰 완료, 재배포로 롤백.
- 표준 릴리스. 위의 전체 목록, 릴리스 기록에 증거 첨부.
- 고위험 릴리스. 데이터 마이그레이션, 결제, 권한 또는 많은 고객이 확인할 변경. 프로덕션 유사 환경에서 예행 연습, 단계적 롤아웃 및 출시 후 감시 담당자를 추가합니다.
노-고 트리거
마감 압박 하에 협상하지 않도록 회의 전에 합의하십시오:
- 인수 기준이 실패하거나 테스트가 없습니다.
- 치명적 또는 높은 수준의 보안 발견 사항이 담당자의 수락 없이 미결 상태입니다.
- 끌 수 없는 변경에 대해 테스트된 롤백이 없습니다.
- 마이그레이션이 예행 연습되지 않았습니다.
- 모니터링으로 새로운 동작이 작동하는지 확인할 수 없습니다.
- 서명해야 하는 담당자가 없거나 증거를 확인하지 않았습니다.
고/노-고 결정 실행
-
후보를 동결합니다
정확한 빌드와 포함된 스토리를 명시합니다. 동결 후 변경 사항은 영향 받은 항목에 대해 체크리스트를 재시작합니다.
-
증거를 수집합니다
담당자들이 테스트 결과, 스캔 보고서, 마이그레이션 예행 연습 노트 및 롤백 기록을 릴리스 기록에 첨부합니다.
-
목록을 검토합니다
짧은 회의 또는 비동기 검토에서 각 담당자가 통과, 실패 또는 수락된 위험을 명시합니다.
-
결정하고 기록합니다
릴리스 담당자가 고 또는 노-고를 결정하고, 기록에는 수락된 위험과 수락한 사람을 명시합니다.
-
위험이 요구할 때 단계적으로 릴리스합니다
플래그, 카나리 그룹 또는 오프피크 시간대가 실수의 비용을 제한합니다.
-
모니터링하고 마무리합니다
합의된 기간 동안 누군가가 오류, 핵심 사용자 여정 및 지원 요청을 모니터링한 후, 기록을 마감하거나 롤백을 트리거합니다.
인수 및 릴리스 작업에서의 AI
AI는 두 체크리스트의 초안 작성 작업을 단축하고 새로운 종류의 인수 테스트를 추가합니다. 승인된 기준에서 테스트 케이스와 엣지 케이스 초안 작성, 합성 테스트 데이터 생성, 중복 결함 그룹화는 유용하지만, 각 출력은 담당자가 수락하는 초안이며 고 결정은 결코 자동화되지 않습니다. AI를 사용하는 기능은 합의된 평가 세트에서 측정된 결과로 인수가 필요하며, 모델 또는 프롬프트가 변경될 때 재실행합니다. Netbase는 주요 상용 및 오픈소스 AI 모델과 협력하며, 프로젝트별로 선택합니다. 아래 각 항목은 Netbase에서의 성숙도를 명시합니다.
-
커머스에서 제공: 추천 엔진
4over4의 온라인 인쇄 스토어를 위해 구축되었습니다. 웹 스토어 기능으로, 릴리스 테스팅 기록이 아닙니다.
-
성장 역량: AI 지원 테스트 생성 및 AI 기능 평가
머신러닝, NLP 및 생성형 AI 역량으로, 아직 게시된 품질 엔지니어링 사례와 연결되지 않았습니다.
대안: 릴리스를 게이팅하는 방법
| 모델 | 강점 | 약점 | 선택 시점 |
|---|---|---|---|
| 수동 체크리스트 및 회의 | 저렴하고 유연하며, 대화를 강제합니다 | 규율에 의존하며, 모든 릴리스에 회의가 필요하면 느립니다 | 릴리스가 적거나, 증거가 혼합되어 있거나, 구매자가 승인하는 경우 |
| 자동화된 파이프라인 게이트 | 빠르고 일관적이며, 실패한 검사에서 릴리스를 차단합니다 | 자동화된 것만 검사합니다 | 탄탄한 회귀 스위트를 갖춘 빈번한 릴리스 |
| 플래그 또는 단계적 롤아웃을 통한 점진적 배포 | 실수의 피해를 제한하고 롤백을 단축합니다 | 플래그 위생 및 좋은 모니터링이 필요합니다 | 사용자가 많거나, 변경률이 높거나, 위험한 기능인 경우 |
| 구매자 측 인수 테스팅 | 비용을 지불하는 사람이 결과를 확인합니다 | 기준이 모호하면 피드백이 늦습니다 | 아웃소싱 납품, 계약 마일스톤 |
네 가지 기준으로 선택하십시오: 릴리스 빈도, 고객에 대한 실패 비용, 이미 자동화된 증거의 양, 그리고 계약상 서명 책임자. 대부분의 팀은 처음 두세 행을 결합합니다.
Netbase의 인수 및 릴리스 준비도 운영 방식
Netbase는 납품 내부에서 품질 보증을 운영합니다: 프로덕트 오너와 함께 작성된 인수 기준, 자동화된 회귀, 성능 예산 및 릴리스 준비도 게이트는 품질 엔지니어링 및 테스팅 서비스에 설명되어 있습니다. 납품은 주간 리뷰, KPI 대시보드, 전담 계정 및 프로젝트 매니저를 통해 관리되며, 애널리스트, 개발자, QA 및 디자이너를 결합한 3~30명의 팀으로 구성됩니다. 보안 관행에는 보안 코드 리뷰, 취약점 스캔 및 침투 테스팅이 포함됩니다. Netbase의 자격 증명은 Netbase의 운영 방식을 다루며, 클라이언트 제품을 다루지 않습니다. 커뮤니케이션은 영어로 이루어지며, 지원은 월요일부터 토요일까지 운영되고 일요일은 휴무입니다. 대부분의 Netbase 프로젝트는 검토 후 합의된 고정가 계약으로 납품되므로, 서면 인수 기준이 범위의 기초가 됩니다. 전담팀 vs 고정가 계약을 참조하십시오. 릴리스 증거 옆에 벤더의 보안 답변을 위해서는 소프트웨어 개발 파트너를 위한 보안 질문을 참조하십시오. SaaS MVP 로드맵에는 첫 번째 릴리스를 위한 런치 준비 목록이 나와 있습니다.
존재하는 납품 기록과 존재하지 않는 것
- 존재하는 것. USticker와 PrintLeo 기록은 성능 및 안정성 개선을 포함한 커머스 작업을 설명하며, Netbase의 게시된 거버넌스 모델에는 주간 리뷰 및 클라이언트 대시보드가 포함됩니다.
- 존재하지 않는 것. Netbase의 기록 중 결함률, 릴리스 빈도, 롤백 횟수 또는 릴리스 게이트 결과를 게시한 것은 없으며, 어떤 사례도 특정 체크리스트가 실패를 방지한다는 증거로 제시되지 않습니다. 여기의 체크리스트는 일반적인 관행이며 결과가 아닙니다.
이 가이드의 한계
- 이 목록은 출발점입니다. 규제를 받는 제품은 변경 기록이나 감사 추적과 같은 자체 승인을 추가하므로 전문가의 조언을 구하십시오.
- DORA의 변경 실패율, 즉 즉각적인 개입이 필요한 배포 비율과 같은 메트릭은 게이트가 시간이 지남에 따라 작동하는지 보여줍니다. 이는 결과이지, 체크할 항목이 아닙니다.
- 체크리스트는 증거를 기록합니다. 취약한 테스트 스위트를 강하게 만들 수는 없습니다.
자주 묻는 질문
각 항목에는 테스트 증거를 위한 QA 리드, 발견 사항을 위한 보안 담당자, 범위를 위한 프로덕트 오너 등 자체 담당자가 있습니다. 릴리스 담당자 한 명이 최종 결정을 내리고 이를 기록합니다.
기획에 한 번도 참석하지 않은 테스터가 통과/실패를 결정할 수 있을 만큼 상세해야 하며, 한 이터레이션 분량의 작업을 초과하지 않아야 합니다. 기준이 한 페이지에 달하면 스토리를 분할하십시오.
네, 각 결함이 알려지고, 등급이 매겨졌으며, 릴리스 기록에서 담당자가 수락한 경우 가능합니다. 알 수 없거나 담당자가 없는 결함은 노-고입니다.
소규모 변경에는 일상적 등급을 사용하고, 모든 릴리스에 노-고 트리거를 유지하십시오. 고위험 변경에서 증거를 건너뛰면 실패가 고객에게 도달하는 방식입니다.
다음 단계
최근 릴리스, 인수 기준 및 서명자를 공유해 주시면 두 체크리스트를 귀사 팀에 맞게 조정하기 위한 솔루션 리뷰를 예약해 드립니다. 품질 엔지니어링 및 테스팅 또는 더 많은 Netbase 인사이트도 확인하실 수 있습니다.
관련 서비스 및 솔루션
납품 과정에서 실행되는 AI 지원 QA 및 소프트웨어 테스팅
Netbase는 제품 및 커머스 팀이 고객이 사용하는 기능을 손상시키지 않고 자주 출시할 수 있도록 소프트웨어 테스팅 및 QA 서비스를 제공합니다. QA는 납품 이후가 아닌 납품 과정에서 실행됩니다: 인수 기준, AI 생성 테스트 초안을 포함한 자동화된 회귀, 성능 예산, 릴리스 준비 점검. 페이지 속도가 결과를 보여줍니다: USticker의 페이지 로드는 21% 감소했으며, PrintLeo는 35% 개선되었습니다.
더 알아보기
AI 디자인 지원이 포함된 웹투프린트 플랫폼 — 온라인 디자인부터 인쇄 완료 주문까지
웹투프린트 플랫폼은 인쇄 비즈니스가 맞춤 제품을 온라인으로 판매할 수 있도록 주문, 디자인, 프리프레스 워크플로우를 제공합니다. 고객이 직접 구성하고 디자인을 완성하여 주문을 승인하면 AI가 레이아웃을 제안하고 아트워크 문제를 사전에 감지하며, 인쇄 현장에는 완성된 인쇄용 파일이 전달됩니다. Netbase는 의류, 포장재, 간판, 판촉물, 기업 B2B 포털 등 50개 이상의 맞춤형 웹투프린트 플랫폼을 구축했습니다.
더 알아보기
프로젝트 논의
Netbase JSC는 조직이 디지털 제품과 AI 기반 비즈니스 시스템을 설계, 구축, 현대화 및 운영할 수 있도록 지원합니다.+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
연락하기
구축, 현대화 또는 운영하고자 하는 내용을 알려주세요.