클로드 코드로 가상 사용자 A/B 테스트 Skill 만들기

1. 문제 정의: 왜 필요한가

기존 A/B 테스트의 한계는 명확하다.

• 개발 리소스 필요 (배포 비용 발생)
• 트래픽이 있어야 결과 해석 가능
• 테스트 전에 방향 검증 불가

이 때문에 실무에서는 다음과 같은 의사결정이 반복된다.

• “이게 더 좋아 보인다”
• “직관적으로 이게 맞는 것 같다”

즉, 정량적 근거 없이 UI를 결정하는 구조다.

이 문제를 해결하기 위해 실험 이전 단계에서 검증 가능한 구조가 있으면 도움이 되겠다는 생각을 했다.

더불어 기획, 개발 경계가 많이 무너진 시점에 UI를 구성해야 하는 사람들에게도 도움이 되면 좋겠다.

 

 

 

2. 해결 방식: 시뮬레이션 기반 A/B 테스트

이 스킬은 A/B 테스트를 실험이 아니라
'행동 시뮬레이션'으로 접근한다.

핵심은 다음이다.

• 실제 사용자 데이터 대신
• 사용자 행동 패턴을 모델링하여
• 선택 결과를 추론한다

이 방식은 다음 목적에 적합하다.

• UI 방향성 검증
• 전환 리스크 사전 탐지
• 개선 포인트 도출

 

 

 

3. 스킬이 수행하는 기능

입력:

• Variant A (이미지 또는 HTML)
• Variant B (이미지 또는 HTML)

출력:

• 구조 분석
• 행동 흐름 분석
• UX 문제 도출
• 개선안 제시
• 가상 사용자 선택 결과 및 비율

세부 기능:

1. UI 구조 분석

• 정보 배치
• CTA 위치
• 시선 흐름

2. 사용자 행동 추론

• 첫 인지 요소
• 클릭 경로
• 이탈 가능 지점

3. A/B 비교

• 단계 수 (CTA 도달까지)
• 인지 부담
• 의사결정 시간

4. 개선안 도출

• 반드시 “화면 수정 액션” 단위로 출력

5. 가상 사용자 시뮬레이션

• 총 30명
• 행동 기반 모델링

6. 결과 집계

• 선택 인원
• 선택 비율
• 유형별 패턴

 

 

 

4. 핵심 구조: 2 Layer 분석

이 스킬은 2단 구조로 동작한다.

1) 전문가 분석 레이어

• UX: 전환 흐름, CTA 접근성
• 성능: 정보량, 복잡도
• QA: 오류 가능성, 잘못된 유도

2) 사용자 시뮬레이션 레이어

사용자를 10개 유형으로 나눈다.

유형특징

초행 사용자	서비스 처음 이용
재방문 사용자	UI 익숙
빠른 완료형	최소 클릭 선호
탐색형	정보 확인 우선
모바일 약자	UI 이해 낮음
CTA 민감형	버튼 중심 행동
비교형	옵션 비교 후 선택
신뢰 중심형	브랜드 중요
실수형	오입력 가능
효율형	혜택/속도 중시

→ 각 3명씩 총 30명 구성

각 사용자에 대해 다음을 수행한다.

• 첫 시선 위치
• 선택 A/B
• 선택 이유
• 망설임 지점
• 확신도

 

 

 

5. 스킬 정의 방식

파일 형태로 정의한다.

 

name: synthetic-ab-simulation
description: UI 이미지 기반 A/B 테스트를 시뮬레이션하고 UX 개선 인사이트를 도출한다

 

이 스킬은 단순 요청이 아니라
절차를 강제하는 프롬프트 구조다.

 

 

 

6. 분석 절차 (중요)

다음 순서를 반드시 유지해야 한다.

1. UI 구조 분석
2. 사용자 행동 시뮬레이션
3. A/B 비교
4. 문제 도출
5. 개선안 도출
6. 사용자 시뮬레이션
7. 결과 집계

순서를 바꾸면 결과 품질이 떨어진다.

 

 

 

7. 출력 형식 (필수)

결과는 반드시 아래 구조로 출력되도록 한다.

• A/B 비교 요약
• 주요 UX 문제
• 전환 영향
• 개선 액션
• 사용자 시뮬레이션 요약
• 선택 결과 집계
• 종합 해석
• 주의사항

이 구조를 강제하지 않으면
AI가 추상적인 설명만 출력한다.

 

 

 

8. 프로젝트 구조 (실제 세팅 방법)

기본 폴더 구조:

project/
├── skills/
│ └── synthetic-ab-simulation

│    └── SKILL.md
├── designs/
│ ├── variant-a.html
│ └── variant-b.html
└── README.md

 

설명:

• skills: 스킬 정의 파일
• designs: 비교 대상 UI
• README: 사용 가이드

 

 

 

9. 입력 방식

두 가지 방식 지원

1) 이미지 기반

• UI 스크린샷 업로드
• 빠르게 테스트 가능
• 정확도는 상대적으로 낮음

2) HTML 기반

 

designs/variant-a.html
designs/variant-b.html

 

• 구조 기반 분석 가능
• 정확도 높음
• 추천 방식

 

 

 

10. 활용 케이스

다음 상황에서 사용 가능

• 디자인 시안 비교
• 기능 개선 검토
• UI 변경 의사결정
• UX 리포트 작성
• 내부 설득 자료

특히 효과적인 상황:

• A/B 테스트 전에 필터링 단계
• 개발 리소스 투입 전 검증

 

 

 

11. 한계 및 주의사항

이 스킬은 다음을 제공하지 않는다.
(진짜 A/B테스트 실험을 대체하지 않는다는 뜻이다.)

• 실제 사용자 행동 데이터
• 통계적 유의성
• 실험 결과 확정

따라서 용도는 제한된다.

• 가설 검증
• 리스크 탐지
• 방향성 판단

 

 

 

12. 핵심 요약

• A/B 테스트를 시뮬레이션으로 전환
• 사용자 행동을 모델링
• 결과를 구조화된 형태로 출력
• 실험 전에 검증 가능