하는 일
위젯 편집 화면의 “더 보기” 메뉴에서 “A/B 테스트”를 누르면 열립니다. 선택한 실험의 변형·동작·“결과”와 “실험 목록”이 보입니다. 위젯마다 끝나지 않은 실험은 하나뿐입니다.
위젯을 일시 중지해도 실험은 멈추지 않습니다. 실행 중인 실험의 위젯이 일시 중지되면 “위젯이 일시 중지되어 이 실험은 노출되지 않습니다” 안내가 보입니다 — 그동안 어떤 변형도 노출되지 않아 결과에 더해지는 것이 없고, 실험 기간은 계속 흐릅니다. “위젯 게시 탭” 버튼으로 위젯을 재개하러 가거나, 실험도 멈추려면 여기서 “일시 중지”하세요.
첫 변형은 “대조군”으로, 게시된 위젯 그대로입니다. 다른 변형은 바꿀 항목(코드 항목과 동의·이름·전화 입력 항목 제외)과 배분(%)을 정하며, 배분의 합은 100% 여야 합니다. 방문자는 방문자 id 와 실험으로 정해지는 한 변형에 고정되고, 동의 모드 사이트에서 동의하기 전에는 대조군만 보며 집계되지 않습니다. 쿠폰 위젯은 코드 출처를 바꿀 수 없고, 코드 풀 쿠폰은 변형마다 코드나 이메일 뒤 공개를 다르게 둘 수 없습니다.
“결과”는 변형별 “노출”, “클릭”, “전환”, “전환율”, “95% 신뢰 구간”, “대조군 대비”, “p 값”, “표본”을 보여 주고 판정을 “유의함”, “차이 없음”, “아직 모름” 중 하나로 표시합니다. 판정 방법은 “판정 방법 — 노출 기준 근사” 안내에 있습니다. 표본이 부족한 값은 “—”입니다.
단계
1단계 · 실험 만들기
“새 실험”을 누르고 “실험 이름”, 변형 이름, “배분(%)”을 정합니다. 대조군이 아닌 변형에서 “바꿀 항목”을 고르고 “항목 추가”를 누른 뒤 값을 입력하고 “저장”을 누르면 초안이 생깁니다.
2단계 · 시작하기
초안에서 “시작”을 누릅니다. 위젯이 게시 중이어야 하며, 사이트의 새 게시 버전에 변형이 실립니다. 초안일 때만 “고치기”와 “지우기”가 있습니다.
3단계 · 결과 보기
“결과”에서 판정과 변형별 수치를 확인합니다. “CSV 내보내기”로 결과 표를 내려받을 수 있습니다. “일시 중지”하면 그동안 모두 대조군을 보고, “재개”하면 전과 같은 변형을 봅니다.
4단계 · 끝내고 승자 적용하기
“끝내기”에서 “승자 없이 끝내기”, 대조군, 또는 적용할 변형을 고르고 “끝내기”를 누릅니다. 변형을 고르면 그 변경이 위젯에 합쳐져 새로 게시됩니다. 판정이 “유의함”이 아니거나 제안 승자가 아니면 경고가 나오고, 확인 칸을 체크한 뒤 “그래도 적용”을 눌러야 합니다.
권한
실험과 결과는 Owner, Admin, Editor, Analyst 모두 볼 수 있습니다. 만들기·시작·일시 중지·재개·끝내기·지우기는 Owner, Admin, Editor 만 할 수 있습니다.
요금제에 A/B 테스트가 없으면 “지금 요금제에는 A/B 테스트가 없습니다” 안내가 보이고 만들기·시작·재개가 막힙니다. 일시 중지와 끝내기는 언제든 됩니다.
자주 묻는 질문
- 판정이 계속 “아직 모름”입니다.
- 변형마다 정해진 최소 표본(노출·전환·비전환)에 못 미쳐 판정하지 않는 것입니다. 기준은 “판정 방법 — 노출 기준 근사” 안내에 있습니다.
- 새로 고침해도 같은 변형이 보이나요?
- 네. 같은 방문자는 같은 실험에서 늘 같은 변형을 봅니다. 동의 모드 사이트에서 동의하기 전에는 대조군만 봅니다.
- “위젯이 일시 중지되어 지금은 아무 변형도 노출되지 않습니다”가 보입니다.
- 실행 중인 실험의 위젯이 일시 중지된 상태입니다. 위젯을 재개하면 변형이 다시 노출됩니다.