"이 문구가 나을까, 저 문구가 나을까"를 회의로 정하면 목소리 큰 사람이 이겨요. 실험으로 정하면 고객이 이기고요. 거창한 툴 없이, 작은 가게 규모에서도 돌아가는 실험 방법을 정리했어요.
A/B 테스트는 별게 아니에요. 한 가지만 다른 두 버전을 동시에(또는 교대로) 내보내고, 숫자가 좋은 쪽을 남기는 것. 이게 전부예요. 그런데 이 단순한 습관이 쌓이면 무서운 차이를 만들어요. 매달 전환율을 5%씩만 개선해도 1년이면 복리로 80%가 되거든요. 감으로 하는 가게와 실험으로 하는 가게의 격차는 시간이 만들어 줍니다.
테스트 거리는 무한하지만 시간은 유한하니, 전환에 가까운 것부터요.
교과서적인 A/B 테스트는 통계적 유의성을 따지지만, 하루 방문 300명인 가게가 그 기준을 다 채우려면 실험 하나에 몇 달이 걸려요. 현실적인 절충안은 이래요.
이미지도 바꾸고 가격도 바꾸고 문구도 바꾸면, 결과가 좋아도 뭐 덕분인지 몰라요. 다음에 재현을 못 하죠. 한 실험, 한 변수. 이게 제1원칙이에요.
시작 3일은 원래 출렁여요. 특히 광고는 학습 기간이 있어서 초반 성적이 무의미해요. 최소 1~2주, 정해둔 기간을 채우고 판정하세요.
"B가 안 통한다"는 것도 돈 주고 산 지식이에요. 고객이 뭘 원하지 않는지 알았으니까요. 실패한 실험이 아니라 결과가 '아니오'인 실험이에요. 기록해 두면 같은 삽질을 반복하지 않아요.
이번 시즌의 승자가 다음 시즌에도 이긴다는 보장은 없어요. 고객도 유행도 바뀌니까요. 챔피언은 주기적으로 도전자를 만나야 해요.
실험 노트가 없으면 석 달 뒤 같은 실험을 또 해요. 스프레드시트 한 장이면 됩니다. 날짜 · 가설 · 변경 내용 · 결과 · 결정. 다섯 칸이요.
가설: 소재 스펙("40수 코마사")보다 착용 경험("빨아도 안 늘어나는")이 전환을 올릴 것이다.A: "프리미엄 40수 코마사 오버핏 티" / B: "백 번 빨아도 목 안 늘어나는 오버핏 티" · 기간: 각 2주 · 판정: 구매 전환율
이런 실험은 흔히 B가 이겨요. 사람은 원단 번수가 아니라 자기 경험의 언어에 반응하거든요. 하지만 '흔히'일 뿐, 내 고객의 답은 실험만 알아요. 그게 실험을 하는 이유고요.
그 단계에선 페이지 실험보다 광고 소재 실험(메타 위임)과 CRM 실험이 현실적이에요. 페이지는 실험 대신 고객 문의·후기 기반으로 개선하고, 트래픽이 붙은 뒤 실험으로 넘어가세요.
작은 표본에선 상대 변화 20% 이상(예: 전환율 2.0%→2.4%)을 기준으로 잡는 게 안전해요. 그 미만의 차이는 소음일 가능성이 커서, '무승부·챔피언 유지'로 처리하세요.
시작은 스프레드시트 + 쇼핑몰 통계 + 메타 광고 관리자면 충분해요. 도구보다 '한 변수, 정해진 기간, 미리 정한 기준'이라는 규율이 실험의 90%예요.