A/B 테스트를 기획 중이신가요? 최고의 결과를 얻기 위해서 테스트의 전과 후, 테스트 도중에도 확인해야 할 체크리스트를 정리해 왔습니다. 북마크해서 두고두고 읽어보아도 괜찮을 정도로 준비했습니다.
마케터로서 랜딩 페이지를 만들거나, 이메일 원고를 작성하거나, CTA(Call-To-Action) 버튼을 디자인할 때면 무엇이 클릭과 전환을 불러일으킬지 예측하는 “직감”(a.k.a “뇌피셜”)을 따르고 싶은 충동을 느낍니다. (저만 그런가요?😱)
그러나 “직감”을 따르는 마케팅 의사결정은 상당히 해로운 결과를 가져올 수 있습니다. 결정을 내릴 때에는 추측이나 가정에 의존하는 대신, ‘스플릿 테스트(Split Test)’라고도 불리는 “A/B 테스트”를 운영하는 편이 좋습니다.
A/B 테스트가 가치있는 이유는 서로 다른 잠재고객이 다른 행동을 보여주기 때문입니다. 따라서 특정 회사에서는 작동하는 기재가 다른 회사에서도 작동한다는 보장은 없습니다. 허브스팟의 전환율 최적화(Conversion Rate Optimization) 담당자는 “모범사례”라는 단어를 싫어합니다. 어떤 회사의 “모범사례”가 다른 회사에게는 아닐 수도 있기 때문입니다.
그러나 A/B 테스트 역시 어려움이 따를 수 있습니다. 주의하지 않는다면 유저가 “좋아하는 것”과 “클릭하는 것”을 혼동할 수 있기 때문입니다. 잘못된 가정은 전반적인 전략까지 뒤흔듭니다.
이번 포스트를 북마크하여 A/B테스트를 수행할 때마다 확인해보세요. 데이터를 수집하기 전과 후, 그리고 수집하는 도중까지도 꾸준히 확인하면, 데이터에 입각한 최고의 의사결정을 내릴 수 있습니다.
A/B 테스트를 실행하기 위해서는 동일한 콘텐츠의 두 가지 버전(버전 A 그리고 버전 B)이 있어야 합니다. 다만 두 가지 버전은 처음부터 끝까지 전부 다른 버전이 아니라 한 가지 요소만이 달라야 합니다. 이어서 두 가지 버전을 비슷한 규모를 지닌 두 집단(집단 A와 집단 B)에게 보여주고, 특정 기간동안 어떤 집단의 반응이 더 좋았는지 분석합니다. 이때, 분석기간은 정확한 결론을 내릴 수 있을 만큼 넉넉하게 잡아야 합니다.
마케터는 A/B 테스트를 통해 서로 다른 마케팅 콘텐츠의 퍼포먼스를 비교하고 관찰할 수 있습니다. 하단에 서술될 두 가지 A/B 테스트를 활용하여 웹사이트의 전환율이 증가하는지 테스트해보세요.
예시 1 : 유저 경험(User Experience) 테스트
많은 마케터가 시험하기를 원하는 가정이 있습니다. “CTA(Call-To-Action) 버튼을 사이드 바에 두는 대신 홈페이지의 상단으로 옮기면 클릭률이 상승한다.” 입니다.
해당 가정을 A/B테스트 해보기 위해서는, CTA 버튼의 위치가 다른 웹페이지를 하나 더 만들어야 합니다. 이 때, 기존의 디자인이었던 버전 A를 “Control”, 새로운 디자인인 버전 B를 “Challenger”라고 부릅시다. 그리고 두 가지 버전을 집단 A와 집단 B로 나눈 웹페이지 방문자에게 노출시킵니다. 이 때, 전체 방문자 중 몇 퍼센트의 사람들에게 어떤 버전를 노출할지는 미리 정해두는 편이 좋습니다.
더 쉬운 A/B테스트를 원한다면 HubSpot의 마케팅 허브를 사용해보세요.
예시 2 : 디자인 테스트
A/B 테스트를 검색하면 가장 흔하게 발견되는 사례가 있습니다. 바로 CTA 버튼의 색상입니다.
예시 1과 마찬가지로 많은 마케터가 CTA 버튼의 색상을 변경하면 클릭률이 올라가는지 궁금해합니다.
해당 가정을 테스트하기 위해서는 “Control”과 동일한 랜딩페이지로 연결하되 버튼의 색상만 다른 2가지 CTA가 필요합니다. 기존 마케팅 콘텐츠에서 사용했던 붉은색의 CTA 버튼과 비교했을 때, 초록색의 CTA가 더 높은 클릭률을 보였나요? A/B테스트 이후, CTA 버튼을 초록색으로 바꾸세요.
A/B테스트가 지니는 이점
A/B테스트는 무엇을 테스트할지에 따라 마케팅 팀에 많은 이득을 가져다 줍니다. 그중 최고는 저비용 고효율의 성과를 볼 수 있다는 점입니다.
연봉이 5만 달러인 콘텐츠 크리에이터를 고용한다고 가정해봅시다. 크리에이터가 매주 다섯 개의 아티클을 기업 블로그에 발행한다면 연간 발행되는 아티클은 총 260개입니다. 따라서 한 개의 아티클이 평균적으로 10개의 리드를 생성한다면, 10개의 리드생성에 192달러가 넘는 비용이 지출되는 셈입니다. (연봉 $50,000 / 아티클 260개 = 아티클 당 $192) 정말로 상당한 비용입니다.
이제 콘텐츠 크리에이터에게
이틀동안 두 개의 아티클을 작성하는 대신
이틀동안 하나의 아티클로 A/B 테스트를 해보자 제안합시다.
하나의 아티클을 포기했기 때문에 192달러가 공중분해 되었다고 느낄 수 있습니다. 그러나 만약 A/B 테스트를 수행하여 아티클의 전환율을 올리고 추가적인 리드를 10개 생성했다면, 고객의 수를 두 배로 늘리기 위해 192달러를 지출한 셈입니다.
물론 테스트에 실패하면 192달러의 손실을 보는 셈이지만 다음 A/B 테스트를 가치있게 만든다는 이점이 있습니다. 예를 들어 두번째 A/B 테스트에서 자사 블로그의 전환율을 두 배로 증가시키는데 성공했다면, 궁극적으로 회사의 수익을 두배로 늘리는 데 284달러를 지출한 셈입니다. A/B 테스트에 여러 번 실패해도 마찬가지입니다. A/B 테스트의 이익은 수행비용을 앞지를 것입니다.
여기에 실험의 가치를 높여줄 다양한 스플릿 테스트(A/B 테스트)가 있습니다. 아래의 목록은 대부분의 마케터가 A/B 테스트를 통해 성취하고 싶어하는 비즈니스 목표입니다 :
웹사이트 트래픽의 상승 : 블로그 포스트나 웹페이지의 제목을 테스트하여 자사의 웹사이트로 이어지는 하이퍼링크의 클릭 수를 올릴 수 있습니다. 이로써 결과적으로 웹사이트의 트래픽을 올릴 수 있습니다.
더 높은 전환율 : 위치, 시간, 혹은 CTA에 걸려있는 앵커 텍스트(Anchor text)까지 테스트하여 랜딩 페이지로 이어지는 CTA 버튼의 클릭률을 높일 수 있습니다. 이는 자사의 웹페이지에서 폼을 제출하거나, 연락처를 남기거나, 리드로 전환되는 수를 상승시킵니다.
더 낮은 이탈률 : 만약 웹사이트 방문자가 몇 초 지나지 않아 사이트를 떠났다면 (“이탈bounce”이라고도 부릅니다.) 블로그 포스트의 도입부나 폰트, 혹은 특성 이미지를 바꾸어보세요. 이탈율을 낮추고, 더 많은 방문자를 머무르게 할 수 있습니다.
더 낮은 장바구니 포기 행동(Cart Abandonment) : MightyCall에 따르면 이커머스를 사용하는 고객의 40%~75%가 장바구니에 상품을 담은 채로 웹사이트를 이탈합니다. (업계에서는 “쇼핑 장바구니 포기 행동 Cart Abandonment”이라고 부릅니다.) 제품의 사진과 상세 설명 페이지의 디자인, 택배비를 어디에 띄우는지 등 다양한 요소를 바꾸어 장바구니 포기 행동을 낮출 수 있습니다.
이어서 A/B 테스트의 설정과 운영, 측정을 도와줄 체크리스트를 확인해봅시다. 먼저 A/B test를 시작하기 전 취해야 할 단계를 살펴보겠습니다.
1. 테스트할 변수는 하나만 선택하자.
웹페이지나 이메일 최적화 시, 테스트하고 싶은 변수가 복수로 존재할 것입니다. 하지만 효과를 측정하기 위해서는 하나의 ‘독립변수’로 분리시켜 퍼포먼스를 측정해야 합니다. 여러 요소가 섞이면 정확히 어떤 요소가 퍼포먼스에 변화를 주었는지 파악할 수 없습니다.
물론 하나의 웹 페이지 혹은 이메일을 테스트하며 한 개 이상의 변수를 바꿀 수 있습니다. 다만 한 번에 하나씩 테스트하고 있는지 점검하세요.
마케팅 리소스의 다양한 요소와 디자인, 단어 그리고 레이아웃의 측면에서 변화를 줄 수 있는 대안을 살펴보세요. 이외에도 이메일의 제목이나 보내는 사람의 이름, 자사의 이메일을 유저에 맞춤화시키는 다양한 방법들이 있습니다.
이메일의 이미지를 변경하거나 CTA의 버튼 내 문구를 변경하는 등 간단한 변화로도 크게 개선할 수 있습니다. 실제로 사소한 변경은 대대적인 변경보다 퍼포먼스를 측정하기가 쉽습니다.
주의할 점: 때때로 단일 변수가 아닌 복수의 변수를 한 번에 테스트하는 경우가 더 적절할 수도 있습니다. 이러한 테스트를 “다변량 테스트(Multivariate Testing)”라고 부릅니다. 만약 A/B 테스트와 다변량 테스트 중 무엇이 적합한지 궁금하다면 Optimizely의 아티클을 읽어보세요. A/B 테스트와 다변량 테스트를 비교해두었습니다.
이어지는 포스트에서는 A/B 테스트 수행 시 반드시 확인해야 할 체크리스트를 마저 확인하겠습니다. 🏄🏽
MQL과 SQL의
실제 활용 예시
MQL이 9배 성장한 회사
