마케팅에서 퍼포먼스 마케팅은 상품을 구경하고 구매하는 등의
구매 결정 과정에서 각 단계의 성과를 측정하고 관리하는 방법을 일컫는다. 

상품을 고객에게 알리는 데 쓰는 비용 대비로 몇 명이 구경하는지,
구경한 사람 중 몇 명이 실제로 구매했는지 측정하며 각 단계를 최적화한다. 

이런 측정은 오프라인보다는 온라인에서 쉽게 이뤄지기에
퍼포먼스 마케팅은 대부분 온라인 웹사이트에서 진행된다.

(이미지 출처: https://kr.freepik.com/vectors/people ; People 벡터 제작 pikisuperstar - kr.freepik.com)

옷 가게 주인은 자신이 판매하는 옷을 고객에게 알리려고 한다.
가게 앞에 마네킹을 설치하면 고객 방문 수가 증가할 것이라는 예상해본다.
과연 마네킹을 두는 게 효과가 있을까? 

이를 확인하기 위해서는 주인이 일주일 동안은 마네킹 없이,
그다음 일주일 동안은 마네킹을 두고 방문한 고객을 살펴보면 된다.
아마 마네킹을 둔 일주일의 고객 방문 수가 더욱 많을 것이다. 

그런데 만약 마네킹을 두지 않은 일주일에는 연휴가 끼어 있어서 고객의 방문이 훨씬 늘었다면 어떨까?
같은 실험을 하더라도 특수한 상황이 발생해서 결과가 왜곡될 수 있다.
따라서 신뢰성 있는 실험 방법이 필요하게 된다.

(이미지 출처: https://kr.freepik.com/vectors/sale ; Sale 벡터 제작  pch.vector - kr.freepik.com)

『A/B 테스트: 신뢰도 높은 온라인 통제 실험』은 신뢰도 높은 실험을 설계하는 가이드를 제공한다.
각 과정을 더욱 정확하게 측정할 수 있는 온라인을 대상으로 한다.
구글, 링크드인과 마이크로소프트의 빅테크 기업에서 전 세계인을 대상으로 한 수많은 실험의 노하우를 책에 담았다.

1장에서는 마이크로소프트의 검색 포털인 빙(Bing)에서 이루어진 한 사례를 제시하고 있다.
아이디어는 검색 결과를 보여줄 때 사이트의 제목만 보여주는 것이 아니라
제목 뒤 사이트 내 첫 번째 문장을 이어서 한 줄로 표시하는 것이었다.
이 단순한 아이디어는 연간 1억 달러 이상의 수익을 증대시켰는데 이는 빙 역사상 최고의 결과물이었다.

실험을 위해 빙은 무작위로 분류된 사용자들을 대상으로
일부는 기존의 사이트 제목만 보여주고, 다른 일부는 제목+첫 문장을 한 줄에 적은 버전을 보여줬다.
웹사이트에 대한 사용자 반응은 광고 클릭과 이들로부터의 수입으로 측정했다. 

이는 대조군과 실험군으로 나눈 과학적 방법을 통한 간단한 온라인 실험으로, 
이를 A 버전과 B 버전을 두고 비교한다고 해서 A/B 테스트라고 부른다. 

(이미지 출처: https://kr.freepik.com/vectors/technology ; Technology 벡터 제작  freepik - kr.freepik.com) 

책의 전반부가 온라인 실험에 대한 이론을 다룬다면
후반부는 이를 실제에 적용할 때 발생할 수 있는 다양한 상황을 다루는 방법을 알려준다.

아무리 온라인이라 하더라도 고객의 행동을 측정하기 어려울 때가 있다. 
이때는 설문조사나 대체 데이터를 활용해 고객 행동 간의 인과관계를 파악할 수도 있다.

그러나 이 과정에서 고객 행동에 대한 다양한 가정이 들어가기 때문에
이를 설계하기 위한 작업에서 쉽게 발생할 수 있는 실수들에 대해 논의한다.

(이미지 출처: https://kr.freepik.com/vectors/infographic  ; Infographic 벡터 제작 pikisuperstar - kr.freepik.com)

현재 온라인 커머스가 시장의 대부분을 차지하는 시기가 도래했다.

사람들은 온라인 웹사이트나 앱에서 많은 시간을 보내며
각 플랫폼은 고객을 붙잡아 두기 위해 고객 행동의 변화를 하나하나 추적한다. 

온라인 실험은 인위적이지만 자연스럽게 고객을 통제하며 고객의 행동 패턴을 파악하는 방법이다.
이를 통해 플랫폼은 고객의 취향을 분석하고, 고객의 취향에 맞는 서비스를 출시해
더욱 오랜 시간 고객을 플랫폼 내에 머물게 하거나 원하는 행동을 하게 만들 수 있다.

(이미지 출처: https://kr.freepik.com/vectors/sale ; Sale 벡터 제작 pch.vector - kr.freepik.com) 

이 책의 내용은 웹과 앱뿐만 아니라 온라인에서 이뤄지는 다양한 실험에 대해 조언을 담고 있다.
메타버스와 같이 디지털화된 세계에서는 모든 것을 측정할 수 있기 때문에
이를 운영하는 플랫폼은 더욱 다양한 온라인 실험을 수행하고 결과를 활용할 수 있다. 
이런 점에서 온라인 웹사이트를 기획하는 기획자나 데이터 과학자뿐만 아니라
온라인 서비스를 운영하고자 하는 회사 대표나 투자자도 이 책을 통해 미래를 대비할 수 있을 것이다.