2024.02.06.학습일지

Overview

A/B 테스트 표본 구성 중 난항

 표본,,, A/B 테스트가 원활하게 구성되기 위해서 필요한 최소한의 유의미한 접속 사용자 수라고 이해했다. 스파르타코딩클럽 내일배움캠프의 가장 적절한 표본이 얼마정도 될지 생각해보던 중 정말 혼란의 시간이 왔다. 정확히 얼마나 잡아야 하는지 크게 규칙이 되어 있는 것이 없었기 떄문이었다. 그래서 전에 찾아보았던 A/B 테스트 개선 사례 레퍼런스를 다시 보았는데, 쏘카에서 5%의 접속 사용자를 기준으로 한다는 인사이트를 얻을 수 있었다. 내가 임의로 지표를 정하는 것보다 레퍼런스에 있는 지표가 더 정확할 것이라는 생각에 스파르타코딩클럽 혁신의 숲 내일배움캠프 2023년도 11월 사용자 트래픽을 기준으로 5%의 사용자를 나누어 표본으로 삼는다. 라는 결론을 내릴 수 있었다.

 

 또한 전환율이 얼마정도인지는 아예 인터넷 상에서 나와있지 않기 때문에 임의로 전환율은 남겨두었고, 전환율 상승 폭은 최소 폭만 설정하여 A/B 테스트 예상 지표를 설정하게 되었다. 일단 이렇게 하는 것이 올바른 부분인지는 튜터님의 피드백이 올 때 정확히 알 수 있겠지만 지금은 이것이 내 최선이라고 생각한다. 사실 전환율을 알고 싶어서 구글 애널리틱스를 연결해서 뚱땅뚱땅 혼자 2시간정도 하다가 "이건 아니다." 혹은 "이건 잘못된 방법이다."라는 결론을 내렸다. 또한 간접적으로라도 알고 싶어서 사이트 서치를 진행했지만, 혁신의 숲을 제외하고는 거의 다 유료 서비스이기에 이것또한 실패했다. 여기서 얻을 수 있는 결론은 일단 지금 내 권한으로 할 수 있는 것은 이정도가 한계이다. 라는 것이었다. 정해진 한계 내에서 인사이트를 추출하자고 생각이 들었고, 일단 개인과제가 마무리 되는 것 같다.

 

개인과제 진행상황

A/B 테스트 클론디자인 (완료)

A/B 테스트 모니터링 지표 정의 (완료)