제품 데이터 분석으로
그로스 만들기
자원, 전문성이 부족해도 할 수 있다!
엠플리튜드와 함께
데이터 활용 역량, 업무 리소스가 부족한 상황에서 데이터로 성과내기 : 육아크루 사례공유
Note
앰플리튜드 밋업에서 발표했던 자료입니다. 밋업은 시간의 제약이 있어서 많은 내용을 생략했는데요. 이 자료에서는 그때 못 한 이야기도 같이 하려고 합니다.
데이터 활용에 어려움을 겪는 분들에게 도움이 되길 바라고요. 궁금하신 점은 링크드인이나 이메일을 통해 주시면 답변 드리겠습니다.
질답들을 모아서 더 풍부한 콘텐츠로 만들려고 합니다. 부담 없이 물어보세요~!
소개
활동
현재 (개인 컨설턴트)
프로덕트 데이터 분석으로 그로스 만들기
이전 (마켓핏랩 솔루션즈)
프로덕트 데이터 분석 도구 도입 및 활용 지원
Note
저는 데이터기반 제품 그로스 만드는 것을 돕는 일을 해왔습니다. 현재는 개인 컨설턴트로 일하고 있습니다.
프로덕트 그로스에 관해 도움이 필요하시면 링크드인으로 DM 주세요. 가벼운 조언에서 부터 실무적인 참여까지 모두 가능합니다.
어느 날 저는 앰플리튜드 밋업에서 활용 사례 발표가 가능한지 묻는 메일을 받았습니다. 제가 한국 앰플리튜드 사용량 최상위권이라고 하더군요!
흔쾌히 수락하면서 '왜 저의 사용량이 많은 걸까?', 그리고 '다른 사람의 사용량은 왜 적은 걸까?' 생각을 했습니다.
이 부분이 이 발표의 주제이기도 합니다. 발표를 모두 들으시면 (제) 사용량이 그렇게 많을 수 있었는지 짐작하실 수 있을 것입니다.
데이터 활용 생각만큼 쉽지 않다.
graph LR
A[비즈니스 문제 정의] --> B(데이터 분석)
B --> C[데이터 수집 계획 작성]
C --> D[이벤트 수집 코드 구현 및 배포]
D --> E[사용자 데이터 수집]
E --> B
B --> F[실험 설계]
F --> G[실험 수행]
G --> H[실험 결과 분석]
H --> B
H --> I[제품 개선]
I --> J[제품 성장]
- 전문 분석가 없다
- PM, 디자이너, 마케터가 서브 업무로 해야한다
- 잘 모르는데.. 실수하면 어쩌지? 자신이 없다
- 원래 하던일도 많은데 할일이 더 생긴다
- 따라잡아야 할 일이 생각보다 많다. 부담된다
- 어디서부터 시작해야할지 엄두가 나지 않는다
- 제대로된 분석을 하기까지 오래 걸린다
- 데이터로 제품을 변경하기까지 오래 걸린다
- 성장을 만들기까지 오래걸린다
육아크루도 비슷한 어려움이 있었다. 어떻게 육아크루는 데이터를 잘 활용하게 되었을까?
Note
앰플리튜드를 사용해 보셔서 아시겠지만, 데이터를 활용하기 위해서는 준비해야 할 일들이 꽤 있습니다.
위에 보이는 흐름도를 보시면 크게 데이터 분석 환경 준비 과정과 데이터 분석 이후 실험을 통한 제품 개선 과정으로 나뉩니다.
이런 일련의 과정을 수행하는 데 여러 어려움을 직면하게 되는데, 저는 크게 3가지로 분류합니다.
첫번째로 일단 일련의 과정을 잘 수행하려면 알아야 할 것들이 있습니다.
전문성이 필요한 거죠. 그러나 제품팀에 전문 데이터 분석가가 항상 있는 것은 아닙니다.
결국 기존 실무자들이 추가 업무로 떠맡게 됩니다.
앰플리튜드가 비전문가도 쉽게 분석을 하도록 돕는 도구이긴 해도, 배워야 할 것이 없는 것은 아닙니다.
아직 충분한 전문성을 갖추지 못했다고 느끼면 아무래도 데이터 분석 활동에 소극적 또는 수동적으로 되기 마련입니다.
업무 리소스도 충분치 않습니다. 다들 아시겠지만 제품팀은 제품 개발 일정이 이미 있습니다.
거기에 추가로 업무가 생기는 거죠. 위 흐름도를 보면 알겠지만, 추가로 해야 할 일도 생각보다 많습니다.
게다가 해야 할 일들이 잘 모르는 일이라면 작은 일도 크게 느껴집니다.
어디서부터 시작해야 할지 엄두가 나지 않고요.
마지막으로 데이터 활용 업무의 사이클이 너무 깁니다.
위 흐름도의 일련의 작업들을 제대로 소화하는 데 길게는 몇 달이 걸리기도 합니다.
환경 설정만 해도 시간이 꽤 걸립니다.
그리고 제품을 변경하는 실험을 하기 전까지는 사실상 사용자에게 실질적인 영향을 미치지 못합니다.
즉, 성과를 내기까지 시간이 오래 걸리는 거죠.
이는 실무자의 동기에도 영향을 미칩니다.
사용자의 피드백을 빠르게 받는 것만큼 후속 액션에 대한 강한 동기 부여도 없다는 것을 잊지 마세요.
결국 데이터 활용의 주기가 길어지면 길어질수록 데이터를 더 안 보게 되는 악순환이 생깁니다.
육아크루도 비슷한 어려움이 있었습니다. 하지만 이제는 자연스럽게 데이터를 활용하고 있습니다.
육아크루는 어떻게 이러한 어려움을 극복했는지 소개하겠습니다.
육아크루 소개
동네 육아 친구를 찾아주는 서비스
주요 기능
지역기반 육아 친구 찾기
지역기반 육아 커뮤니티
제품팀 구성
제품팀의 목표
사용자 리텐션 개선
지난달에 방문한 사용자가 이번달에도 방문하게 하기
Note
육아크루는 지역 기반 육아친구 매칭 앱입니다. 가까운 곳에 살고 있는 비슷한 연령대의 아이를 키우는 엄마들끼리 친구를 맺어주는 서비스이죠. 데이팅 앱처럼 주기적으로 적합한 친구를 추천해줍니다.
지역 기반 서비스 특성을 살려 지역 커뮤니티 기능도 있고요.
제품팀은 개발자 3명(백엔드, 웹 프론트 그리고 앱)과 기획자 1명으로 구성되어 있습니다. 기획자 1명이 데이터를 활용하여 제품을 개선하는 일을 해야 했습니다. 앞서 말씀드린 전문성과 업무 리소스가 부족한 상황이었죠.
제품팀의 목표는 사용자 리텐션 개선이었습니다. 정확히 말하면 M1 리텐션 개선입니다. 아시겠지만 이는 지난달 방문한 사람의 이번 달 재방문 비율을 말합니다.
목표 달성을 위한 수단으로 데이터를 사용하기로 했고 제가 서포트했습니다. 데이터를 활용한 팀의 성과는 다음과 같습니다.
육아크루 제품팀 성과
일단 실험부터 하자 (간단한 실험부터 시작하여 실험 많이 하기)
최소한의 자원으로 지금 당장 할 수 있는 간단한 실험부터 시작
피드백을 최대한 빠르게 받고 성과가 있다면 바로 적용한다.
미리 충분한 데이터를 수집하기보다 실험을 수행하면서 점진적으로 데이터들을 수집한다.
Note
전체 사용자 리텐션이 6%p 개선되었고 신규 가입자 리텐션은 15%p 개선되었습니다. 세부 세그먼트를 더 나누면 더 극적인 수치가 나오긴 합니다. ㅎㅎ.
6%p 개선이 어떻게 보면 작은 수치라고 느낄 수도 있지만, 육아크루는 이미 리텐션이 높은 편이었습니다. 그래서 이 정도도 꽤 유의미한 개선이라고 보고 있습니다.
리텐션은 왼쪽 차트 추세처럼 변화했습니다. (실제 수치는 아니니 흐름만 참고하세요) 첫 달에는 리텐션 개선을 못 했지만, 두 번째 달부터 점차 개선되기 시작해서 3개월 정도 지나니 완만해지는 추세입니다.
6개월간 30회 이상의 실험을 수행한 것도 성과로 보고 있습니다. 실험 수가 성과의 선행 지표라고 할 수 있습니다.
즉, 성과의 원동력은 실험을 많이 하는 것입니다. 그리고 육아크루는 어떻게 하면 빨리 실험을 할까를 고민했습니다.
물론 실험을 잘 하는 것도 중요합니다. 하지만 더 중요한 것은 실험을 일단 하는 것입니다. 일단 하면서 점차 잘해지면 됩니다.
육아크루팀은 당장 실험을 수행하는 것에 초점을 맞췄습니다. 예를 들어 UI 문구를 바꾸거나 위치를 바꾸는 정도의 실험을 하는 거죠.
빨리 실험하는 것이 중요하기 때문에 데이터 분석 환경 설정도 간소화합니다.
미리 충분한 데이터를 모아서 깊이 있는 분석을 한 뒤 실험을 하는 게 아니라, 실험에 필요한 데이터 위주로 점진적으로 수집합니다.
다시 강조하지만 불확실성이 큰 초기에는 잘하는 것보다는 빨리 많이 피드백 받는 것이 중요합니다.
이런 접근법을 애자일 방법이라고도 합니다. 앞으로 어떤 일이 벌어질지 잘 모르는 상황(환경의 변동성이 커서든, 전문성이 부족해서 예측이 안 되든)에서 효과적인 방법입니다.
커뮤니티 글 조회율 올리기 실험 사례
1. 기본적인 수준의 분석으로 시작
- 커뮤니티 글 조회수와 리텐션의 관계 분석
- 커뮤니티 글 조회수 집단별 리텐션 차이 비교하니 조회수가 올라갈수록 리텐션이 올라감
Note
최초 실험 사례를 구체적으로 공유드리겠습니다. 일단 초기에는 수집된 데이터가 적을 수 있습니다. 적더라도 데이터가 있다면 그것을 활용하여 실험의 단서를 찾습니다.
데이터가 아예 없다면 실무자의 직관으로 시작해도 됩니다. 예를 들어 육아크루는 친구 연결과 커뮤니티가 주요 기능이므로 이 기능을 많이 쓰면 리텐션이 좋지 않을까? 하는 가설로 접근해 보는 거죠.
아무런 기반도 없이 맨땅에 실험을 수행하기보다는 조금이나마 근거를 가지고 시작하자는 취지입니다.
속도가 중요하므로 시간과 전문성이 많이 필요한 심도 있고 종합적인 분석보다는 단순하면서도 가치가 큰 분석을 진행합니다.
앰플리튜드와 같은 PA 도구가 제공하는 기본 리포트만 활용해도 가치가 큰 분석을 할 수 있습니다. (특히 퍼널 분석이나 리텐션 분석)
육아크루에서는 서비스의 주요 행동과 월간 리텐션의 관계를 분석했습니다. 첨부한 이미지는 커뮤니티 글 조회수별 리텐션 차이를 나타낸 차트입니다.
12월에 커뮤니티 글 조회 빈도 수별 세그먼트를 만들었고요. 그에 따라 Month1(1월) 리텐션이 어떻게 달라졌는지를 보여주도록 구성했습니다.
12월 이용자만을 대상으로 재방문을 측정했습니다. 12월에 방문해서 커뮤니티 글을 조회한 빈도별로 1월에 얼마나 재방문했는지를 본 것입니다.
차트에서는 0회와 1회의 간극이 가장 컸습니다. 이 데이터를 근거로 적어도 1회는 시키는 것이 리텐션에 도움이 될 것이라는 가설을 세울 수 있습니다.
리텐션의 차이가 왜 발생했는지 추가로 분석할 수도 있으나, 데이터도 적고 고도화된 분석을 하기엔 자원과 전문성도 부족하기 때문에 바로 실험으로 넘어갑니다.
초기에는 가볍고 빠르게 실행해 보는 것이 중요하다는 것을 잊지 마세요. 이 차트는 리텐션과 커뮤니티 조회 간 상관관계만을 나타냅니다.
우리는 이들 간 인과관계가 있는지, 즉 커뮤니티 글 조회를 더 많이 하게 하면 리텐션이 올라가는지 빠르게 확인하기 위해 실험을 진행했습니다.
커뮤니티 글 조회율 올리기 실험 사례
2. 바로 적용 가능한 간단한 실험으로 검증해보자.
- 실험군 : 홈화면 상단에 커뮤니티 글 표시 vs 대조군 : 기존 순서 그대로
- 실험 배포하면서 관련 데이터 수집 코드도 추가하자. view_detail_crewtalk, click_crewtalk_home ...
Note
최초 분석을 하면서 향후 액션 플랜도 같이 논의했습니다. 커뮤니티 글을 어떻게 적은 비용으로 올릴 수 있을지 아이디어를 냅니다. 그러면 실무자 차원에서 다양한 아이디어가 나오게 **됩니다**.
분석 시 논의된 아이디어를 바탕으로 간단한 실험 설계서를 작성합니다. 실험 자체가 단순하기 때문에 설계서 내용도 간단합니다.
주요 가설과 확인해야 할 지표, 그리고 추적해야 할 이벤트 목록 정도로 구성합니다.
첫 실험안은 홈 화면에서 커뮤니티 콘텐츠를 상단에 노출하는 것이었습니다. 콘텐츠의 순서만 바꾸면 되는 거라 간단히 테스트할 수 있는 거죠.
실험 설정은 앰플리튜드가 아닌 다른 도구를 사용했습니다. 중요한 것은 지금 당장 별다른 수고를 들이지 않고 실험을 하는 것이 중요했고,
마침 설치된 다른 실험 설정 도구가 있어서 사용했습니다.
육아크루는 1주일마다 앱을 배포를 했습니다. 이 시점에 맞춰서 실험도 진행했습니다. 실험은 2~3주 정도 데이터를 쌓은 후 결과 분석을 했습니다.
매주 비슷한 절차를 통해 쉬지 않고 실험을 수행했습니다. 특히 리텐션 분석과 퍼널 분석을 많이 활용하여 실험 아이템을 뽑았습니다.
커뮤니티 글 조회율 올리기 실험 사례
3. 기본적인 수준의 결과 분석 및 후속 실험 설계
- 실험군의 커뮤니티 글 조회율이 올라기지 않음
- 홈화면 사용행태가 생각과 다르다는 배움
- 후속 실험 : 커뮤니티 글 조회율을 올리는 다른 방법 시도 (추천글, 팝업 등)
- 후속 실험 : 홈화면 배치 최적화 실험
Note
실험 자체가 단순하기 때문에 실험 결과 분석도 간단했습니다. 실험군이 대조군에 비해 해당 행동을 더 수행했는가? 그래서 재방문율이 올라갔는가?
기본적으로 이 두 가지만 증명하면 되는 것이죠.
최초 실험은 첫 번째 관문인 '실험군이 대조군보다 커뮤니티 글 조회율이 더 높은가?'를 통과하지 못했습니다. 그러니 두 번째 관문인 재방문은 볼 것도 없었죠.
그렇게 첫 실험은 실패했습니다. 이 실패를 기반으로 바로 다음 실험들을 수행했습니다. 홈 화면 상단 노출은 커뮤니티 글 조회율을 올리지 못하니 다른 방식을 써보기로 했습니다.
실험을 수행하면서 사용자에 대한 배움도 있지만, 데이터 활용 능력 측면에서의 배움도 있습니다.
실험 기획에서부터 결과 분석까지 완전한 절차를 완료한 경험이 생긴 거죠. 절차적인 배움도 있고, 실험 설계에 대한 배움도 있고, 분석에 관한 배움도 얻게 됩니다.
이런 경험이 누적되면서 점점 더 데이터 활용을 잘하게 됩니다.
커뮤니티 글 조회율 올리기 실험 사례
4. 유의미한 성과가 있다면 제품에 적용하기
- 조건부 팝업이 커뮤니티글 조회율을 올림
- 재방문에는 유의미한 차이가 없음
- 최종 목적을 달성하지 못했지만 커뮤니티 글 조회를 늘리는 방법은 발견했으므로 적용
Note
실험을 반복하면 성공할 때가 옵니다. 육아크루도 커뮤니티 글 조회율을 올리기 위한 다양한 실험을 했고 성공했습니다.
특정 기간 동안 커뮤니티 글을 보지 않은 사용자에게 추천 팝업창을 띄우는 방법이 효과가 있었던 거죠.
하지만 궁극적인 목표인 재방문율은 실험군과 대조군이 별 차이가 없었습니다.
반쪽짜리 성과이긴 했지만, 커뮤니티 활성화도 제품팀이 해야 할 일 중에 하나였으므로 적용하기로 결정했습니다.
매주 쉬지않고 반복하여 제품 개선 실험하고 배우기
Note
이런 과정을 끊임없이 반복했습니다. 스케줄은 매주 실험 계획으로 꽉 찼고 실험 기획서와 결과 분석 리포트는 쌓여갔습니다.
성과를 떠나서 이 모든 것이 자산입니다. 쌓이는 문서 하나하나가 제품과 사용자에 대한 인사이트를 담고 있는 것입니다.
작은 성과들이 쌓이고 제품과 사용자에 대한 이해가 깊어집니다. 데이터를 다루는 것도 능숙해 지고요. 실무자의 자신감은 점점 높아집니다.
즉, 제품과 함께 팀이 성장하는 것입니다.
제품을 개선하는 [가벼운 실험] 자주 하기
graph LR
A[간단 분석 + 가벼운 실험 설계] --> B[실험 + 데이터 수집]
B --> C[실험 결과 분석]
C --> D[제품 개선]
C --> A
D --> F[제품 성장]
- 데이터 활용 절차를 간소화하여 수행 부담 줄이기
- 실험을 많이하여 단시간에 많은 피드백을 받기
- 실험으로 검증한 유의미한 개선사항은 바로 적용
가벼운 실험의 장점
적은 자원 투입으로 실패에 대한 부담이 적음
많은 자원을 투입하면 실패에 대한 부담이 그만큼 커진다
신속한 피드백으로 의사결정에 즉시 도움이 됨
제품 개발 모든 의사결정에 도움
반복 실험을 통해 데이터 활용 능력이 자연스럽게 향상
처음엔 어려웠던 것도 나중엔 쉬워진다.
Note
이런 과정을 제품을 개선하는 '가벼운 실험 자주 하기' 방식이라고 합니다.
기존의 크고 무거운 프로세스를 간소화하여 수행의 부담을 줄이고요.
최대한 실험을 자주 많이 해서 사용자의 직접적인 피드백을 빠르게 받는 데 집중합니다.
그리고 이 과정에서 얻는 배움을 효과적으로 활용하여 성과를 만듭니다.
이러한 '가벼운 방법'은 여러 가지 장점을 가지고 있습니다.
첫째로 리스크가 적다는 것입니다. 작게 벌린 일이니 실패해도 타격이 별로 없습니다. 반면에 얻는 것은 많죠.
일이 커질수록 성공에 대한 압박이 커지고 그러면 확실한 성공을 만들기 위해 더 많은 일을 해야 하는 악순환을 피할 수 있습니다.
둘째로 피드백을 빠르게 받는 것입니다. 제품과 사용자에 대한 배움은 제품 관련 모든 의사 결정에 참고할 수 있습니다.
배움이 깊어질수록 더 좋은 의사 결정을 할 수 있습니다. 더 좋은 실험을 할 수 있습니다. 더 좋은 분석을 할 수 있습니다.
육아크루는 첫 번째 실험에서의 배움으로 홈 화면의 중요성을 다시 생각하게 되었고 예정되었던 홈 화면 개편 우선순위를 조정할 수 있었습니다.
마지막으로 수없이 반복되는 과정을 통해 팀이 성장한다는 것입니다.
제품과 사용자에 대한 배움은 말할 것도 없고, 데이터 활용 역량이 올라갑니다. 처음엔 어려웠던 일은 쉬운 일이 되고 예전엔 엄두도 내지 못했던 일도 이제는 도전해볼 만한 일이 됩니다.
지난 몇 개월간 수십 번의 실험을 한 기획자를 생각해보세요. 짧은 시간에 이토록 압축적인 경험을 해본 사람은 드물 것입니다. 그 실무자는 얼마나 성장했을까요?
QnA
질문 1 : 기억에 님는 실험은 무엇이었나요?
커뮤니티 조회율을 올리기 위한 실험이 기억납니다. 홈 화면 상단에 콘텐츠를 배치하면 쉽게 올라갈 것이라고 생각했는데 예상을 벗어난 점이 인상적이었습니다.
첫 실험이기도 했고요. 특정 행동을 더하게 만드는 게 생각처럼 쉽지 않구나 하는 배움도 있었습니다.
여러 번의 시도 끝에 수행률을 결국 높였고요.
해당 콘텐츠를 특정 기간 동안 조회하지 않은 사용자에게 팝업을 표시했던 방법이 효과적이었습니다.
이렇게 알아낸 방법을 다른 행동을 유도하는 데도 활용되었습니다.
질문 2 : 실험의 우선순위는 어떻게 정하셨나요?
흔히 가설을 모으고 ICE 점수라는 것을 매겨서 우선순위를 정하는데요. 이런 과정도 자원과 전문성이 필요한 일입니다.
준비가 잘 안 된 상황에서는 의미 있는 가설을 뽑기도 어렵고 우선순위를 정하는 것도 쉽지 않습니다.
육아크루에서는 실무자가 동의하는(충분히 의미 있는 실험이다라는 동의) 쉬운 실험을 하나 빠르게 수행했습니다. 앞서 말씀드렸듯이 빠르게 실험을 하는 것이 중요합니다.
그리고 실험의 속도가 빠르면 생각보다 빨리 가설들이 소진됩니다. 어떻게 하면 자주 실험을 하게 만들지 고민해 보시길 추천드립니다.
질문 3 : 실험할때마다 텍소노미 설계는 어떻게 하셨나요?
이벤트 수집 계획을 짜다 보면 해당 경험과 관련된 행동을 최대한 많이 수집하고 싶은 욕심이 생기기 마련입니다.
이때 욕심을 적당히 조절하지 않으면 일이 커집니다. 한 번에 모든 문제를 풀고 싶은 욕심에서 비롯된다고 생각하는데요. 내려놓는 연습이 필요합니다.
육아크루에서 이벤트 설계할 때 대체로 실험과 관계된 주요 이벤트만 수집하도록 했습니다.
욕심이 날 때면 다음 기회가 금방 돌아온다고 생각하며 마음을 다잡곤 했습니다.
감사합니다
궁금하신점이 있으시면 이메일을 주시거나 링크드인으로 DM주세요!
