Contents Navigator
Q. 간단한 자기소개 부탁드립니다!
안녕하세요, 코멘토에서 Growth PM(Product Manager)으로 재직중인 오세규라고 합니다. 평소 운영중인 브런치 블로그를 통해 인터뷰 제안을 받았는데요, 저와 같이 스타트업에서 커리어를 시작해 사수 없이도 성장해야 하는 분들께 도움이 되길 바라는 마음으로, PM으로서 깨닫거나 배운 것들을 정리하여 올리고 있습니다.
전공은 데이터와 전혀 무관한 통역을 전공했는데요, 코리빙/코워킹 공간을 개발,운영하는 스타트업에서 운영 관리 및 효율화, 서비스 개선을 위해 데이터 파이프라인 구축, 대시보드 세팅, AD-HOC 분석 업무를 담당했습니다. 그 과정에서 데이터를 통한 문제 발견과 해결에 매력을 느끼게 되었어요. 숫자를 통해 답을 얻고자하는 질문이 구체적으로 무엇인지 정의(define)하고, 알고자 하는 것을 제대로 알기 위해 함수나 쿼리를 작성하고, 그렇게 해서 알게 된 숫자를 해석하고, 이후 액션을 도출하는 전 과정이 모두 재미있었습니다.
다만 오프라인 비즈니스는 대부분 아직까지도 데이터를 통한 문제 발견과 정의, 가설과 검증 방식으로 일하기엔 어려운 점이 많은 것 같습니다. 데이터와 가설을 기반으로 일하고 싶어 온라인 서비스 위주의 산업과 조직을 찾게 되었고, 그래서 현재 조직에서 Growth PM으로 일하며 매일 같이 데이터와 가설을 기반으로 고객을 이해하고, 서비스를 개선하는 업무를 하고 있습니다.
Q. 어떤 업무를 맡고 계신가요?
저는 현재 커리어를 시작하고자 하거나, 이제 막 커리어를 시작하여 성장해나가고자 하는 취업준비생 및 현직자 주니어분들이, 현업에 재직중인 분들을 통해 커리어 고민을 해결할 수 있는 커뮤니티 서비스를 담당하고 있는데요, 이미 PMF를 찾은 서비스로서 지속적으로 성장(1to100)하면서 회사의 다른 제품의 성장에 마중물이 될 수 있도록 하는 개선 업무를 주로 진행하고 있어요.
그러다보니 신규 서비스 기획을 위한 큰 기획이나 많은 리서치보다는, 작은 단위로 빠르게 실험하고 그 결과를 보는 방안으로 업무를 설계하여 진행하고 있고, 이 과정에서 현황을 파악하고, 실험의 KPI와 성공 기준을 정의하고, 그 결과가 어떠한지 확인 및 분석하고 공유하는 전 과정에서 데이터를 활용하고 있어요.
Q. 근무 외 시간에는 어떤 활동을 하고 계신가요?
앞서 잠깐 소개해드린 것처럼, 스타트업에서 커리어를 시작해 사수 없이 성장해야 하는 주니어분들을 위한 콘텐츠를 작성하고 있어요. 주로 PM으로서 경험하고 깨닫고 배운 것들을 공유하고 있는데요, 단순히 결론만이 아니라 이러한 결론을 도출하게 된 그 맥락과 배경, 자세한 사항을 풀어서 작성하려고 해요. 왜냐하면 저를 비롯해 주니어들은 보통 눈에 보이는 세부적인 결론, 양식에 꽂히기 마련인데 사실 진짜 중요한 건 그러한 결론과 양식이 나오게 된 맥락봐 배경, 전제니까요. 조금 더 많은 분들이 도움을 얻으실 수 있도록 콘텐츠 집필 및 기고, 강의 제작 등 다양한 형태로 진행하고 있어요.
이 외의 나머지 시간은 데이터와 관련된 공부나 활동을 하고 있어요. 작년과 올해에는 <데이터야놀자>라는 컨퍼런스를 준비하는 운영진으로 참여하고 있고, 작년에는 데이터를 통해 자기계발을 효율화하는 방안에 대한 주제로 연사로 참여하기도 했어요.
구체적인 스킬셋의 경우 동기부여도 될겸 올해 상반기 ADsP, SQLD, 빅데이터 분석기사 등을 준비하고 취득하며 공부했는데요, 데이터베이스, 기초통계, 머신러닝 모델링에 대해 대략적으로나마 알게 된 것 같아요. 이 외에도 얼마 전에는 A/B 테스트를 설계, 수행, 판단하는 데에 필요한 기초 통계 지식을 정리하여 브런치와 IT 전문 매거진에 기고했습니다.
Q. 데이터를 업무에 처음 활용하게 된 특별한 계기가 있으실까요?
오프라인 비즈니스가 핵심인 조직에서 운영 업무의 관리 및 효율화, 그리고 서비스 개선을 위해 데이터를 업무에 활용하게 되었어요.
다만 오프라인 비즈니스의 특성상 온라인 채널이 있긴 했지만 서비스의 대부분은 고객 투어, 문의, 예약 또는 계약 등 오프라인 현장에서 이루어졌고, 그래서 고객에 대한 데이터 역시 오프라인 현장에서 수집하고 있었어요. 그런데 문제는 데이터의 설계, 수집 및 기록, 관리에 대해 담당하는 사람이 없다보니, 운영 매니저님들이 저마다 수집하는 정보가 달랐고 정보를 기록하는 방식도 달랐고, 또 제각각 다른 곳에 기록하는 탓에 전사적인 차원에서 응용 및 관리할 수 있는 정보가 없었어요. 당장 오늘 우리 건물에 입주하신 고객이 몇 명이고 정확히 언제 계약했는지도 불분명한 수준이었어요.
그래서 우선은 서비스 운영 및 고객 대응을 위해 수집해야 할 데이터 값과 테이블을 정의하고 현장에 계신 분들이 이를 기록/관리할 수 있게 하는 프로세스를 갖추어 교육하고 또한 곳곳에 분산된 데이터를 연동하는 등 데이터 파이프라인을 구축하는 업무로 처음 시작했어요.
파이프라인이 구축된 지 1년 정도 지나자 유의미한 정보들이 쌓이기 시작했고, 마침 서비스가 커져감에 따라 조직 내에서 주요 지표의 확인에 대한 수요가 증가했어요. 그래서 그간 쌓아온 데이터를 바탕으로 간단한 대시보드를 세팅하여 활용법을 교육하고, 필요에 따라 Ad-hoc 성격으로 가설을 세워 분석을 하는 업무를 했어요. 사실 IT 조직이 아니었기에 앞서 말씀드린 전 과정은 구글 스프레드 시트를 통해 진행되었는데요, 당시에 농담삼아 구글 스프레드 시트에서라면 저도 나름 데이터 엔지니어이자 분석가라는 이야기를 하곤 했어요.
Q. 구체적으로 업무에서 데이터를 어떻게 활용하고 계신가요?
현재는 IT 조직의 Growth PM으로서 서비스와 고객의 현황을 파악하고, 이를 바탕으로 문제를 발굴 및 정의하고, 실험이나 제품을 통해 가설을 검증하는 전 과정에서 데이터를 활용하고 있어요.
아직 큰 규모의 조직은 아니라 데이터 분석가 분이 따로 있진 않고 제가 분석 업무를 함께 하고 있는데요, 그렇다보니 앞서 말씀드린 업무 외에도 제품 출시 또는 실험 진행을 위해 필요한 데이터가 있다면 어떤 데이터를 어느 시점에 어떻게 수집,기록할지를 개발자분들과 함께 논의하여 설계하는 업무도 담당하고 있어요.
분석의 경우 평소엔 주로 Amplitude를 통해 Event 기반으로 사용자분들의 행동을 파악하고 있고, 가끔 이보다 더 정확한 분석이 필요한 경우에는 DB와 연동된 Metabase라는 솔루션을 통해 직접 쿼리를 작성해서 분석하고 있어요.
데이터 설계는 사실 거창한 건 없고 Google Tag Manager를 통해 관리하고 있는데요, 어떤 이벤트를 어느 시점에 발생시키고 이 때에 어떤 속성(property)값을 받을지 등을 검토하여 설계를 요청하고, 제품에 반영된 사항은 Taxonomy를 통해 관리하고 있어요. 제품이 추가될 때마다 DB Schema도 그때 그때 업데이트 하며 관리하고 있고요. 보통은 백엔드 엔지니어분이 담당해주시는데, 문서 관리는 제가 빠르다 보니까 제가 하게 되는 것 같습니다.
Q. 실제 PM 업무에서 데이터를 다루는 역량은 어느 정도 차지하나요?
사실 우스갯소리로 PM은 “P필요한 건 M뭐든지 다 한다”라는 말을 할 정도로 PM은 다른 분들에 비해 비교적 넓은 범위의 업무를 진행하게 되는 것 같아요. 다만 그럼에도 불구하고 프로덕트 매니저라면 궁극적으로 고객에 대해 이해하는게 핵심이라고 생각하는데요, 이 때 고객에 대해 이해하는 방법에는 정성적인 방안과 정량적인 방안이 있고 정량적인 방법이 결국엔 데이터를 이용하는 것이기에, 이론상 PM 업무의 절반은 데이터를 다루는 일이 차지한다고 해도 되지 않을까 싶어요.
실제 업무 상황에서도, 꼭 쿼리를 짜는 일이 아니더라도 분석 툴을 통해 수시로 현황과 추이를 확인하고, 실험 또는 제품의 결과를 확인할 수 있는 간단한 대시보드를 세팅해서 팀에 공유하고, UX/UI 개선 과제에 앞서서 스크롤 뎁스나 히트맵 등을 살펴보는 등, 제품과 관련된 전 부분에 데이터를 사용하고 있고, 이러한 일은 거의 매일 있는 것 같아요.
Q. 현업 데이터 분석/활용에 있어서 마주했던 Pain Point가 있다면 무엇인지, 그리고 어떻게 해결해가고 계신가요?
현업에서 발생하는 모든 업무 뒤에는 기획이 숨어있고, 이 때에 기획이란 현재 우리가 모르는 것을 아는 것으로 바꾸어가는 과정이라고 생각합니다. 다만 상황은 계속해서 바뀌기 마련이고, 우리의 역량이나 자원에도 한계가 있기에 무언가에 대해 ‘100% 정확하게 안다’는 건 불가능한데, 그럼에도 조금 더 구체적으로 파악하며 나의 기획에 대한 컨피던스를 높이고 싶어 데이터를 분석,활용한다고 생각합니다.
문제는 이 과정에서 아무리 명확하게 문제를 정의하고 가설을 세웠다고 하더라도, 이에 대한 답을 알려면 직접 툴을 세팅하거나 쿼리를 짜서 분석해야 하고, 또 때에 따라서는 단순히 현황을 정리하는 것 너머 통계적 분석 등 더 다양한 깊이나 방식의 분석을 필요로 하는데요, 이러한 과정은 꽤 높은 정합성을 요구하는 일이고 또 시간을 많이 필요로 하는 점이 딜레마인 것 같아요.
기획의 정확성과 컨피던스를 높이고자 분석을 깊게 갈수록 그만큼 가장 중요한 자원인 시간이 들기 마련이기 때문에, 그래서 지금 제가 추구하려는 정합성이 오히려 현재 당면한 문제를 푸는데에 있어선 과대적합(overfitting)이 되는 건 아닌지 고민하면서 완급조절을 함으로써 해결 아닌 해결을 해나가는 것 같습니다.
Q. PM 업무에 있어서 가장 중요하게 생각하는 지표(KPI, Metrics)는 무엇인가요?
PM 업무에서라기보다는, 결국 제품과 서비스에서 가장 중요한 지표가 무엇이냐?는 질문이 될 것 같은데요, 제품과 실험에서 직접적으로 개선의 목표로 삼는 KPI는 때마다 다르지만, 제품과 서비스의 전체 차원에서는 결국 고객의 잔존률, 리텐션이 가장 중요하지 않을까 싶습니다. 이건 비단 제가 PM이라서가 아니라, 우리가 어떤 제품이나 서비스를 사용할 때에 그 제품이나 서비스가 성공적이라면, 다시 말해 우리가 당면한 불편함을 잘 해결해주고 좋은 경험과 가치를 제공해주는 서비스라면, 더 많이, 더 오래, 그리고 더 자주 쓰게 될 테니까요. 결국 리텐션으로 이어지는거죠.
다만 리텐션이라는 건 결과적으로 나타나는 지표이기 때문에, 아무리 이게 중요한 지표라고 하더라도 이걸 직접적으로 건드리며 개선하는 건 쉽지 않거나 때론 부적절하다고 생각해요. 고객이 서비스에 잔존하지 않는 이유에도 여러가지가 있을 거고, 계속해서 잔존한 고객이 잔존하지 않은 고객에 비해 보이는 행동의 특성 등은 따로 있을테니까요. 리텐션이 가장 중요한 지표는 맞지만 리텐션을 높이기 위해서 직접 건드리는 지표는 오히려 다른 지표들인거죠. 이는 보통은 서비스의 Wow-point 또는 a-ha moment와 관련되는 지표가 아닐까 싶습니다. 물론 이건 각 서비스마다, 그리고 같은 서비스더라도 고객의 유형이나 때에 따라 다를 수도 있을테고요.
Q. 어디서부터 어떻게 시작해야 할지 막막한 데이터 주니어 PM들에게 전할 만한 조언이 있을까요?
서비스기획자/PM으로 취업하거나 직무를 전환하고자 하는 분들을 대상으로 멘토링을 진행하고 있는데요, 관련된 질문을 많이 받는 것 같아요. 그런데 대부분 이 때에 ‘SQL을 배워야 하나요? 아니면 R이나 Python을 배워야 하나요? 배운다면 둘 중에서 무엇을 배워야 하나요?’ 라는 질문을 하시더라고요.
그런데 사실 기획자/PM으로서 정말로 중점에 둬야 하는 것은 명확한 문제 정의라고 생각해요. 데이터를 다룬다는 건 사실 PM 입장에서는 아무리 빈도가 높거나 차지하는 시간의 비중이 클지라도, 결국에는 수단일 뿐 목적은 아니거든요.
오히려 기획자/PM으로서 데이터를 보기로 한 맥락고 배경, 목적이 무엇인지 파악하고, 그래서 데이터를 통해 궁극적으로 답을 얻어내고자 하는 질문이 무엇인지 정의하고, 이 질문에 답을 얻기 위해 구체적으로 데이터를 통해 뜯어봐야 할 세부적인 질문과 가설이 무엇인지 정리하는게 가장 핵심이지 않을까 싶어요.
그런 다음에 그럼 그 세부적인 질문과 가설에 답을 얻는 방안이 인터뷰나 간단한 툴을 활용하는 게 아니라 정말로 ‘분석’ 차원의 업무라고 생각된다면, 그 때에 구체적으로 어떤 지표를 어떤 척도로 볼 것인지, 그래서 그걸 보기 위해서 어떻게 쿼리나 코드를 짜야 할 지, 어떤 모델링을 사용해야 할지, 고민하는 거죠. SQL이냐 R이냐 Python이냐 하는 건 이 단계에서의 질문인건데, 앞서 말한 문제 정의가 없다면 이 고민이 선행되어서도 안되고, 그럴 수도 없다고 생각해요.
만약 문제 정의는 잘되었다고 가정하고, 정말 ‘분석’에 관한 부분이 고민이거나 배우고 싶다면, 오히려 데이터 리터리시를 키우는 게 더 맞지 않을까하는 생각도 합니다. 여차저차 숫자나 차트는 화면에 나왔는데 그래서 이게 어떤 의미인건지, 정말로 가설이 검증된건지, 실험이 성공한건지, 이게 우리 실험 덕분이 맞는지 아니면 우연인건지, 원래도 있을 법한 변화인지, 오히려 더 저해되거나 악화된건 없는지 등 의미를 알려고 이를 통해 이후의 액션플랜을 도출할 수 있으려면, 일단은 눈 앞에 나온 숫자와 차트를 제대로 이해하는 해석 능력이 필요하다고 생각해요.
정리하면 문제 정의 능력을 먼저 키우고, 그 다음엔 숫자와 차트를 제대로 이해하는 데이터 리터러시를 키우고, 그런 다음 SQL이든 R이든 Python이든 필요에 따라 공부하거나 활용하는게 맞지 않을까 싶습니다.
다만 정말 시간이 많이 남았다면 제너럴리스트로서 배워두는 건 나쁠 건 없다고도 생각해요. 다만 이 경우엔, SQL이 가장 먼저 필요하지 않을까 싶어요. 요즘엔 MD든 일반사무직이든 직접 쿼리를 활용하는 경우가 많은 것 같더라고요. 반면 R이나 Python을 통해 통계 기법이나 다른 모델링을 필요로 할 정도의 아이템이거나 조직이라면, 이미 데이터 분석가분이 따로 있을거라고 생각해요. 그렇다면 굳이 기획자/PM이 R이나 Python을 직접 할 필요는 없겠죠.
Q. 기존에 애널리틱스 혹은 BI 툴을 사용해보신 경험이 있나요? (예. 태블로, 파워BI 등)
앞서 말씀 드린 것처럼 Amplitude와 Metabase를 주로 사용하고 있어요. Amplitude는 GTM으로 연동한 Event를 각종 차트로 현황을 보여주고, Metabase는 굳이 쿼리를 직접 짜지 않아도 단일 테이블 내에서 값을 필터링 해서 보여주거나, 각종 차트 형태로 시각화해주는 기능을 제공하고 있어요.
Q. HEARTCOUNT(하트카운트)를 직접 사용해보셨는데 어떤 데이터로 어떤 인사이트를 얻으셨는지 궁금합니다.
저는 평소에 자기개발, 공부에 사용한 시간과 항목 등을 구글 스프레드 시트에 [공부일기]라는 이름으로 기록해두어서 월별 추이나, 항목별 비중, 평균 집중 시간 등을 트래킹하고 월 별로 회고하고 다시 계획을 세우는데요. 개인적으로 기록해서 축적하는 데이터이다보니 피처의 수나 레코드 수가 많은 건 아니지만, 단순 차트 너머 조금 더 깊게 들여다보고 싶은 경우엔 따로 이걸 추출해서 코드를 짜거나, 아니면 함수를 이것저것 세팅해야 해서 번거로움이 많았어요. 그래서 이번에 HEARTCOUNT(하트카운트)로 제가 평소에 기록해 둔 공부일기 데이터셋을 살펴봤습니다.
분석에 사용한 엑셀 데이터셋
우선은 스마트플롯을 이용해 공부 방식별 1회당 공부 시간을 살펴봤어요. ‘차이가 있지 않을까?’ 하며 종종 궁금했던 건데 귀찮아서 평소엔 살펴보지 않았던 데이터거든요. 그런데 HEARCOUNT 스마트 플롯으로 살펴보니, 제가 체감하는 것보다 사실은 편차가 크다는 데 놀랐어요.
HEARTCOUNT의 대표 시각화 기능 스마트 플롯을 활용한 데이터 분포 확인 (boxplot)
다만 공부 방식이라는 건 공부한 내용에 따라 결과적으로 따라오는 지표다보니, 공부한 내용, 즉 공부항목 피처도 하위그룹으로 지정해서봤는데요. 이렇게보니 제가 보통 집중 시간이 좋은 영역과 방식이 무엇이고, 상대적으로 집중력이 흐트러지는 게 무엇인지 알 수 있었습니다. 앞으로도 공부를 할 때에 조금 더 집중해서, 같은 시간을 더 밀도있게 만들어야 할 영역이 어디인지 알게 되었어요.
하위그룹에 범주값을 추가하여 Bar Chart 형태로 시각화
그리고 시계열로 주(week) 단위 공부시간의 총합도 살펴봤는데, 이것도 주별로 이렇게 차이가 클 거라고는 생각 못했어요. 아무래도 스프레드 시트에서는 간단하게만 세팅해뒀다보니 월(month) 별로 집계해서 차트로 만들어두었는데, 월 단위~분기 단위는 총합이 얼추 비슷하거든요. 그런데 주 단위로 보니까 같은 월 내에서도 변화가 크고, 그만큼 제가 소홀했거나 또는 여느때보다 더 열심히 생활했던 때가 보이더라고요. 개인의 생활 기록이다보니 이걸로 뭔가 바로 액션이 나오기는 쉽지 않지만 이게 만약 매출 데이터였다거나, 혹은 이에 준하는 데이터였다면 분명 패턴을 파악해서 액션 플랜까지 도출했을 것 같습니다. 그리고, 날짜 데이터를 올리니 자동으로 연/분기/월/주/요일 유형/요일 등의 파생 변수를 자동으로 생성해주는 것도 편리했습니다.
시계열로 시각화한 공부 시간
Q. HEARTCOUNT를 사용해보시며 인상적이었던 점을 꼽는다면?
전반적으로 매우 간단한 절차로 유의미한 발견을 할 수 있도록 돕는다는 인상을 받았어요. 사실 기존의 데이터 분석 과정이라면 문제를 정의한 뒤에 가설을 세우고, 가설을 검증하기 위해 필요한 데이터 셋을 정하고, EDA를 통해서 칼럼/피쳐/변수를 확인하고, 그런 다음에 다시 분석을 하는 하는 여러 단계의 과정을 거쳐야 하는데, 사실 이게 결국에는 뻔한 결론으로 이어지거나 아니면 데이터 분석 업무를 하는 담당자가 아니라면 접근하기 어려운 방식이라고 생각하거든요. 또한 가설이 많을 수록 정비례해서 소요 시간이 늘어나기도 하고요.
그런데 HEARTCOUNT는 데이터셋을 업로드한 뒤부터 바로 각 변수별로 어떤 상황이고, 유의미한 변수가 무엇이고 아니고를 먼저 제안해주어서 EDA 과정부터 매우 간편했어요. 또 특정 한 두개의 가설을 세울 필요 없이 전반적으로 탐색적으로 분석해서 가치가 있을만한 정보를 제공해줘서, 전반 과정을 매우 간단하게 만들고 또 시간도 절약해주고요. 단순 BI 툴보다 더 역동적으로 다양한 의미, 가치를 발견하게 해주면서도 동시에 그 과정이 매우 간단해서 사용하는 내내 많이 놀랐습니다.
Q. HEARTCOUNT에서 가장 만족하거나 추천하고 싶은 기능은 무엇인가요?
Q. 마지막으로 HEARTCOUNT 사용을 고민하는 현업들에게 한 말씀 부탁드립니다!
저에게도 그렇지만, 관련 직무 담당자를 제외하면 데이터라는 게 아직은 어느 정도 진입장벽이 있는 영역이라고 생각을 합니다. 데이터가 있더라도 이걸 어떻게 살펴봐야할지, 그걸 살펴보려면 어떻게 분석해야할지, 그리고 이걸 안다고 하더라도 하나하나 처리하고 작업하는 데에 시간도 소요되고요. 그렇지만 그에 비해 현업에서의 수요는 점점 늘어나고 있고요. 하고는 싶은데 쉽게 하지는 못하는 상황인거죠.
반면에 HEARCOUNT는 파일 업로드와 KPI 설정 정도만으로도 탐색적으로 분석해서 가치있을 정보를 먼저 제안해주고, 또 궁금한 게 있으면 상세하게 설정할 수 있으면서도 최대한 직관적으로 표현해줘서, 현업에서 조금만 관심이 있거나 수요가 있는 분들이라면 누구나 유용하게 사용할 수 있지 않을까 합니다. 특히 xlsx 형식으로 가진 데이터지만 엑셀이나 스프레드시트로는 분석과 활용이 부족하고, 그렇다고 Python이나 R 등의 언어로 패키지를 이용해 분석할 기술이나 여유가 없는 분들께도 이에 준하는 정보를 정말 간단하게 제공해줘서 가치가 클 것 같아요.
