어깨너머 성과지표 배워보기 - 29cm 편

개요

요즘 했던 업무를 서술하면 동기가 부족함을 깨닫게 된다. 그래서 다른 개발자는 어떻게 업무를 시작하는지 궁금했다. 다른 개발자는 비즈니스 관점에서 문제를 해석하고 해결한다고 한다. 비즈니스 관점이 무엇일까? 비즈니스 관점에 대해서 자문자답하면서 정의해봤다.

비즈니스 관점이 뭔데?
비즈니스 관점은 사용자의 불편함을 해소하는 일이지 않나?
불편함을 어떻게 정의하는거야?
불편함을 느끼는 정도는 상대적이지 않나? 절대적 수치로 전환하는건 무리 아닌가?

지표로 불편을 최소화하거나 편리함을 최대화하는 필요성을 깨달았다. 다른 개발자는 상대적인 수치로 편리함을 어떻게 최대화하는지 분석해려고 했다. 그래서 29CM 제주/도서산간 배송비 시스템 구축기: 전체 생태계에 미치는 복잡한 여정 아티클 이해를 목표로 학습했다.

성공 지표 설계

글을 읽었을 때, 먼저 성공 지표;/;가 눈에 들어왔다. 성공 지표를 자세하게 이해하기 위해서 분석해봤다.

세 개로 분할된 29cm 성공 지표 설계 화면

프로젝트 성과를 분석하기 위해 성공 지표를 설계했다. 이 때, 세 개로 분할된 지표를 육감으로 분석해봤다.

핵심 지표(Primary Metric) : 프로젝트 목표
보조 지표(Secondary Metrics) : 핵심 지표로 얻게 될 이득 최대화
가드레일 지표(Guardrail Metrics) : 핵심 지표로 얻게 될 손해 최소화

지표는 문제점과 개선점을 선정 후 작성됐다.

프로젝트 배경	프로젝트 목표

그럼 작업 프로세스는 다음과 같다.

문제점 분석 -> 개선 방식 분석 -> 목표 설정 -> 성공 지표 설계

성공 지표가 속한 성과 지표 레퍼런스 분석

원문에서 프로젝트의 성과를 객관적으로 측정하기 위한 방법으로 활용했는데, 어떤 목표를 가지는지 이해해보기 위해 추가 레퍼런스를 학습했다. 성공 지표 성과 지표 중 한 방식으로 다음 목표를 가진다. 성과 지표 목표에 부합하게 성공 지표를 정리하면 되겠다.

전략적 목적
- 가치 수치화해 목표 달성 여부를 추적하기 위해 사용한다. 조직이 같은 방향으로 집중할 수 있도록 가이드를 제공한다.
운영 목적
- 개인 동기 부여와 성과 관리에 도움된다. 또한 의사 결정 비용을 최소화할 수 있다.
제품 개발 목적
- 지속적 사용자 경험 최적화에 적합하다. 기능 우선순위에 따라 반복 개선 가능하는 방식으로 효율적인 작업이 가능하다.

성과지표는 SMART(Specific, Measurable, Achievable, Relevant, Time-bound) 원칙 적용해서 개인이 목표에 최대한 몰입할 수 있어야 한다.

Specific : 명확해야 한다.
Measurable : 수치 기반으로 성과를 파악한다.
Achievable : 무리한 목표는 동기를 떨어뜨린다.
Relevant : 조직 전략·목표와 직결해야 한다.
Time-bound : 기한 설정이 중요하다.

성과 지표 분석 방식 중 많이 활용하는 OKR, KPI, AARRR/RARRA 방식을 참고했다.

OKR(Objectives and Key Results)
- 장점 : 분기별 일치된 방향성
- 단점 : 측정이 어려운 경우 정성적 목표의 애매함이 발생한다. 단기 성과에 집중해 장기 성과에 혼란을 야기한다.
KPI(Key Performance Indicator)
- 장점 : 지속적인 성과 관리 가능하다.
- 단점 : 혁신보다는 유지에 초점을 맞추며 과거 성가에 기반한 보수적 접근이다.
AARRR/RARRA
- 장점 : 사용자 생애주기를 포과적으로 관리하며 단게별 병목 지점 파악이 가능하다.
- 단점 : 복잡한 지표 체계로 관리가 어렵고 단계별 최적화와 전체 최적화 간 상충 가능성이 있다.

성과 직표 단계별 설정 과정은 다음과 같다.

비즈니스 목표 연결
- 제품 전략에 맞게 비즈니스 가치 실현 목표를 구체화한다. 상위 목표에서 개발팀 목표로 연결 고리를 설정한다.
지표 유형별 균형 설정
- 성과 지표에 맞는 세밀한 목표 설정을 수행한다. 성공 지표는 메인 지표, 보조 지표, 가드레일 지표를 설정한다.

필자는 개발자이니 개발팀 특화된 지표를 고민했다. 기술적 성과 지표와 비즈니스 연계 지표로 구분해봤다.

기술적 성과 지표 : 코드 품질, 개발 속도, 시스템 안정성
비즈니스 연계 지표 : 사용자 경험, 제품 성과, 운영 효율성

사용자 경험 지표는 페이지 로딩 속도, 사용자 만족도를 평가 방법이 있다. 제품 성과 지표는 사용자 참여도, 전환율 개선 지표가 있다. 운영 효율성 지표는 운영 비용 절감 평가 방법이 있다.

개발자도 플랫폼별 차별화된 지표를 가진다고 생각한다.

모바일 제품 : 사용자 경험(페이지 로딩 속도, 사용자 만족도)
PC 제품 : 사용자 경험(페이지 로딩 속도, 사용자 만족도)
서버 : 시스템 안정성(서버 다운타임, 응답 속도, 에러율)

AARRR/RARRA 분석

AARRR/RARRA에 대해서는 추가 학습이 필요해보여서 간단하게 정리해보자.

AARRR와 RARRA는 성장 지표를 사용자 여정을 5단계로 이루어진 퍼넬로 정의하며, 현재 제품 성장에 유리한 방향으로 결정한다.

AARRR : 목표 대상 고객을 더 많이 확보함으로써 성장을 시작할 필요가 있는 경우 좋은 선택지다.
- Acquisition(고객 획득) - 서비스를 방문하여 제품의 가치를 인지하고 처음 사용하는 상황
- Activation(활성화) - 제품 내에서 실제 가치를 처음 경험하게 된 경우
- Retention(유지) - 지속적으로 우리 제품을 사용하는 경우
- Referral(추천) - 고객이 우리 제품을 추천할 만큼 매력적이라고 판단한 경우
- Revenue(수익) - 이용자가 제품을 유료 구독하고 정기적으로 구독을 갱신하는 경우
RARRA : 비즈니스는 확장하고 싶은데 Retention(유지) 지표가 제대로 달성되지 않을 경우 고객 획득 비용이 높아지는 상황에서 좋은 선택지다.
- Retention(유지) : 이용자를 붙잡을 가치를 제공해 경쟁 우위를 확보하는 상황
- Activation(활성화) : 제품을 처음 접할 때 제품이 제공하는 가치를 발견하는 활성화 지점에 이르는 경우
- Referral(추천) : 사용자가 제품에 대해 다른 사람과 공유하는 동기를 부여하는 경우
- Revenue(수익) : 제품 가치에 비용을 지불하는 고객을 확보하는 일
- Acquisition(고객 획득) : 유료 고객을 통해 비슷한 고객을 추가로 발견하고 획득하는 일

참고 자료 : AARRR vs. RARRA 우리 사업에 맞는 성과 측정 프레임워크 선택하기

성공 지표 활용해보기

백문이불여일견이다. 가설이 빈약하지만 현재 상황을 기반으로 학습해보기로 했다. 최근 작업한 PC 제품 광고 제거하기 위한 모바일 이벤트 진행 성공 지표를 고민했다.

핵심 지표
- 광고 노출 성공률 : 모바일 이벤트 달성 / QR 링크 생성 요청 수 비율로 목표 달성률을 설정한다.
- 매출 기여도 : (모바일 이벤트 횟수 × 완료 건수) / 기존 PC 광고 매출 분석해 매출 상승 목표를 설정한다.
보조 지표
- PC 광고 제거 적용 성공률 : 광고 제거 성공 응답 수 / 광고 제거 요청 수를 분석해 사용자가 제공하는 가치를 얻기 위한 노력이 합리적인지를 분석한다.
- PC 광거 제거 적용 재사용률 : 7일 내 재사용 유저 수 / 초회 사용 유저 수를 분석해 사용자가 재이용 가치를 경험했는지 분석한다.
- PC 광고 제거 후 이탈률 : 광고 제거 후 10분 내 PC 제품 종료 유저 수 / 광고 제거 완료 유저 수을 분석해 이용 가치를 경험하는지 분석한다.
가드레일 지표
- 네트워크 단절 어뷰징 비율 : 네트워크 단절 에러 수 / 광고 제거 인증 요청 수를 분석해 네트워크 단절로 인한 어뷰징 비율을 분석한다.
- 인증 API 에러 유지 시간 : 인증 단절 되는 평균 시간을 분석해 광고가 노출될 수 있는 상황 방지 목적으로 분석한다.

마지막으로 레퍼런스를 분석하면서 측정하기 어렵거나 비용이 과도한 지표는 수정해야 한다.는 부분이 와닿았다. 현재 상황에 맞게 사례를 분석했다.

PC 제품에서 광고 안보기 버튼을 누르면 QR이 생성된다.
QR을 찍으면 모바일에서 이벤트가 진행된다.
이벤트가 완료한다.
PC 제품에서 광고 제거 완료 버튼을 누르면 광고 노출 여부 확인 후, 광고 제거가 완료된다.

해당 사례에서 광고 제거 완료 버튼을 제거하고 풀링 방식으로 변경하면 PC 광고 제거 적용 성공률을 높일 수 있는 방법이라 생각했다. 왜냐하면 사용자의 추가 액션을 줄일 수 있기 때문이다.

그러나 섣부른 판단 일수도 있겠다는 생각도 들었다. 왜냐하면 중간 과정 감소가 PC 광고 제거 적용 성공률이 높아진다는 보장은 없기 때문이다.

이후에 PC 광고 제거 적용 성공률 목표와 분석치를 비교해서 기대치를 높일 수는 있어보인다. 적절히 통계를 쌓아서 비교해보려고 한다.

성공 지표와 관련된 개인적인 생각 정리

개인적인 생각으로 성과 지표를 관리할 때 고려한 부분을 한 줄로 정리해봤다.

PM이라면 : 비즈니스 목표 연결에 집중해 한 조직이 같은 목표에 집중하도록 한다.
개발자라면 : 연결된 비즈니스 목표에 맞게 기술적 성과와 비즈니스 연게 지표를 설정한다.

전체 프로젝트 관리를 AARRR/RARRA 활용하고 하위 업무 관리를 KPI 활용해보면 어떨까한다.

AARRR/RARRA 단점인 단계별 최적화와 전체 최적화 간 상충 가능성을 KPI 단점인 혁신보다는 유지에 초점을 맞추는 보수적 접근을 활용하면 단점 간 상쇄할 수 있어보인다.