KPI: 과학인가 종교인가

난 각종 도구를 사용해서 계량화한 지표를 업무상 다룬다. 예컨대 일일 활성 사용자 수(DAU)라든지, 리텐션이라든지, 각종 매출 효율과 관련된 KPI 지표 관리가 업무의 중요한 부분이다.
 
그런데 나는 이런 지표 관리가 너무 싫다.
 
예를 들어 신규 사용자 D+1 리텐션 목표를 50%로 잡는다고 하자. 이것은 곧 조직의 KPI로서 OKR에 첨부될 뿐더러, 개인의 성과 목표가 되어 그 사람의 1년 고과를 평가하는 기준이 된다. 그러나 여기엔 여러 문제가 있다.
 
첫째, 지표의 정의와 측정 기준이 정해져 있지 않다.

• 신규 사용자 D+1 리텐션이 단 하루만 50%를 터치하면 달성인 건지
• 특정 기간 중 n% 이상의 날짜 동안 50%를 넘기면 달성인 건지
• 혹은 매일의 D+1 리텐션을 단순 평균해서 50%를 넘으면 달성인지 (즉, 매일의 신규 유저 코호트 모수가 다름을 무시하고 퍼센티지 숫자들만 단순 평균내기)

둘째, 하고많은 지표 중 왜 리텐션이어야만 하고 D+1이어야 하는지, 왜 하필 50%여야 하는지 근거가 없다.

• 시장 평균인지
• 경쟁 서비스의 리텐션을 벤치마크로 사용한 건지
• 과거 당사 서비스 기준인지 설명 없이 그저 적당히 정해진 숫자다.

셋째, 지표 달성 여부에 따른 행동 계획이 없다.

• 50%를 달성하면 무엇을 할 것인가?
• 실패하면 무엇을 개선할 것인가? 
• 결국 50%를 찍어도 '어쩌라고', 못 찍어도 '어쩌라고'가 된다.

확신컨대 이것은 의도된 회피일 테다. 이렇게 애매하고 모호해야 나중에 상황에 맞춰 해석을 달리하며 빠져나갈 구멍을 만들 수 있기 때문이다. 수학적 엄밀함은 정치적 족쇄다. 그러니까 KPI는 목표가 아니라 무기다. 달성 못 했을 때 우리 목에 겨눠질 칼끝.
 
즉, 맨날천날 지표를 보고 목표 대비 달성률을 관리해봤자 애초에 그 모든 숫자의 토대 자체가 확실치 않다. 그러니까 KPI 관리는 방울 흔들고 부적 써 붙이는 행위다. 실은 이 앱 서비스를 계속할 건지 말 건지, 이 팀과 이 사람이 일을 잘했는지 못했는지 전부 그때그때 관리자 기분 탓이다. 결국 회사도 굿판인 거다. 인간 만사가 원래 불확실하므로 굿판인 것 자체는 상관없다. 그러나 본질이 굿인데 데이터 과학인 척하는 집단 최면이 너무 하품 나서 지겨워 죽겠는 것이다. 이게 특정 회사만의 일이 아니라, 누구 잘못이어서가 아니라, 그냥 조직이라는 것 그 자체가 그렇다.
 
조직은 그 속성상 성과를 측정하고 목표 달성 여부를 따지게 돼 있다. 피할 수가 없다. 그리고 조직이 커질수록 그 가짜 노동의 양이 진짜 업무의 양을 압도한다. 내가 따로 시간까지 내어 통계학을 공부하고 데이터 처리를 배웠어도 회사 일에 활용할 생각이 들지 않는 이유다. 단언컨대 데이터를 가공하는 하드 스킬이 중요한 게 아니다. 중요한 것은 다음과 같은 것이다. 

이상적으로는 KPI 따위는 달을 가리키는 손가락에 불과하단 걸 직시하는 것.
현실적으로는 조직, 특히 주식회사에서는 성과 측정과 프로젝션과 사업 계획을 해야만 하기에,
  a. 사업의 성패를 평가하기 위한 적절한 지표를 설정하고, 필요할 때는 유연하게 변경하는 것.
  b. 그 지표의 측정 방법을 정의하고, 누가 언제 측정해도 동일한 값이 나오게 하는 것.
  c. 산출된 목표치의 배경과 의미를 이해하고 이를 바탕으로 조직 전체를 설득하여 합의하는 것.
  d. 합의된 목표치를 바탕으로 조직의 OKR/KPI와 개인 성과 목표를 설정하고 일관되게 적용하는 것.
  e. 그 목표치 달성 및 미달성 시의 행동 계획 역시 미리 합의해 두고 실행하는 것.
 
난 10년 넘게 일하면서 이 a~e 과정이 제대로 되는 조직에 있어 본 적이 없고, 실은 인간 세상에 존재할 거라고 생각지도 않는다.
 
올해 b에 해당하는 작업은 해냈다. 그래서 다른 팀원들도 내가 없을 때 KPI 숫자를 일정하게 산출해낼 수 있게 됐다. 즉 재현 가능한 시스템으로 정착시켰다. 그러나 조직장은 그 의미도 필요성도 그다지 이해하지 못한다. 그래서 차상위 조직장에게 면담을 잡아 설명도 했다. 그러나 생각건대, 조직장들은 수학적 엄밀함이 정치적 족쇄가 되는 점 때문에 내 일의 의미를 인정하지 않을 것이다.
 
나머지 a, c, d, e는 내 직급 범위를 초과하므로 할 수도 없고 하고 싶지도 않다. 저런 건 관리자의 일인데, 단적으로 말하면 동네 성황당에서 염불 외면서 기우제 지내는 그런 류의 일이다. 그래서 나는 회사를 다니면 다닐수록 승진에 대한 관심이 싹 사라진다. 굿판 제사장이 되고 싶은 마음이 없다. 어차피 회사란 데는 제대로 된 정량 평가 기준 자체가 없고, 본질적으로 나의 성과는 매니저 기분 탓이니, 적당히 80점 정도 받으면서 개인 실속 차리는 것만이 정답이라는 확신만 강해진다.
 
여기까지 생각하고 나니 이런 깨달음이 왔다. 만약에 내가 b만 해낸 데서 그치지 않고 더 나아가 acde까지 해내 버렸다? 그래서 데이터가 진짜로 엄밀해졌다? 그러면 나는 나대로 데이터 노가다가 늘어나고, 관리자들은 실패에 대해 면피할 길도 없이 외통수에 빠지게 된다. 구성의 오류 그 자체이구만. 와 이거는 진정으로 최악이다. 더없이 가슴이 금즉하다. 판도라의 상자를 고이 닫아 둬야겠다. 굿판은 유지되어야 한다. The show must go on. 온 세상은 무대이고, 모든 사람은 그저 배우다.
 
그러니까 우리가 조직에서 하는 대부분의 KPI 내지 데이터 관련된 일이, 심지어 진지한 문제 의식을 갖고 정성까지 들이는 일이, 내가 보기에 굿과 크게 다르지 않다. 그러니 누가 '회사에서 데이터 다루고 싶어서' 통계를 배워 보겠다고 하면 그냥 말리고 싶다. 가면 무도회에 거짓말 탐지기 들고 가겠다는 거니까. 그냥 그 시간에 맛있는 것 해먹고 잠을 주무십시오. 그것이 진정한 자기 발전입니다.
 
더하여, 사업이란 길에는 원래 전장의 안개가 자욱하게 내려앉아 있다. 앞이 보이지 않으니 불안할 테다. 하지만 그렇다고 과거 데이터와 숫자만 붙잡고 있는 것은 백미러만 쳐다보면서 운전하겠다는 것과 다름이 없다. 
 
그런 의미에서 나는 절대 데이터 관련된 일을 할 생각이 없다. 이것이 통계와 데이터를 공부하고 얻은 진정한 소득이라 하겠다.
 

Gemini 생성 이미지

 
조직 월급쟁이와 대비했을 때, 기술자, 장인, 개인 투자자 등의 일은 KPI를 정하고 측정하고 설득시키는 류의 정치 노동이 비교적 필요 없다. 그냥 어떤 구체적인 작업을 해내기 위한 노력을 경주하면 된다. 물건을 고쳤으면 고친 것이고 못 고쳤으면 못 고친 것이고, 주식에 내 돈을 넣어서 돈을 벌었으면 번 것이고 잃었으면 잃은 것이다. 이와 같이 해석 정치 설득과 같은 노이즈가 최소화된, 투명하고 즉자적인 일로 나아가기 위해 모든 할 수 있는 것을 하리라. 신분에서 계약으로. 기우제의 세계에서 함수의 세계로. 기필코.
 
 
 
[관련글]
2018.01.25-장인

장인

2020.02.20-의식의 흐름 메모

의식의 흐름 메모

 
[참고할 개념]
Goodhart's Law
Vanity Metrics
McNamara Fallacy
Data Theater
Principal-Agent Problem
 
[읽어보고 싶은 책]
Jerry Z. Muller, The Tyranny of Metrics
David Graeber, Bullshit Jobs
James C. Scott, Seeing Like a State
Robert Jackall, Moral Mazes
Robert M. Pirsig, Zen and the Art of Motorcycle Maintenance
Matthew Crawford, Shop Class as Soulcraft