내가 방울을 흔드는 건지 방울이 나를 흔드는 건지

요즘 업무가 극단적으로 재미없고 피로하다. 내용을 아주 구체적으로 말할 수는 없다. 간단히 말하자면 아직 출시하지 않은 프로젝트의 예상 매출과 목표 달성 가능성을 시뮬레이션하는 거다.
 
출시하기 전이니 당연히 벤치마크 삼을 수 있는 실측 데이터가 없다. 상품도 설계 중이라 가격표가 확정이 아니고, 상품군 자체가 바뀔 수도 있고, 몇 개는 구성이 바뀌었고, 몇 개는 있다가 없어졌고, 없던 게 생길 수도 있다. 판단 기준이 되는 목표 숫자가 몇 종류 있긴 한데, 그 숫자가 어떻게 만들어졌는지는 내가 이 프로젝트에 들어오기 몇 달 전에 결정된 거라서 나는 문서로만 전달받았다. 그리고 그 목표 숫자는 한 개가 아니라 두 개였고, 두 개는 서로 정합적이지 않다. 그것도 내가 이번에 작업을 시작하고 나서 계산을 한참 해보고서야 알아차린 것이다.
 
하여튼 이런 상태에서 매출 시뮬레이션을 해야 한다. 위에서 정해 놓은 목표치에 시뮬레이션 결과가 부합하는지 산출하는 일, 부합하지 않는다는 결과가 나오더라도 최대한 나오도록 짜맞춰서 윗사람들의 불안을 달래는 일. 하여튼 내가 제일 따분해 하는 부류의 일이다. 조직의 업무를 배관공과 제사장의 일로 크게 나눈다면 이번 일은 본질상 제사장 류의 일인데 작업 과정은 심히 배관공 류이다.
 
이 작업을 하려면 우선 엄청나게 흩어져 있는 다양한 문서들을 읽어야 했다. 어떤 건 작년 가을에 만들어진 것, 어떤 건 이번 주 업데이트된 것, 메신저에 실시간으로 올라오는 변경 사항들, 계속 바뀌는 시트 10개가 넘는 엑셀, 미팅에서 들은 말들. 계속 원천 데이터와 요구 사항과 시나리오를 바꿔서 시뮬레이션을 반복해야 하다 보니 브라우저 탭이 십수 개가 우습게 넘어갔고, AI 대화 기록도, 보고서 버전도 꼬이기 일쑤였다. 작업기억에 엄청난 부하가 왔다.
 
실측치나 쓸만한 추정치가 없는 항목에 대해서는 외부 데이터를 검색해서 대입해야 했다. 자사 다른 프로젝트나 타사 데이터를 우리 상황에 맞게 변환하려면 전제를 세워야 했고, 전제를 세우려면 가정을 해야 했고, 가정이 합리적인지 확인하려면 또 다른 자료를 봐야 했다.
 
당연히 AI를 썼다. 쓰지 않았다면 시작도 못 했을 거다. 그런데 AI를 쓴다는 건 그다지 편한 일이 아니다.
 
AI는 사람보다 훨씬 빠르다. 내가 몇 문장 물으면 AI는 수 페이지를 대답한다. 숫자 수십 개가 든 표를 몇 초 안에 만들고, 모델링과 계산 과정은 축지법 쓰듯이 생략하기가 일쑤다. 그런데 그 모델링과 가정과 전제와 계산이 맞는지는 누군가 다시 봐야 한다. AI는 끊임없이 빠르게 출력하고 새로운 문서를 만들어 내지만 그 결과를 책임질 인간이 검증을 해야 한다. 이번엔 그게 나였다.
 
검증하려면 AI가 쓴 숫자가 어디에서 왔는지 따라가야 한다. 가정이 합리적인지, 계산 순서가 맞는지, 단위가 섞이지 않았는지, 이전 답변과 모순되지 않는지, 시킨 것과 다른 엉뚱한 데이터를 집어넣지 않았는지 확인해야 한다. AI가 몇 초 만에 만든 걸 나는 몇십 분 동안 읽고, 고치고, 다시 묻고, 대화가 꼬이면 새 대화를 시작하고, 변경된 부분만 추려서 기존 문서에 수정해 넣고, 전체가 아귀가 맞는지 다시 본다.
 
제일 비싼 모델인 Claude Opus 4.7로만 작업을 해도 실수가 무수히 많다. 발견해낸 실수와 이상한 가정이나 잘못 사용된 데이터가 여러 번이었다. 원천 데이터가 계속 바뀌다 보니 여러 번 집어넣고 다시 돌리는 과정에서 AI도 헷갈려 한다. 반복하다 보니 내가 발견하지 못한 실수가 더 있을지도 모른다는 찜찜함이 남는다.

중간에 뭔가 바뀌면 그동안 쌓은 계산을 처음부터 다시 해야 했다. 상품 하나가 없어졌다. 가격 하나가 새로 확정됐다. 뭐 그러면 앞 단계의 가정이 흔들리고, 그 위에 쌓은 숫자들이 의미를 잃는다. 다시 쌓아야 한다. 이게 몇 번이고 반복됐다. 같은 내용을 세 번 네 번 다시 처음부터 시작해야 했다. 그때마다 "이번엔 제대로 된 것 같다"고 생각했다가, 며칠 뒤에 새 자료가 나오거나, 나나 AI나 다른 사람이 놓친 부분이나 미비한 가정을 발견해서 다시 돌아갔다. 나는 하여튼 이런 페르미 추정류, 시뮬레이션류, 숫자 가지고 정치하는 류, 조직의 불안을 달래주기 위해 굿하는 류 업무가 너무 싫다. 나는 참고로 투자하면서 시뮬레이션 같은거 안한다. 다 희망사항에 기초한 망상일 뿐이다 솔직히. 대응이 중요하지. 근데 회사에선 이런 걸 해야 된다. 회사니까. 숫자와 서류와 통제가 조직의 존재 이유니까.
 
https://bravebird.tistory.com/940

KPI: 과학인가 종교인가

 
http://bravebird.tistory.com/949

배관공과 정치가

 
 
중간 검증을 위해 사람들에게 보내도 답이 잘 돌아오지 않는다. 너무 길고 복잡하니 안 읽는다. 짧고 쉽게 쓰려고 애를 썼고 애초에 AI에게 시킬 때도 IQ 90에 ADHD와 난독증이 있는 중학교 3학년이 읽어도 과정이 이해가 가도록 쓰고, 결론을 최대한 간단하게 전진 배치하고, 원하는 사람들은 뒤로 가서 추산 근거를 쭉 읽어보면 이해가 되도록, 최대한 보고서 말투를 유지하되 최대한 친절하게 풀어 쓰라고 키보드가 닳도록 반복 주문을 했지만, 내용 자체가 복잡해서 아무래도 한계가 있다. 전제와 가정과 출처를 다 빼고 결론만 제시하면 "믿어주세요"만 남는데, 그러면 아무도 안 믿는다. 그래서 이해가 되도록 쓰려면 다 풀어서 쓸 수밖에 없고, 쓰니까 길어졌고, 길어지니까 안 읽는다. 회의에서 설명하면 읽지도 않고 온 사람들이 태클부터 걸기 일쑤다. 
 
중요하긴 한데 읽히지는 않는, 숫자 모델링으로 가득찬 보고서를 쓰는 일은 사람을 정말 지치게 한다. 내가 이걸 하는 이유는 누군가에게 전달해서 의사결정의 기초 자료로 삼기 위한 건데, 전달이 안 되면 야근까지 하고 밥도 미뤄가며 쓰는 행위 자체가 허공에 뜬다. 그런데 안 할 수는 없다. 누구도 제대로 안 읽을 걸 알면서도, 모든 숫자가 가정에 기초한 것일 뿐인데도 해야만 한다. 왜? 명령을 받았으니까. 월급을 받아야 하니까. 숫자로 표현 가능하면 통제가 가능한 것이라고 믿는 윗사람의 주술에 참여해야 하니까. 그들의 불안을 달래야 하니까. 
 
회의에서 다른 사람들은 이 내용을 잘 아는 것처럼 아주 자신있게 말한다. 앞서 정해진 목표 숫자들이 과도해 보이거나 서로 상충 관계에 있어 보여도 누구도 "그거 좀 이상하지 않아요?"라고 묻지 않는다. 뉴런이 타버리도록 숫자만 보면 약간 신경이 쇠약해져서 나만 헤매는 건가 싶다. 내가 맥락을 못 따라가는 건가, 원래 복잡한 일인가, 아니면 원래 말이 안 되는 일을 되게 하려고 해서 그런가. 나는 세 번째라고 생각하긴 하지만 그렇게 말할 수는 없다. 시킨 일이 아무리 하품이 나고 무의미해도 해내야만 내 목구멍에 책임을 질 수가 있다. 
 
아마도 자신 있게 말하는 사람들도 실은 각자 자기 조각만 안다. 아무도 전체 그림을 갖고 있지 않다. 그리고 그들도 다 엄청나게 많은 데이터를 참조해야 하고 AI를 썼기 때문에 방대한 데이터의 부산물들과 싸우고 있다. 그러니까 AI로 작업한 복잡한 데이터 기반의 문서들은 그 작업 과정을 장악하고 있는 사람들이 솔직히 많이 없을 거다. 그리고 그 각자가 만들어 놓은 업무의 부산물들이 제대로 맞물리지 않는다는 걸 확인하는 사람은 아귀 맞추는 작업을 하느라 너무 피곤하다.
 
그 옛날 대학 시절에 대학국어 소논문 8명이 쓴 거 취합하는 작업 해봤는가? ㅋㅋㅋ 조각을 맞추는 일은 조각을 만드는 일보다 훨씬 보이지 않고 진짜 고통 그 자체다. 새벽까지 노력을 갈아 넣어서 다 맞춰 놔도 사람들은 실은 관심이 없다. 특히 누군가가 해놓은 부분을 수정해야만 한단 걸 발견해서 말해 주면 사람들은 그다지 협조적이지 않다. 이미 만들어 놓은 자신의 조각을 다른 모양으로 바꾸는 가외의 일을 하고 싶지 않으니까 말이다. 누가 그러고 싶겠는가. 하여튼 내가 그 옛날 대학국어는 8명의 앞뒤 안맞는 글을 이어 붙이는 그 생고생을 하고 A+라도 받았지만 회사일은 이거 한다고 해서 내 앞으로 돌아오는 것도 없어 ㅋ 목표치(라고 쓰고 의지치로 읽어야 함)로부터 시작해서 탑다운으로 역산한 답정너 시뮬레이션이다 보니 현실과는 맞을 수가 없는데 나중에 숫자 달성 안되면 책임만 져야 할걸 ㅋㅋㅋㅋ
 
이 일은 전제 조건이 그 아무 것도 확실히 갖춰지지 않은 상태에서 딱 떨어진 수치적인 결론을 내라는 거다. 그걸 해내려면 여러 일을 동시에 해야 했다. 서로 모순되는 목표치들과 실시간으로 디테일이 자꾸 바뀌는 데이터셋과 메시지들을 교차 검토하고 보완해서 사실관계를 확인하는 일, 확인하는 과정에서 이미 문서로 구두로 공유해준 내용이라고 욕 먹지만 따지고 보면 내가 맞아서 상대방 기분 안 상하게 정정해 주고 사실을 확정하는 일, 복잡한 모델링을 설계하고 돌리는 일, AI가 낸 결과를 검증하는 일, 결과를 읽는 사람이 부담을 덜 느끼도록 다시 쉽게 풀어 쓰는 일, 길고 복잡한 글을 읽을 시간도 의지도 없는 사람들에게 구두로 공유하고 의견을 듣고 다시 결과물에 되먹임하는 일. 각각 다른 종류의 능력을 요구하는 일들을 혼자서, 동시에, 계속 흔들리는 땅 위에서 며칠간 했다. 내가 제일 싫어하는 소위 정치가나 제사장의 일, KPI라는 방울을 흔드는 일… 그러나 관리자들에게는 중요하다고 여겨지는 일, 그러나 난 내심 전혀 신경도 쓰지 않는 일, 그럼에도 열심히 해야 하고 책임져야 하는 일.
 
사실 이 글도 밤늦게 업무가 끝나고 나서 그 맥락을 그대로 다 알고 있는 AI한테 시켜서 초안을 대부분 다 썼다. 진짜 내가 제일 싫어하는 잦같은 업무라서 훗날의 나 자신에게 전하기 위해 기억이 생생할 때 꼭 남겨놔야겠더라고. 그런데 너무 피곤한 나머지, 회사 관련 디테일은 전부 마스킹하면서도 필요한 상세는 충분히 밝히는 글을 쓰려니까 내 손으로 착수를 할 수가 없었다. 초안을 쓰라고 한 다음에 야근택시 타고 집에 와서 휴먼의 손길을 더하고 있다. Opus 4.7이 나의 모든 업무 상황을 참조하여 쓴 글임에도 어딘가 인위적이어서 성에 차지 않는다. 
 
이제 머리 쳐 감고 자야겠당. 오늘 단 한 순간도 밖에 나가지 못하고 컴퓨터에 붙잡혀 있었어서 땀을 한 방울도 안 흘린 게 다행이랄까. 샤워까지는 할 기력이 없으니 생략하겠다.
 
 

이것도 역시 AI 나노바나나 작품

 

표제를 보고 쓴 것은 아니지만 표제대로 욕을 했군