블로그로 돌아가기
운영
AI 워커를 측정하기: 정말 중요한 지표는 따로 있습니다
최민서 · 2026년 5월 15일 · 8분 분량
데모에서 들리는 인상으로 에이전트를 평가하고 싶어집니다. 하지만 운영은 더 속이기 어려운 것 위에서 돌아갑니다 — 그 일이 끝났는가, 정확했는가, 뒤에서 뒤처리를 만들지 않았는가.
회피가 아니라 해결
회피율은 사람이 끼어들지 않아도 됐던 대화를 셉니다. 해결률은 실제로 올바른 결과로 끝난 대화를 셉니다. 둘은 같은 숫자가 아니며, 두 번째를 희생해 첫 번째를 좇는 것이야말로 자동화가 신뢰를 조용히 갉아먹는 방식입니다.
전체 흐름을 측정하세요. 업무가 완료됐는가, 그대로 유지됐는가, 고객이나 다음 시스템이 다시 손대야 했는가.
짧은 스코어카드
함께 지켜보는 소수의 지표가 필요한 정보의 대부분을 알려 줍니다.
- 업무별로 나눈 첫 접촉 해결률.
- 에스컬레이션 비율, 그리고 그 에스컬레이션이 충분한 맥락과 함께 도착하는지 여부.
- 첫 접촉부터 실제로 일이 처리되기까지의 시간.
- 하류 재작업 — 에이전트가 사후에 유발한 정정 건수.
결과를 기준으로 튜닝하세요
스코어카드가 자리 잡으면 에이전트의 모든 변경이 검증 가능해집니다. 프롬프트 수정이 도움이 됐는지 추측할 필요가 없습니다 — 해결률과 재작업이 어떻게 움직이는지 지켜보고, 제 값을 하는 변경만 남기면 됩니다.