감사 & 테스트
점수화된 시나리오로 변경을 막아 노스스타를 제자리에 고정.
거버넌스 · 노스스타
목표를 정의하면, 에이전트가 그곳을 겨눕니다
대부분의 자동화는 "돌아갔는가"만 최적화합니다. 노스스타는 워크플로에서 실제로 중요한 것 — 첫 접촉에서의 해결, 정확한 인계, 충분히 들렸다고 느낀 고객 — 을 정의하고, 모든 실행을 그 기준으로 점수화합니다. 그래서 품질이 느낌이 아니라 움직일 수 있는 숫자가 됩니다.
출력이 아니라 성과
여기서 성공이 무엇인지 명명
대화록은 무엇이 말해졌는지 알려줄 뿐, 그것이 통했는지는 알려주지 않습니다. 노스스타는 이 특정 워크플로에서 좋은 성과 — 뛰어난 담당자라면 평가받았을 그것 — 에 대한 여러분의 정의를 적어 둔 것입니다. 그래서 에이전트와 팀이 같은 목표를 겨눕니다.
- 해결·정확도·끝까지 처리 같은 성과 수준의 목표
- 거기 도달하는 과정에서 에이전트가 지켜야 할 단단한 경계
- 워크플로마다 별도 노스스타 — 수금은 고객지원과 다릅니다
측정 가능하게
모든 실행에 어깨짓이 아니라 점수를
노스스타가 정의되면 각 대화가 그 기준으로 자동 채점되고, 그 근거가 함께 붙습니다. "에이전트가 괜찮아 보인다"가 지켜볼 수 있는 추세로 바뀌고, 어떤 변경이 도움이 됐는지 해가 됐는지 알려주는 숫자가 됩니다.
- 모든 실행에 자동 채점, 그 이유까지 기록
- 시간에 따른 추세로 개선(또는 회귀)이 눈에 보임
- 낮은 점수에서 그 점수를 만든 트레이스로 바로 진입
조준과 드리프트 포착
동작을 겨누고, 계기판을 지켜봅니다
노스스타는 두 가지 일을 합니다. 실행 중에는 에이전트를 성과로 이끌고, 운영 동작이 목표에서 벗어나기 시작하면 알립니다. 계기판이 잘못된 방향으로 움직이면 일찍 보이고, 실패한 사례는 바로 그 자리에서 테스트가 될 준비가 돼 있습니다.
- 그 순간 동작을 노스스타 쪽으로 유도
- 점수가 임계값 아래로 떨어지면 드리프트 경보
- 낮은 점수 실행을 한 번에 회귀 테스트로 전환
관련 항목
노스스타는 거버넌스의 나머지와 이어집니다
시작하기
워크플로 하나의 ‘좋음’을 정의해 보세요
단일 프로세스에서 가장 유능한 담당자를 어떻게 평가할지 알려 주세요. 노스스타로 바꿔, 운영 중인 에이전트를 그 기준으로 점수화해 드립니다.