감사 & 테스트
적대적 에이전트가 찾은 실패가 영구적인 게이트가 되는 곳.
거버넌스 · 적대적 에이전트
에이전트를 신뢰하는 가장 좋은 방법은 공격하는 것입니다
우호적인 테스트는 모두가 점잖게 행동할 때만 에이전트가 작동함을 증명합니다. 적대적 에이전트는 정반대입니다. 까다로운 통화자, 혼란스러운 통화자, 악의적인 통화자를 — 사람 QA 팀이 따라올 수 없는 규모로 — 연기합니다. 그래서 약점이 고치기 안전한 곳에서 드러납니다.
의도적인 공격
지치지 않는 레드팀
적대적 에이전트는 단 하나의 임무를 가진 AI 테스터입니다. 여러분의 에이전트를 실패하게 만드는 것이죠. 실제 사람처럼 적대적이고 회피적이며 안내에서 벗어난 행동을 즉흥적으로 만들어 내고, 갈라진 틈이라면 어디든 밀어붙입니다. 그래서 고객이 호되게 가르치기 전에, 에이전트가 어떻게 무너지는지 알게 됩니다.
- 적대적·혼란·회피 통화자 페르소나
- 프롬프트 인젝션과 사회공학 시도
- 소수의 수작업이 아니라 수천 가지 변형을 병렬 실행
경계를 커버
해피패스 테스트가 건너뛰는 사례들
실제 실패는 구석에 숨습니다. 확인을 거부하는 통화자, 정책과 거의 맞지만 어긋나는 요청, 세 가지 방식으로 제시된 세부 사항처럼요. 적대적 에이전트는 바로 그 구석에 살도록 만들어졌고, 여러분이 스크립트로 짤 생각조차 못 했을 동작을 드러냅니다.
- 신원·금액·컴플라이언스 주변의 경계 사례
- 에이전트를 가드레일 너머로 구슬리려는 시도
- 지연·끼어듦·소란스러운 입력에 대한 압박
루프를 닫기
무너진 모든 지점이 가드레일이 됩니다
재현할 수 없는 실패는 다시 보게 될 실패입니다. 적대적 실행이 문제를 찾으면, 다시 재생할 수 있는 구체적 시나리오로 포착됩니다. 그래서 수정은 검증 가능해지고, 같은 실패는 회귀로 되돌아오지 못하게 막힙니다.
- 실패를 재생 가능한 이름 있는 시나리오로 저장
- 무너뜨린 바로 그 공격을 재실행해 수정을 검증
- 그 사례를 회귀 스위트로 승격해 재발 방지
관련 항목
적대적 테스트가 거버넌스의 나머지를 채웁니다
시작하기
여러분의 에이전트를 저희가 무너뜨려 보겠습니다
중요하게 여기는 워크플로에 적대적 실행을 겨눠 주세요. 어디서 휘고, 어디서 버티며, 틈을 어떻게 메울지 보여드립니다.