도입은 시작, 운영이 본 게임
도입까지의 시간을 1/6로 단축했더라도 운영 단계에서 점진 개선 사이클이 없으면 6개월 뒤 성과는 풀스택 DIY와 차이가 없어집니다. 이 글은 프로소디 에이전트 운영팀이 따라야 할 6단계 사이클입니다.
1단계 — KPI 정의
권장 KPI 6종:
| KPI | 정의 | 목표 |
|---|---|---|
| 대화 완료율 | 사용자가 끝까지 완료한 비율 | 80%+ |
| 자동 해결률 | 사람 상담원 연결 없이 해결한 비율 | 60~70%+ |
| 미답변율 | 적절한 답을 찾지 못한 비율 | < 5% |
| 평균 응답 지연 | 사용자 발화 종료 → 음성 응답 | < 1.5초 |
| 사용자 만족도(CSAT) | 종료 후 1~5점 | 4.0+ |
| 채널별 사용량 | 웹·키오스크·콜센터 분포 | 추세 모니터링 |
2단계 — 일간·주간 대시보드 운영
콘솔 대시보드에서:
- 일 단위: 대화 수, 미답변, 응답 지연
- 주 단위: KPI 추세, 채널별 성장
- 알림 임계값: 미답변율 8% 초과 시 즉시 알림
3단계 — 미답변·이탈 분석
매주 자동 수집되는 항목:
- 미답변 질문 (의도는 명확하나 답을 못 찾은 케이스)
- 사용자 이탈 시점 (대화 도중 종료)
- 사용자 재시도 (같은 질문 반복)
- 부정 피드백
이 데이터가 4편 스킬북 갱신의 입력값입니다.
4단계 — 재학습 사이클
권장 주기:
- 주 1회: 스킬북 미답변 보강
- 월 1회: 전체 시나리오 재테스트 (평가 방법론 참고)
- 분기 1회: 페르소나·음성 재검토
- 반기 1회: KPI 목표 재설정
5단계 — A/B 실험 운영
같은 질문에 다른 응답 방식을 비교:
- 응답 길이 (긴 답 vs 짧은 답)
- 톤매너 (친근 vs 공식)
- 음성 화자
- 폴백 정책
콘솔에서 트래픽 비율 설정 → KPI 비교 → 우수 안 채택.
6단계 — 분기 리뷰·로드맵
분기 말 체크리스트:
- 6대 KPI 추세 검토
- 도입 ROI 계산 (인건비 절감, 처리 콜 수)
- 신규 채널 도입 검토
- 폐쇄망·온프레미스 전환 필요성 (On-Premise)
- 다음 분기 학습 우선순위
- 사용자 피드백 정성 분석
결론
프로소디 AICC 에이전트의 진짜 가치는 도입 속도가 아니라 운영 사이클의 단순함입니다.
6단계 사이클을 분기마다 한 번씩 돌리면 6개월 뒤에는 도입 시점 대비 자동 해결률이 평균 15~20%p 상승합니다. 시리즈를 처음부터 다시 보려면 1편 Pillar로 돌아가거나 실제 도입 컨설팅은 도입 문의로 요청하세요.
🔗 이전화: 5편 — 한 에이전트, 모든 채널
🔗 시리즈 처음으로: 1편 Pillar — 올인원 음성 AI 솔루션
