음성 AI의 두뇌, LLM은 상담에서 어떻게 의도를 이해할까? (RAG·스킬북·환각 방지) 2026
음성 AI를 '듣고(STT)–생각하고(LLM)–말하는(TTS)' 흐름이라고 하면, 가장 안 보이지만 가장 중요한 단계가 가운데 '생각'입니다. 고객이 한 말의 진짜 의도를 파악하고 답을 만드는 역할, 바로 LLM이죠.
문제는 LLM이 똑똑한 만큼 그럴듯한 거짓말(환각) 도 잘한다는 점입니다. 이 글에서 음성 상담에서 LLM이 의도를 이해하는 원리와, 환각을 막는 RAG·스킬북 구조를 정리해 드리겠습니다.
음성 상담에서 LLM은 무슨 일을 할까?
LLM(거대 언어 모델)은 고객의 말을 '의도' 단위로 이해하고, 그에 맞는 답변을 생성하는 음성 에이전트의 두뇌입니다.
예전 IVR/챗봇은 "1번을 누르세요", "정확히 이 키워드를 말하세요" 식이었습니다. LLM은 다릅니다.
- "지난주에 시킨 거 아직도 안 왔어요" → 배송 조회 의도로 이해
- "환불까진 아니고 그냥 언제 오나 해서요" → 단순 문의로 구분
같은 뜻을 다르게 말해도 의도를 잡아내는 것, 이게 LLM이 만든 변화입니다.
LLM은 어떻게 '의도'를 파악할까?
크게 세 가지로 작동합니다.
- 문맥 이해 — 단어가 아니라 문장 전체·이전 대화까지 종합
- 의도 분류 — 조회/변경/불만/단순문의 등으로 매핑
- 응답 생성 — 분류된 의도에 맞춰 자연어로 답을 만듦
핵심은 1번입니다. "괜찮아요"가 수락인지 거절인지는 앞 문맥이 정합니다. LLM은 이 맥락을 읽어내기 때문에 사람과 대화하듯 응대할 수 있습니다.
그런데 왜 LLM은 '거짓말(환각)'을 할까?
LLM은 '모른다'고 말하기보다 그럴듯한 답을 지어내는 경향이 있습니다. 이를 환각(Hallucination)이라 합니다.
상담에서 환각은 치명적입니다. "그 상품 환불 수수료는 없습니다"라고 LLM이 멋대로 답했는데 실제로는 수수료가 있다면? 신뢰가 무너지고 분쟁이 생깁니다. 일반 지식으로 학습된 LLM은 '우리 회사의 정확한 규정'을 알지 못하기 때문에 이런 일이 생깁니다.
환각을 막는 법 — RAG와 스킬북
해법은 LLM이 추측하지 않고 '우리 회사의 정확한 자료'를 보고 답하게 만드는 것입니다.
| 방식 | 무엇인가 | 효과 |
|---|---|---|
| RAG (검색증강생성) | 답하기 전에 우리 문서를 먼저 검색해 근거로 사용 | 회사 규정 기반 정확한 답 |
| 스킬북/지식베이스 | FAQ·매뉴얼·약관을 학습 자료로 정리 | LLM이 참고할 '정답지' 제공 |
| 범위 제한 | 모르면 "상담원 연결"로 넘김 | 지어내기 차단 |
즉 좋은 학습 자료(스킬북)를 잘 정리해 RAG로 연결하면, LLM은 똑똑하면서도 거짓말하지 않는 상담원이 됩니다.
휴멜로 프로소디 AICC는 FAQ·매뉴얼 같은 자료를 스킬북으로 학습시키고, LLM이 그 근거 위에서만 답하도록 설계됩니다. STT(알아듣기)·LLM(생각)·DIVE TTS(자연스러운 음성)가 한 콘솔에 묶여 있어, '정확히 이해하고 정확히 답하고 사람처럼 말하는' 상담을 한 번에 구성할 수 있습니다.
자주 묻는 질문 (FAQ)
Q. 음성 에이전트에서 LLM은 어떤 역할인가요? A. STT가 받아쓴 고객의 말을 의도 단위로 이해하고 답변을 생성하는 '두뇌' 역할입니다. 음성 대화는 STT(듣기)→LLM(생각)→TTS(말하기) 순으로 작동합니다.
Q. LLM의 환각(거짓 답변)이란 무엇인가요? A. LLM이 모르는 내용을 그럴듯하게 지어내는 현상입니다. 상담에서는 잘못된 규정 안내로 이어질 수 있어 RAG·스킬북으로 반드시 통제해야 합니다.
Q. RAG는 무엇이고 왜 필요한가요? A. RAG는 LLM이 답하기 전에 회사 문서를 먼저 검색해 근거로 삼게 하는 방식입니다. 일반 지식이 아닌 '우리 회사 규정'에 기반한 정확한 답을 만들어 환각을 줄입니다.
Q. 휴멜로는 환각을 어떻게 막나요? A. 프로소디 AICC는 FAQ·매뉴얼을 스킬북으로 학습시키고 LLM이 그 근거 위에서만 답하게 하며, 범위를 벗어나면 상담원으로 연결합니다.
정리하며
LLM은 음성 상담의 '두뇌'로, 고객의 다양한 표현 속에서 의도를 잡아냅니다. 다만 똑똑한 만큼 환각 위험이 있어, RAG와 잘 정리된 스킬북으로 '근거 기반 답변'을 강제하는 설계가 필수입니다.
휴멜로 프로소디 AICC는 스킬북·RAG 구조 위에 STT·LLM·DIVE TTS를 통합해, 정확하면서도 자연스러운 음성 상담을 구성합니다.
우리 자료로 똑똑한 상담봇을 만들고 싶다면? 프로소디 콘솔에 FAQ·매뉴얼을 스킬북으로 올리고, 근거 기반으로 답하는 음성 에이전트를 직접 구성해 보세요.
[관련 글 추천]
- STT(음성인식)란? AI가 사람 말을 알아듣는 원리
