휴멜로와 마음AI가 공동으로 진행한 개인화 음성합성(TTS) 연구 논문 “ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis” 가 세계적인 음성 AI 학회 INTERSPEECH 2026에 채택되었습니다.
이번 연구는 적은 양의 실제 음성 데이터로도 개인화 음성을 더 안정적으로 구현하기 위한 음성합성 방법을 다룹니다. 특히 휴멜로가 이미 강점을 가진 클라우드 음성 AI와 온프레미스 음성 AI를 넘어, 향후 온디바이스 환경까지 확장 가능한 경량화·최적화 역량을 보여주는 기반 연구라는 점에서 의미가 있습니다.
음성 AI의 경쟁력은 이제 “어디에 배포할 수 있는가”입니다
기업이 음성 AI를 도입할 때 중요한 것은 단순히 음질만이 아닙니다.
서비스가 어떤 환경에서 동작해야 하는지, 음성 데이터는 어디에 저장되는지, 네트워크가 불안정해도 사용할 수 있는지, 응답 속도와 운영 비용은 어떤지가 함께 중요해지고 있습니다.
휴멜로는 이미 클라우드 기반 음성 AI(TTS)와 온프레미스 구축 경험을 통해 다양한 기업 환경에 대응해왔습니다. 여기에 이번 ZeSTA 연구는 더 작고 효율적인 개인화 음성 모델로 확장할 수 있는 가능성을 보여줍니다.
즉, 휴멜로의 음성 AI는 하나의 배포 방식에 머무르지 않습니다.
빠른 도입이 필요한 고객에게는 클라우드 TTS, 보안과 내부망 요건이 중요한 고객에게는 온프레미스 음성 AI, 빠른 응답과 현장성이 중요한 환경에는 온디바이스 TTS까지 고려할 수 있는 방향으로 기술 포트폴리오를 넓혀가고 있습니다.
왜 온디바이스 음성 AI가 중요한가요?
온디바이스 음성 AI란 스마트폰, 키오스크, 차량, 로봇, 단말기처럼 실제 사용자가 접하는 기기 안에서 음성합성(TTS) 모델이 직접 동작하는 방식을 말합니다.
이 방식은 여러 장점을 가질 수 있습니다.
- 네트워크 상태에 덜 의존
- 서버 왕복을 줄여 더 빠른 응답 가능
- 민감한 음성 데이터를 외부로 보내는 부담 완화(음성 보안 강화)
- 대규모 호출이 발생하는 서비스에서 운영 비용 절감 가능
- 폐쇄망, 공공, 금융, 의료, 모빌리티 환경에 적합
물론 온디바이스 음성 AI를 위해서는 모델을 작고 효율적으로 다듬는 경량화 기술이 필요합니다. 단순히 큰 모델을 만드는 것만으로는 부족합니다. 제한된 연산 환경에서도 음질과 품질을 유지할 수 있도록 모델을 최적화하는 역량이 중요합니다.
ZeSTA 연구가 보여준 방향
ZeSTA는 제한된 실제 음성 데이터와 합성 음성 데이터를 함께 활용하면서도, 화자 고유의 특성이 흐려지지 않도록 학습하는 개인화 음성합성 방법을 제안합니다.
중요한 점은 합성 데이터를 “많이” 쓰는 것이 아니라 “제대로” 쓰는 것입니다.
합성 음성을 단순히 섞으면 발음이나 명료도는 좋아질 수 있지만, 목표 화자의 느낌이 약해질 수 있습니다. ZeSTA는 실제 음성과 합성 음성의 차이를 구분해 학습함으로써, 적은 데이터 환경에서도 개인화 음성 품질을 더 안정적으로 유지하는 방향을 다룹니다.
이는 온디바이스 음성 AI 관점에서도 중요합니다. 적은 데이터로 개인화가 가능하고, 기존 모델 구조를 크게 바꾸지 않으면서 효율적으로 적용할 수 있다면, 더 작은 음성 모델과 다양한 배포 환경으로 확장할 수 있는 기반이 됩니다.
휴멜로가 보여주는 음성 AI 역량
이번 INTERSPEECH 2026 채택은 휴멜로가 단순히 음성합성(TTS) 서비스를 제공하는 회사를 넘어, 실제 산업 환경에서 필요한 음성 AI 문제를 연구하고 제품화 가능한 방향으로 풀어가는 회사라는 점을 보여줍니다.
휴멜로의 강점은 음성 모델을 만드는 데서 끝나지 않습니다.
고객의 보안 정책, 인프라 조건, 응답 속도 요구, 운영 비용까지 고려해 클라우드 · 온프레미스 · 온디바이스로 이어지는 음성 AI 배포 선택지를 설계할 수 있다는 점에 있습니다.
이번 공동연구는 휴멜로가 앞으로 더 가볍고, 더 유연하며, 더 가까운 곳에서 동작하는 개인화 음성 AI를 만들어갈 수 있는 기술적 기반을 강화했다는 점에서 의미가 있습니다.
