Затримка голосового агента AI: що її викликає та як її зменшити
Затримка понад 800 мс робить розмови схожими на роботизовані. Ось що сприяє затримці голосового агента та практичні стратегії, щоб зменшити час відповіді до 500 мс.
У людській розмові перерва між тим, як одна особа закінчує, а інша відповідає, зазвичай становить 200–400 мс. Коли агенту ШІ потрібно 800 мс або більше, розмова здається млявою. Абоненти починають розмовляти через агента, створюючи каскадний провал переривань і незручних накладень. Затримка — це не те, що приємно мати — це різниця між природною розмовою та явно роботизованою.
Звідки береться затримка
- Розпізнавання мовлення (ASR): 100–300 мс для розшифровки мовлення абонента
- Висновок LLM: 200–800 мс, щоб модель генерувала відповідь (дуже залежить від розміру моделі та тривалості запиту)
- Перетворення тексту в мову (TTS): 100–200 мс для синтезу першого аудіофрагмента
- Мережа туди й назад: 50–150 мс на стрибок між послугами
- Виконання дії: 100–500 мс+ для викликів API до зовнішніх систем (пошук CRM, перевірка календаря)
Стратегії скорочення
- Потокові відповіді — запустіть TTS, щойно надійдуть перші токени від LLM, замість того, щоб чекати повної відповіді. Це найбільша виграш у затримці.
- Вибір моделі — використовуйте швидші моделі для простих взаємодій і зарезервуйте більші моделі для складних міркувань. Різні типи викликів можуть використовувати різні моделі.
- Оптимізація підказок — коротші системні підказки скорочують час висновку. Видаліть непотрібні інструкції.
- Граничне розгортання — розмістіть сервери ASR і TTS географічно поблизу від абонентів.
- Попередня вибірка — якщо агент може передбачити ймовірні наступні кроки, попередня вибірка даних до того, як абонент закінчить говорити.
- Пул з’єднань — підтримуйте постійні з’єднання з провайдерами LLM і TTS, а не встановлюйте нові за запитом.
Правильне вимірювання затримки
Вимірюйте наскрізне: від моменту, коли абонент припиняє говорити, до моменту, коли він чує перше слово відповіді. Це число, яке визначає сприйману якість. Вимірювання затримки окремих компонентів корисне для налагодження, але вводить в оману для оцінки досвіду. Встановіть ціль менше 500 мс для відповіді на перше слово під час стандартних взаємодій.
Готові створювати?
Подивіться, як мультимодальні ШІ-агенти Mazed працюють для вашого випадку використання.