Die Echtzeit-Pipeline: Wie Audio zur Agentenantwort wird
Vom Mikrofon zum Lautsprecher in weniger als 500 ms. Ein vereinfachter Rundgang durch die Voice-Agent-Pipeline – was in jeder Phase passiert und wo sich die Latenz verbirgt.
Wenn ein Anrufer mit einem Sprachagenten spricht, durchlaufen seine Worte eine Pipeline von Transformationen, bevor er eine Antwort hört. Das Verständnis dieser Pipeline ist für die Diagnose der Latenz, die Auswahl der richtigen Modelle und das Wissen, wo optimiert werden muss, von entscheidender Bedeutung.
Die fünf Etappen
- Audioerfassung und -übertragung – die Stimme des Anrufers wird von seinem Mikrofon erfasst, kodiert und an den Agentenserver übertragen. Über PSTN (Telefon) erhöht sich die Zeit um 50–150 ms. Über WebRTC (Browser), 20–50 ms.
- Spracherkennung (ASR) – der Audiostream wird in Text transkribiert. Streaming ASR beginnt mit der Transkription, während der Anrufer spricht, und führt zu Teilergebnissen. Die endgültige Transkription erfolgt am Ende der Äußerung. Budget: 100–300ms.
- Language Model Reasoning (LLM) – der transkribierte Text plus Konversationskontext wird zur Antwortgenerierung an das LLM gesendet. Die Streaming-Inferenz beginnt sofort mit der Produktion von Token. Budget: 200–600 ms für das erste Token.
- Sprachsynthese (TTS) – die Textausgabe des LLM wird in Audio umgewandelt. Streaming TTS beginnt mit der Audiogenerierung ab den ersten Token, ohne auf die vollständige Antwort zu warten. Budget: 100–200 ms für den ersten Audioblock.
- Audioübertragung – der synthetisierte Ton wird zurück an das Gerät des Anrufers gestreamt. Gleiche Transportlatenz wie Schritt 1.
Streaming ist die entscheidende Optimierung
Ohne Streaming wartet jede Phase darauf, dass die vorherige vollständig abgeschlossen ist. Gesamtlatenz: 1,5–3 Sekunden. Unerträglich. Beim Streaming wird jede Stufe inkrementell verarbeitet: ASR sendet Teiltranskriptionen an den LLM, der LLM streamt Token an TTS, TTS streamt Audio an den Anrufer. Die effektive Latenz sinkt auf 400–700 ms – schnell genug, dass sich das Gespräch natürlich anfühlt. Aus diesem Grund gibt es Plattformen, die speziell für Echtzeit-Audio entwickelt wurden: Die Streaming-Orchestrierung ist der schwierige Teil.
Bereit loszulegen?
Erleben Sie, wie Mazeds multimodale KI-Agenten für Ihren Use Case arbeiten.