Ce que vos journaux d'agent vocal devraient réellement suivre
La plupart des journaux d'agents vocaux capturent la transcription de la conversation. C'est le strict minimum. Voici ce dont vous avez réellement besoin pour le débogage, l’optimisation et la conformité.
Une transcription vous raconte ce qui a été dit. Il ne vous dit pas pourquoi l'agent l'a dit, combien de temps cela a pris, quel était son sentiment, quelles actions ont réussi ou échoué, ni où la conversation a déraillé. Les agents vocaux de production ont besoin d'une journalisation structurée prenant en charge le débogage, l'optimisation et la conformité, et pas seulement un enregistrement et une transcription.
Quoi enregistrer
- Répartition de la latence par tour : temps ASR, temps d'inférence LLM, temps de génération TTS, temps d'exécution de l'action. Identifie quelle étape entraîne des retards.
- Classification des intentions à chaque tour : qu'est-ce que l'agent pensait que l'appelant voulait ? Était-ce correct ? Suit la précision de la compréhension au fil du temps.
- Résultats de l'exécution de l'action : quels outils ont été appelés, quels paramètres ont été transmis, qu'est-ce qui a été renvoyé, a-t-il réussi ou échoué ? Indispensable pour déboguer les problèmes d’intégration.
- Activations des garde-corps : quand un garde-corps s'est-il déclenché ? Qu'est-ce qui l'a déclenché ? Est-ce qu'il a été correctement acheminé ? Prouve que les contrôles de conformité fonctionnent.
- Trajectoire des sentiments : comment le sentiment de l’appelant a-t-il changé au cours de la conversation ? En corrélation avec les réponses spécifiques des agents.
- Chemin du nœud : quels nœuds de Agent Canvas la conversation a-t-elle traversés ? Indique si le flux prévu a été suivi.
- Métadonnées d'escalade : si l'appel a été transféré, pourquoi ? Quel était le dernier sujet ? Quel était l'état de l'appelant ? Critique pour améliorer l’agent et former les humains.
Journalisation pour l'itération, pas seulement pour l'audit
Le principal consommateur de journaux n'est pas la conformité (même s'ils en ont également besoin). C'est l'équipe qui itère sur l'agent. Lorsque les taux de résolution chuteront jeudi, les journaux devraient révéler quel type d'appel échoue et sur quel nœud de canevas. Lorsqu'une nouvelle intégration d'action est mise en ligne, les journaux doivent confirmer qu'elle s'exécute correctement avant de faire évoluer le trafic. Construisez votre journalisation autour des questions que votre équipe pose le plus : « Pourquoi cet appel a-t-il mal tourné ? » et « Que devrions-nous réparer ensuite ? »
Prêt à construire ?
Découvrez comment les agents IA multimodaux de Mazed fonctionnent pour votre cas d'utilisation.