Voice Agent Günlüklerinizin Gerçekte Neleri İzlemesi Gerekir?
Çoğu sesli aracı günlüğü, konuşma metnini yakalar. Bu asgari düzeydedir. Hata ayıklama, optimizasyon ve uyumluluk için aslında ihtiyacınız olan şey burada.
Bir transkript size ne söylendiğini anlatır. Temsilcinin bunu neden söylediğini, ne kadar sürdüğünü, düşüncenin ne olduğunu, hangi eylemlerin başarılı veya başarısız olduğunu ya da konuşmanın nerede yoldan çıktığını size söylemez. Prodüksiyon ses aracılarının yalnızca kayıt ve transkript değil, hata ayıklamayı, optimizasyonu ve uyumluluğu destekleyen yapılandırılmış günlüğe kaydetmeye ihtiyacı vardır.
Ne kaydedilmeli
- Tur başına gecikme dökümü — ASR süresi, LLM çıkarım süresi, TTS oluşturma süresi, eylem yürütme süresi. Hangi aşamanın gecikmelere neden olduğunu tanımlar.
- Her fırsatta niyet sınıflandırması - temsilci, arayanın ne istediğini düşünüyordu? Doğru muydu? Zaman içindeki anlama doğruluğunu izler.
- Eylem yürütme sonuçları - hangi araçlar çağrıldı, hangi parametreler iletildi, ne döndürüldü, başarılı mı oldu yoksa başarısız mı oldu? Entegrasyon sorunlarının hatalarını ayıklamak için gereklidir.
- Korkuluk aktivasyonları — bir korkuluk ne zaman ateşlendi? Bunu ne tetikledi? Doğru şekilde yönlendirildi mi? Uyumluluk kontrollerinin çalıştığını kanıtlar.
- Duyarlılık yörüngesi - Arayanın duyarlılığı görüşme boyunca nasıl değişti? Spesifik ajan yanıtlarıyla ilişkilidir.
- Düğüm yolu — Konuşma Ajan Kanvası'ndaki hangi düğümlerden geçti? Amaçlanan akışın takip edilip edilmediğini ortaya çıkarır.
- İlerletme meta verileri — çağrı iletilirse neden? Son konu neydi? Arayanın durumu neydi? Ajanı geliştirmek ve insanları eğitmek açısından kritiktir.
Yalnızca denetim için değil, yineleme için günlüğe kaydetme
Günlüklerin birincil tüketicisi uyumluluk değildir (ancak onların da buna ihtiyacı vardır). Ekip, ajan üzerinde tekrar çalışıyor. Perşembe günü çözüm oranları düştüğünde, günlükler hangi çağrı türünün ve hangi tuval düğümünde başarısız olduğunu ortaya çıkarmalıdır. Yeni bir eylem entegrasyonu yayına girdiğinde, trafiği ölçeklendirmeden önce günlükler bunun doğru şekilde yürütüldüğünü doğrulamalıdır. Günlük kaydınızı ekibinizin en çok sorduğu sorular etrafında oluşturun: 'Bu çağrı neden yanlış gitti?' ve 'Bundan sonra neyi düzeltmeliyiz?'
Başlamaya hazır mısın?
Mazed'in multimodal yapay zekasının sizin için nasıl çalıştığını görün.