Por qué la ingeniería rápida no salvará a su agente de voz
La industria trata los avisos como el principal mecanismo de control para los agentes de voz. Pero las indicaciones son sugerencias: las barreras de seguridad, los flujos de trabajo y la orquestación son lo que realmente mantiene a los agentes confiables.
Escribe un mensaje mejor. Agregue más instrucciones. Dígale al agente que "nunca" haga algo. Este es el enfoque predeterminado para corregir el comportamiento de los agentes de voz y es fundamentalmente frágil. Las indicaciones son probabilísticas: el LLM las seguirá la mayor parte del tiempo, pero "la mayor parte del tiempo" no es suficiente cuando el agente maneja clientes reales, dinero real o información médica real.
Las indicaciones son sugerencias, no contratos.
Dígale a un LLM que "nunca hable sobre los precios de la competencia" y cumplirá el 95% de las veces. El otro 5% (cuando la persona que llama formula la pregunta de manera inesperada, cuando el contexto de la conversación cambia, cuando el modelo "olvida" instrucciones en una conversación larga) es donde ocurren violaciones de cumplimiento, daños a la marca y frustración del cliente. A escala, un 5 % de error en una regla crítica significa cientos de interacciones problemáticas por mes.
Los controles estructurales superan las instrucciones rápidas
La alternativa es trasladar los controles críticos de las indicaciones a la capa de orquestación. En un flujo de trabajo visual como Agent Canvas, las barreras de seguridad son estructurales: un nodo que bloquea ciertos temas, una divulgación obligatoria inyectada en puntos de conversación específicos, un disparador de escalada que se activa independientemente de lo que el LLM quiera hacer a continuación. Estas no son sugerencias para el modelo, son restricciones estrictas impuestas por la plataforma. La conversación no puede pasar más allá de ellos, incluso si el LLM lo intenta.
Indicaciones de personalidad, estructura de confiabilidad.
Las indicaciones todavía tienen su lugar. Son excelentes para establecer el tono, la personalidad y el estilo de conversación, áreas en las que cierta variación es aceptable e incluso deseable. Pero para cualquier cosa que siempre debe suceder (divulgaciones, reglas de escalamiento, manejo de datos) o que nunca debe suceder (asesoramiento no autorizado, discusión con la competencia, anulación de precios), el control pertenece al flujo de trabajo, no al aviso.
¿Listo para construir?
Vea cómo los agentes de IA multimodales de Mazed funcionan para su caso de uso.