Por que os agentes multimodais precisam de uma arquitetura diferente da arquitetura somente de voz

Um agente de voz possui um pipeline linear: entrada de áudio → ASR → LLM → TTS → saída de áudio. Um agente multimodal executa fluxos paralelos: entrada de áudio + quadros de vídeo → ASR + modelo de visão → raciocínio LLM unificado → TTS + saída visual opcional. A diferença não é aditiva – é arquitetônica. O sistema deve decidir, a cada momento, qual modalidade priorizar, como fundir entradas de diferentes sentidos e como alocar a computação entre os fluxos.

Fusão de modalidade, não mudança de modalidade

Um sistema multimodal ingênuo alterna entre modos: ou escuta ou olha. Um sistema multimodal adequado funde entradas: o agente ouve o cliente dizer “este está quebrado”, ao mesmo tempo que o vê apontar para um item específico na tela. A palavra 'isto' só se resolve com contexto visual. Esta resolução intermodal requer um modelo de raciocínio que receba ambas as entradas simultaneamente – não sequencialmente.

Transições de modalidade perfeitas

O agente começa como uma chamada de voz. O cliente precisa de ajuda para navegar em sua conta, por isso o agente oferece compartilhamento de tela. Agora é compartilhamento de voz + tela. O cliente mostra um documento na câmera — agora é voz + visão. Essas transições devem ser perfeitas do ponto de vista do usuário e do agente. O estado, o contexto e a personalidade da conversa realizam mudanças de modalidade sem reinicialização. Isso requer um tempo de execução de sessão unificado, e não serviços separados de voz e vídeo agrupados.