Durante años diseñamos asistentes que solo oían y hablaban, o que solo leían y escribían. Hoy un mismo agente puede escuchar tu voz, leer lo que escribes, mirar una foto que le enseñas con la cámara y mostrarte información en una pantalla. Es lo que llamamos un agente multimodal: uno que combina varios canales, como la voz, el texto, la imagen y la pantalla. La tecnología ya lo permite. La pregunta de diseño es qué canal usar en cada momento.
Modelos que ven, oyen y hablan
En diciembre de 2023, Google presentó Gemini como una familia de modelos diseñados desde el principio para trabajar con texto, imagen, audio y vídeo a la vez (Gemini Team, 2023). En mayo de 2024, OpenAI presentó GPT-4o, capaz de razonar con voz, imagen y texto en tiempo real (OpenAI, 2024). Y en octubre de 2024, Anthropic dio a Claude la capacidad de usar un ordenador: mirar la pantalla, mover el cursor, hacer clic y escribir (Anthropic, 2024).
Con eso, el agente puede recibir información por cualquier canal y responder por cualquier otro. Eso abre muchas posibilidades, y también muchas formas de hacerlo mal.
Lo que ya sabíamos del diseño multimodal
La interacción multimodal no es nueva en investigación. En 1999, Sharon Oviatt publicó un artículo clásico con diez mitos sobre ella que siguen siendo útiles (Oviatt, 1999). Tres de ellos, en especial:
- Que el sistema sea multimodal no significa que la gente vaya a combinar canales. Muchas veces se usa uno solo, el que resulta más cómodo en ese momento.
- Los canales suelen complementarse más que repetirse. La persona dice «pon esto aquí» mientras señala: la voz aporta la acción y el gesto, el lugar.
- La principal ventaja no es la rapidez. Tener varios canales ayuda sobre todo a evitar y corregir errores, porque lo que uno no capta bien lo puede resolver el otro.
A esto se suma el contexto de uso. Como contamos en qué preguntarte antes de construir un asistente, cada lugar deja libres o bloquea las manos, los ojos, los oídos y la voz. Un buen diseño multimodal deja que la persona use el canal que tiene libre.
Qué canal para cada cosa
No hay reglas fijas, pero en nuestros proyectos se repiten algunos patrones:
- La voz va bien para pedir algo rápido, sobre todo con las manos o los ojos ocupados, y para respuestas cortas. Va mal para listas largas, comparaciones o datos que hay que recordar.
- La pantalla va bien para mostrar opciones, comparar, revisar un resumen antes de confirmar y enseñar lo que se puede hacer. Y para lo que no se quiere decir en voz alta delante de otras personas.
- La imagen o la cámara van bien para enseñar en lugar de describir: una pieza rota, una etiqueta, un documento, un error en otra pantalla.
- El texto escrito va bien para datos exactos que se entienden mal de oído, como un correo electrónico, un código o una dirección.
En el proyecto con Sanitas lo vimos claro. Los pacientes controlan la luz, la climatización y la televisión con la voz desde la cama, pero la pantalla del dispositivo, cuando no se está usando, muestra frases de ejemplo que enseñan qué se le puede pedir (caso Sanitas). La voz sirve para actuar y la pantalla, para descubrir.
Los retos nuevos
Privacidad
Una cámara o un agente que mira la pantalla ven mucho más de lo necesario: otras personas, documentos, notificaciones. Hay que decidir qué se captura, cuándo, qué se guarda y avisar con claridad.
Coherencia entre canales
Si el agente dice una cosa y la pantalla muestra otra, la persona no sabe a cuál creer. Voz y pantalla tienen que contar la misma historia, cada una a su manera. Tampoco conviene leer en voz alta todo lo que se muestra, ni mostrar todo lo que se dice.
Errores de visión
Un modelo puede interpretar mal una imagen con la misma seguridad con la que interpreta mal un texto. Si el agente va a actuar a partir de lo que ve, conviene que confirme lo que ha entendido antes de hacer nada importante.
Accesibilidad
Varios canales ayudan a más personas: quien no ve la pantalla puede usar la voz y quien no puede hablar puede tocar o escribir. Pero solo si cada tarea importante se puede completar por más de un canal. Un diseño que obliga a mirar la pantalla en un paso clave deja fuera a alguien.
Cómo empezar
Dibuja el recorrido de la persona paso a paso y, en cada momento, pregúntate dónde está, qué tiene libre y qué necesita: actuar, elegir, revisar o enseñar algo. Elige el canal principal para ese momento y uno alternativo. Y pruébalo en el sitio real, con el ruido, la luz y las prisas de verdad, porque en la oficina todo parece funcionar.
Diseñar experiencias que combinan voz, texto, imagen y pantalla es parte de nuestro trabajo en diseño de conversaciones y agentes y en investigación aplicada y prototipos.
Referencias
