NVIDIA ha presentado el Nemotron Voice Agent, una solución que permite construir experiencias interactivas complejas utilizando modelos de IA abiertos. El sistema, demostrado en un proyecto llamado MonsterHouse, combina múltiples componentes para crear un personaje con voz y personalidad avanzada.
Datos clave
- Nemotron Voice Agent: Coordina la experiencia completa de IA.
- Nemotron 3 ASR: Transforma el habla de los visitantes en texto.
- Nemotron 3.5 Bolt E4B 4GB: Modelo pequeño de lenguaje abierto para agentes conversacionales.
- Magpie TTS Zeroshot: Genera voz en tiempo real a partir de muestras de referencia.
- Audio2Face-3D: Convierte el habla limpia en animación de boca para motores como Unreal Engine 5.
Nemotron Voice Agent: La arquitectura de la conversación interactiva
NVIDIA demostró la versatilidad de su Nemotron Voice Agent al construir MonsterHouse, una proyección interactiva para Halloween. Este sistema está diseñado para escuchar a los visitantes y responder con la voz de un pirata gruñón. La arquitectura se basa en la coordinación de múltiples modelos: Nemotron Speech realiza la conversión de voz a texto (ASR), Nemotron 3.5 Bolt E4B 4GB actúa como el ‘cerebro’ conversacional, y Magpie TTS Zeroshot genera la voz en tiempo real. Además, Audio2Face-3D se encarga de animar la boca del personaje en Unreal Engine 5, todo operando desde una única estación de trabajo.
Flujo de trabajo de MonsterHouse: Integración de modelos de IA
El proceso de interacción sigue un flujo técnico definido. Primero, Nemotron 3 ASR convierte el discurso del visitante en texto. Posteriormente, Nemotron 3.5 Bolt E4B 4GB, un modelo pequeño de lenguaje abierto, redacta cada respuesta, utilizando un adaptador LoRA para suministrar la personalidad deseada. La voz es generada por Magpie TTS Zeroshot, que utiliza una muestra de referencia corta del personaje. Finalmente, NVIDIA Audio2Face-3D traduce el habla limpia en animación de boca, mientras que Nemotron 3 Nano Omni describe disfraces, y YOLO con ByteTrack cuentan y rastrean a los visitantes.
Personalidad y diálogo: El papel del modelo conversacional (LLM)
Para dotar al personaje de una personalidad compleja y coherente, se empleó un modelo pequeño de lenguaje (LLM) abierto, el Nemotron 3.5 Bolt E4B 4GB. El objetivo era que el sistema fuera autosuficiente y operara sin conexión. El autor señala que el personaje requiere más que un simple *prompt*; debe seguir un flujo de conversación maestro, rastrear el estado del encuentro y responder al contenido real de lo que dicen los visitantes. Se seleccionó este modelo específico por su idoneidad para agentes conversacionales locales, utilizando la versión cuantizada de 4 bits (4GB) como modelo de respuesta por defecto.
Componentes de animación y visión: Más allá de la conversación
La implementación física del personaje, la puerta del garaje, fue un proceso de animación detallado. Se creó un rig de expresiones faciales en Autodesk Maya y se exportó a Unreal Engine, donde se añadieron efectos virtuales de fuego. El sistema completo fue coordinado por el Nemotron Voice Agent en una estación de trabajo que incluye una NVIDIA RTX PRO 6000 Blackwell Max-Q y una NVIDIA RTX PRO 4000 Blackwell. Este enfoque demuestra la capacidad de NVIDIA para integrar múltiples capacidades de IA en un único entorno operativo.
Más sobre este tema: Herramientas de IA
Fuente de esta noticia: consultar el anuncio o artículo original.
