NVIDIA ha presentado NeMo Compass y NeMo Eval Author, herramientas que permiten convertir los fallos de los agentes de Inteligencia Artificial en casos de prueba y mejoras estructuradas. Este ciclo de optimización permite mejorar prompts, herramientas y código de ejecución del agente, elevando la fiabilidad en entornos de producción.
Datos clave
- Dassault Systèmes logró reducir las llamadas a herramientas malformadas de 142 a cero.
- Se consiguió una mejora relativa del 28% en la puntuación general de evaluación.
- Se redujeron las llamadas a herramientas en un 35% por ejecución en seis escenarios.
- El sistema utiliza el blueprint NemoClaw para un ciclo completo de optimización.
El ciclo de optimización de agentes: de fallos a pruebas estructuradas
NVIDIA ha lanzado un enfoque integral para mejorar la fiabilidad de los agentes de IA en entornos de producción, un proceso que va más allá de la mera afinación de modelos. La herramienta NeMo Compass analiza las trazas de agentes almacenadas y la evidencia de evaluación para identificar problemas recurrentes y priorizar mejoras. Este proceso permite transformar la evidencia de producción en problemas clasificados y evaluaciones personalizadas, mejorando prompts, herramientas, modelos, memoria y código de *harness* (estructura de control).
NeMo Compass: Priorización de problemas mediante el análisis de trazas
NeMo Compass reduce un gran corpus de trazas a un *backlog* estructurado de problemas, proporcionando ejemplos y áreas de mejora recomendadas. Por ejemplo, en un caso de uso de Dassault Systèmes, el sistema identificó que el agente enviaba mensajes sin confirmación del usuario, un error detectado al comparar las acciones del agente con las reglas definidas en el archivo ETHOS.md. Además, NeMo Eval Author proporciona habilidades de agentes de codificación para crear pruebas personalizadas en formatos Harbor o NVIDIA NeMo Gym, midiendo el comportamiento del agente según los requisitos del dominio.
Creación de evaluaciones con NeMo Eval Author para medir el comportamiento del agente
El proceso de optimización se formaliza mediante el blueprint NemoClaw, que guía un ciclo completo: NeMo Compass detecta el fallo, NeMo Eval Author crea la prueba, y el desarrollador actualiza las instrucciones del agente. En el ejemplo de Dassault Systèmes, este bucle de mejora redujo las llamadas a herramientas malformadas de 142 a cero y consiguió una mejora relativa del 28% en la puntuación general de evaluación, además de reducir las llamadas a herramientas en un 35% por ejecución en seis escenarios.
Optimización integral del agente: el flujo de trabajo NemoClaw
Los usuarios deben utilizar una máquina con Linux y Docker nativamente, con una configuración recomendada de Ubuntu 24.04 con 8 vCPUs y 32 GB de RAM. Para iniciar el proceso, se recomienda seguir el tutorial paso a paso en GitHub o utilizar una instancia lanzable de NVIDIA Brev, ya que el sistema requiere un API key de NVIDIA y un agente de codificación compatible con NeMo Eval Author, como Codex o Claude Code.
Más sobre este tema: Herramientas de IA
Fuente de esta noticia: consultar el anuncio o artículo original.
