TensorRT edge-LLM supera el benchmark mLPerf edge con 6.4x de mejora en jetson AGX thor
NVIDIA ha anunciado un avance significativo en la ejecución de modelos de lenguaje grandes (LLM) en el borde (edge). Mediante el uso de TensorRT Edge-LLM, se ha logrado un rendimiento 6.4 veces superior en el benchmark MLPerf Edge Agentic utilizando la plataforma Jetson AGX Thor.
TensorRT edge-LLM supera el benchmark mLPerf edge con 6.4x de mejora en jetson AGX thor Leer más »










