MiniMax H3 en local: modelos, LoRAs, atención y velocidad

MiniMax H3 no es “otro Hailuo en la nube”. En local es un sistema de vídeo+audio nativo: un solo paso genera imagen, voz, FX y música en estéreo. Lo que importa no es descargar “el modelo”, sino elegir bien familia (FL2VA o Ref2VA), cuantización, LoRA de velocidad y tipo de atención. Equivocarte en cualquiera de las cuatro te deja o sin VRAM o con un clip que parece turbo barato.

Esta guía resume el montaje que tiene sentido en 2026 con ComfyUI 0.30 o posterior, el pack Comfy-Org/MiniMax-H3 y las LoRAs LightX2V. No sustituye la documentación oficial de Comfy ni la ficha de MiniMax: es el mapa que echas en falta cuando ya tienes GPU y no quieres perder una tarde mezclando checkpoints.

Qué es H3 en local (y qué no)

El sistema completo de MiniMax tiene tres piezas. Solo una está abierta de verdad:

• H3-Base (abierto): genera vídeo+audio a ~768 px de lado corto, 24 fps, 4–15 s. Esto es lo que corres en ComfyUI, SGLang, vLLM o diffusers.
• H3-Context-IR (cerrado): reescribe el prompt multimodal a una representación interna. En local lo sustituyes tú con un prompt bien estructurado (o con la skill oficial de prompting).
• H3-Regenerate-2K (cerrado): no es un upscaler clásico; regenera el 768 p a 2K con el contexto original. En local no lo tienes. Si quieres 2K “oficial”, pasas el 768 p a la API de MiniMax.

H3-Base es un transformer denso de ~33B (unos 13B son ramas AdaLN que en inferencia se pueden cachear). El encoder de texto es Qwen3-VL-32B. Por eso el cuello de botella no es “un safetensors”, sino DiT + encoder + dos VAE (vídeo y audio).

FL2VA o Ref2VA: no mezcles las familias

Hay dos checkpoints distintos. No son el mismo modelo con otro nodo:

La LoRA turbo de FL2VA no va en un grafo Ref2VA, y al revés. Si el clip “no pilla la cara” o se te va el audio, lo primero que miras es si cargaste la familia correcta.

Archivos que sí merecen disco

Usa el repo empaquetado para Comfy, no el checkpoint original en formato Diffusers, salvo que sirvas con SGLang/vLLM.

Rutas:

ComfyUI/models/
  diffusion_models/   <-- DiT
  text_encoders/      <-- Qwen3-VL-32B
  vae/                <-- vídeo FP16 + audio FP32 (los dos)
  loras/              <-- turbo / Acc
  embeddings/         <-- opcional, estilo

DiT (el “modelo”)

int8_convrot rinde de verdad con PyTorch compilado para CUDA 13 (cu130). En CUDA 12.x la misma cuantización puede ir a mitad de velocidad. Si H3 te parece “imposible de lento”, actualiza la pila CUDA antes de cambiar de modelo.

Encoder de texto

No sustituyas el encoder de 32B por un Qwen “pequeño” genérico y esperes el mismo seguimiento de instrucciones. Hay proyectores comunitarios (ClipProj) para 16 GB extremos; son un apaño, no el H3 de catálogo.

VAE

Siempre los dos: minimax_h3_video_vae_fp16 y minimax_h3_audio_vae_fp32. Sin el de audio no hay estéreo nativo. El OOM en el decode suele ser el VAE de vídeo en clips largos, no el DiT: limpia VRAM antes del decode o acorta duración.

Stack recomendado por VRAM

Cifras de comunidad, no de ficha oficial. Disco del pack mínimo (pruned INT8 + NVFP4 + VAE) ~40–43 GB.

RAM de sistema: 32 GB es el suelo; 64 GB evita el swap cuando el encoder y el DiT no caben a la vez. Arranca Comfy con offload a disco rápido (--fast-disk en builds recientes) si estás en 16 GB.

Atención: de qué palanca hablamos

H3 nació con sparse attention en el entrenamiento. El peso abierto inicial infiere en atención densa; el sparse “oficial de MiniMax” iba a salir después. En Comfy, hoy, las palancas reales son estas:

1. PyTorch / Flash (por defecto). Correcto, lento. Las plantillas salen así.
2. Sage Attention. El atajo más limpio. Instala la rueda de SageAttention que coincida con tu PyTorch/CUDA, añade KJNodes y el nodo Patch Sage Attention KJ entre el UNET y el guider, modo auto. O lanza Comfy con --use-sage-attention. En capas que no son fp16/bf16 verás avisos y hace fallback: es normal. En la práctica, ~1,5–2× más rápido con pérdida mínima.
3. Comfy Kitchen / ck-attn. En alguna 40/50 series la comunidad lo pone por encima de Sage. Pruébalo si Sage no escala.
4. Sparse comunitario (SLA / PlagueKind / H3-Optimizations). Tira el 85–95 % de la matriz de atención. Densidad 0,85 ≈ indistinguible; 0,90 casi gratis; 0,95 solo para planos largos a más resolución. No es el sparse de MiniMax: es un parche. Úsalo cuando Sage ya no basta.
5. Parche de memoria Sage (KJNodes, experimental). Cuantiza Q/K a int8. Es el que sacas cuando el OOM es la atención, no el peso.

Orden sano: plantilla oficial → Sage → turbo LoRA → sparse. No actives turbo + sparse + TE-speed a la vez el primer día: el texto en pantalla es lo primero que se rompe.

LoRAs de velocidad (y cuáles no tocar)

H3 va ~20 pasos de serie. Las LoRAs turbo recortan a 4 u 8. Siempre de la misma familia que el DiT.

En el nodo H3: turbo_mode (o checkbox Lightning) + strength 1.0 de entrada. Si el movimiento se rompe, baja a 0,7–0,85 o vuelve a 8 pasos. No mezcles Acc-8Step con LightX2V 4-step en el mismo grafo.

Hay LoRAs de control (ControlNet Union de Alibaba PAI) y de estilo. Eso ya no es velocidad: es control. Cárgalas aparte, no en el slot turbo.

Resolución, duración y el truco del 0,98 MP

• Lienzo nativo: lado corto 768 px. En 16:9 es 1344×768, múltiplo de 32.
• El selector de las plantillas a 1,0 MP te saca 1376×768 y te pasas del tope. Pon 0,98 MP o escribe 1344×768 a mano.
• Duración a 24 fps en bloques de 17 fotogramas (17k+5). No pidas “12,3 s”: el nodo redondea.
• Itera en 0,4–0,7 MP o 5 s. El plano final, a nativo. Un 10 s a 1344×768 en 16 GB con 20 pasos se va a decenas de minutos; con turbo 8 pasos entra en terreno usable.

Prompts que H3 entiende de verdad

Sin Context-IR, el modelo come un bloque único. Estructura:

1. Escena global (dónde, quién, qué pasa).
2. Planos con tiempo ([Shot 1], corte a los 4 s, etc.).
3. Cámara (push-in, estático, shake).
4. Audio en el mismo bloque: diálogo, FX, música. H3 no “pone música después”: la modela con el vídeo.

En R2V etiqueta referencias en el mismo orden que los pines: <Picture 1>, <Video 1>, <Audio 1>, y di qué hace cada una (identidad, estilo, motion, voz). ref_image_size=match va más rápido; max conserva más cara (hasta ~2048 px de lado corto) y cuesta VRAM.

Guías oficiales: base (T2V/I2V) y referencia (R2V). MiniMax publica skills de prompting en GitHub si las quieres en un agente.

Embeddings de estilo en models/embeddings/: embedding:minimaxh3_bullet_time, etc. Son comunitarios (silveroxides), no de MiniMax. Útiles para fx; no los uses como muleta de un prompt vacío.

Nodos extra que sí valen la pena

• MiniMaxH3AddGuide: ancla imagen o audio en cualquier fotograma, no solo primero/último. Sirve para continuar un clip (22 frames + audio en frame 0) o forzar un still a mitad.
• Máscara de ruido (denoise_mask): inpaint / extender sin regenerar todo. 0 conserva, 1 regenera. El vídeo alinea a parches 2×2; el audio, a frames latentes.

ComfyUI ≥ la versión que traiga esos PRs. Si el nodo no aparece, actualiza; no instales forks viejos “H3 lowvram” a ciegas encima de las plantillas nativas.

Flujo de trabajo que no te hace perder la tarde

1. ComfyUI 0.30+.
2. Plantilla Video → MiniMax H3 T2V o I2V.
3. DiT pruned INT8 FL2VA + encoder NVFP4 + ambos VAE + LoRA turbo 8-step.
4. Sage Attention.
5. 0,98 MP, 5 s, 8 pasos turbo. Ajusta el prompt.
6. Cuando el plano funciona: 20 pasos sin turbo, o 8 pasos a 1344×768.
7. ¿Identidad de personaje? Cambia a Ref2VA y su LoRA. No recicles el DiT FL2VA.

Errores típicos

• Cargar FL2VA en un grafo R2V (o al revés).
• Olvidar el VAE de audio y preguntarte por qué el mp4 va mudo o desafinado.
• 1,0 MP en el selector.
• Turbo 4-step + sparse 0,95 + recorte agresivo del encoder: el texto de marca sale mal.
• Esperar 2K nativo local. No está en los pesos. Haz 768 p bien y, si hace falta, API de regenerate.
• Ignorar la MiniMax H3 Community License: no es MIT; mira territorio y uso comercial antes de publicar o vender.

Dónde encaja con el resto del sitio

Si todavía no tienes claro el flujo creativo (guion, planos, publicación), empieza por crear vídeos con IA desde texto y por el hub de IA para vídeo. H3 es la herramienta local cuando ya sabes qué plano quieres. Para modelos en general, modelos de IA; para el resto de recetas, guías.