Cómo hicimos un videoclip musical con IA en ComfyUI (paso a paso)

Hemos hecho un videoclip completo de casi tres minutos con IA en local: 19 planos, la misma protagonista en todos ellos y sincronía labial en todos los planos cantados. Todo se generó en ComfyUI y se montó en CapCut. No hay ningún botón de «hazme un videoclip». Lo que funciona es una cadena de pasos pequeños y comprobables: trocear la canción, preparar un fotograma por plano, generar cada plano con su trozo de audio y montarlo todo sobre la canción original.

En esta guía te contamos el proceso tal como lo hicimos, con la estructura de los prompts y los errores que más tiempo nos costaron, para que no tengas que repetirlos.

El flujo completo

Partimos de una canción ya terminada y masterizada en WAV. La hicimos con Suno, pero el proceso vale para cualquier tema. Una sola condición: no empieces el vídeo hasta que la canción esté cerrada. Cada cambio en el audio te obliga a rehacer los cortes.

1. Trocea la canción por palabras, no por compases

H3 genera como máximo 15 segundos por clip, así que hay que partir la canción en trozos. El error típico es cortar por compases: el corte cae en mitad de una palabra y la sincronía labial se rompe justo en el empalme.

Nosotros sacamos marcas de tiempo por palabra con faster-whisper (modelo large-v3, precisión de unos ±0,2 s) y cortamos el WAV con ffmpeg siguiendo tres reglas:

• Cada trozo empieza en un hueco entre dos palabras.
• Cada trozo lleva 0,2 s de cola para no comerse la última sílaba.
• Ningún trozo pasa de 15 s. Si una sección es más larga, se parte en dos (en nuestro caso, el puente y el estribillo final).

ffmpeg -i cancion.wav -ss 0.00 -to 9.20 plano-01.wav
ffmpeg -i cancion.wav -ss 9.00 -to 17.85 plano-02.wav

De cada trozo cantado saca también una versión con solo la voz. Puedes usar el separador de pistas que prefieras, como UVR o Demucs. La necesitarás en el paso 4.

2. El guion: planos cantados y planos recurso

Haz una ficha por plano con cuatro datos: en qué segundo de la canción empieza, cuánto dura su audio, el prompt de imagen y el prompt de vídeo. Separa dos tipos de plano:

• Planos cantados. La protagonista canta a cámara. Necesitan primer plano y la voz separada.
• Planos recurso. Instrumentales, amigas bailando, el mar o detalles. No necesitan sincronía labial, usan el trozo completo de la canción y dan descanso a la cara.

Si un trozo mezcla instrumental y canto, pártelo en dos. Nuestro puente empezaba con 7,4 s instrumentales, así que hicimos el plano 13a como recurso y el 13b como plano cantado. El 13b usa como imagen de partida el último fotograma del 13a, y así el corte no se nota.

3. Fotogramas en ComfyUI con Krea 2

Cada plano empieza con un still. Usamos Krea 2 Turbo en ComfyUI con una LoRA del personaje para que la cara sea la misma en los 19 planos. Si no tienes LoRA, puedes trabajar con una imagen de referencia, pero la consistencia será menor. Además añadimos el nodo NegPiP, que parchea MODEL y CLIP y permite poner pesos negativos dentro del propio prompt.

Lo que nos funcionó:

• Prompt en párrafos de inglés natural, no listas de etiquetas. Describe en este orden: encuadre, expresión, manos, vestuario, lugar, luz y piel.
• Vestuario fijo en todo el clip, descrito con las mismas palabras en cada plano. Si cambias un adjetivo, cambia la ropa.
• Lugares reales y concretos, como un puerto, un casco antiguo o una cala con nombre propio, en vez de «una playa bonita».
• Fondo nítido. H3 anima mucho mejor un fondo enfocado que un bokeh.
• Dos formatos: 16:9 para YouTube y 9:16 para Reels y Shorts. Genera los dos desde el principio.

Todos nuestros prompts terminan igual. Primero va la cola de nitidez y después los pesos negativos de NegPiP:

... Deep focus, sharp background, everything in focus, crisp details.

(overlined lips:-1.0), (flat frontal lighting:-1.0), (overprocessed HDR look:-1.0),
(plastic skin:-1.0), (short nails:-1.2), (deformed fingers:-1.2),
(blurred background:-1.2), (bokeh:-1.1), (watermark:-1.0)

Antes de usar NegPiP en todos los planos, haz un A/B en el primero con la misma seed, con y sin la cola negativa, para comprobar que de verdad aporta algo.

Si vas a publicar en YouTube, evita el satén, las transparencias y los dormitorios. Así el vídeo no acaba clasificado como contenido sugerente.

4. Vídeo con MiniMax H3 Ref2VA en ComfyUI

La familia Ref2VA de MiniMax H3 genera vídeo a partir de una imagen y un audio de referencia. Si aún no lo tienes montado, en nuestras guías explicamos cómo instalar H3 en local. En cada plano conectamos:

• @image1: el still de Krea, que se usa como primer fotograma.
• @audio1: la voz separada del trozo en los planos cantados, o el trozo completo en los planos recurso.

El prompt sigue la estructura de H3: definición del sujeto, resumen, qué se conserva de la imagen, descripción detallada por segundos y sonido. Lo que más importa es la línea de tiempo. Esto es un fragmento del primer plano:

From 4.3 to 6.1 seconds she leans her face a fraction toward the lens and
whispers the hush (S1)<d>[Spanish] Shhh.</d> against her finger ...

From 6.1 to 9.0 seconds she lowers her hand smoothly to her waist and sings
straight into the lens (S1)<d>[Spanish] (verso del estribillo)</d>
Realistic lip articulation matched syllable by syllable to @audio1.

Usa un solo movimiento de cámara por plano, por ejemplo un acercamiento lento. Más de un movimiento suele salir mal.

Los errores que más tiempo nos costaron

• Poner texto entre comillas fuera de <d>. H3 lo canta como una segunda voz duplicada. Si necesitas referirte a una palabra, hazlo por su posición («on the last word of the line») y no la cites.
• Poner la duración con decimales. El nodo ignora los decimales, así que con un audio de 9,2 s y 9 en el campo, H3 corta el final. Redondea siempre hacia arriba (9,2 → 10) y recorta luego en el montaje.
• Usar planos abiertos para cantar. En un plano abierto la boca ocupa pocos píxeles y la sincronía labial se desmorona. Para cantar, usa un primer plano con la voz separada como audio.
• Hacer un acercamiento que deja la cara fuera de cuadro. Si pasa, pon la cámara fija.
• Pedir coreografías complicadas. «Tres amigas levantan los brazos una vez» sale bien; cinco acciones encadenadas en 10 segundos, no.
• Girar la cara en los planos cantados. Mantenla siempre hacia cámara: de perfil o de espaldas se pierde la identidad.

5. Montaje en CapCut

El audio que genera H3 no se usa. En el montaje suena siempre la canción original, y así la calidad de sonido es la del máster. En CapCut:

1. Importa los clips de H3 y colócalos en orden en la pista de vídeo.
2. En cada clip, haz clic derecho y elige Extraer audio. Después borra la pista de audio que aparece, para que solo quede la imagen.
3. Arrastra el WAV de la canción a una pista de audio debajo, empezando en el segundo 0.
4. Coloca cada clip en el segundo de inicio que marca su ficha del guion. Como los trozos se cortaron entre palabras, la boca cae en su sitio sin tener que ajustar a ojo.
5. Recorta la cola sobrante de cada clip, la que sale de haber redondeado la duración hacia arriba.
6. Exporta en 16:9. Para Reels y Shorts, repite el montaje con los clips en 9:16 o exporta solo el fragmento del estribillo.

Lo que nos llevaríamos a cualquier videoclip con IA

1. No toques un solo píxel hasta tener la canción cerrada.
2. Corta por palabras, no por compases, y nunca más de 15 s por plano.
3. Usa un still por plano con el mismo personaje, el mismo vestuario y las mismas palabras en el prompt.
4. Dale a H3 la voz separada y monta siempre con la canción original.
5. Usa primeros planos para cantar y planos recurso para dar respiro.

Dónde encaja con el resto del sitio

La parte técnica de H3 en local (familias, cuantización y VRAM) está en las guías. Si quieres ver el panorama de herramientas, visita IA para vídeo e IA para imágenes. Y si quieres un videoclip o una campaña así para tu música o tu marca, echa un vistazo a nuestro servicio de creación de vídeo con IA.