Tres métodos para controlar tus videos con IA

¿Tu primer video generado con IA no se veía como lo imaginabas? El problema es simple: cuando generas video con inteligencia artificial solo desde texto, le entregas el control creativo completo al modelo, y este toma decisiones que no coinciden con tu visión. Aquí aprenderás tres métodos para recuperar ese control y lograr consistencia, algo clave para cualquiera que quiera producir video con intención creativa.

Cuáles son los tres métodos para generar video con IA

Existen tres formas de crear un video, y cada una te da más control que la anterior. La diferencia está en cuánta información visual le entregas al modelo antes de que empiece a trabajar.

• Text to video: escribes un prompt y el modelo genera el video. Es lo más simple, pero el resultado suele verse genérico. Sirve para explorar ideas, no para producir algo con intención creativa.
• Image to video: subes una imagen que se convierte en el primer frame del video (first frame). A partir de ahí el modelo construye el movimiento de toda la escena. Ya controlas qué aparece en pantalla.
• References to video: subes varias imágenes de referencia (personaje, objeto, paisaje) y el modelo genera escenas completas con distintos ángulos manteniendo consistencia. Es el método más poderoso.

Ejemplo del video del chimpancé en bicicleta roja: con text to video sale genérico, pero al subir una imagen donde defines el chimpancé, la bicicleta y el bosque, controlas exactamente cada elemento [00:56].

¿Qué es el first frame en la generación de video con IA? Es la imagen que subes al modelo y que se convierte en el primer cuadro del video. A partir de ella, la IA construye todo el movimiento de la escena, lo que te da más control que un simple prompt de texto.

Por qué la consistencia es el problema número uno del video con IA

La consistencia es el mayor reto al generar video con inteligencia artificial [02:17]. Imagina que tu personaje se ve de una forma en una escena y diferente en el siguiente plano: el resultado no se siente profesional.

Las referencias resuelven ese problema. Modelos como Ziyans 2.0 o Kling 3.0, conocidos como modelos omni o multireferencia, están diseñados justamente para mantener coherencia entre todos los elementos que subes [02:07].

Y aquí viene lo interesante: esas referencias salen de imágenes que tú mismo generas antes de tocar el video.

Cómo crear tu personaje con imágenes fotorrealistas

El ejercicio usa a una guerrera ninja futurista con una espada en Tokio. El primer paso es generar el personaje en ChatGPT [02:57].

Un tip práctico: usa el micrófono para dictar la descripción de tu personaje, objeto o entorno. Es mucho más rápido que escribir [03:20].

La descripción del ejercicio fue una guerrera ninja futurista con armadura táctica cyberpunk, vista de pies a cabeza sobre fondo blanco neutro con iluminación de estudio.

¿Cómo evito que mis imágenes se vean generadas por IA? Agrega la palabra fotorrealismo al final de tu prompt. Esto ayuda a que la imagen se vea realista y pierda ese look artificial típico de la inteligencia artificial.

La iteración es clave: se generaron varias versiones y se eligió la que más se acoplaba a la visión original del personaje [04:15].

Qué es un character sheet y para qué sirve

El character sheet es un truco que se usará durante todo el curso. Es una imagen donde ves a tu personaje en diferentes ángulos, lo que te permite reutilizarlo en distintos escenarios manteniendo la consistencia [04:45].

Para crearlo, toma la imagen que más te gustó, súbela a ChatGPT y pega el prompt de los recursos de la clase. Este genera vistas de frente, laterales y un acercamiento al rostro y vestuario del personaje [05:06]. Este es el primer ingrediente para lograr consistencia.

El object sheet es exactamente lo mismo, pero aplicado a objetos.

Cómo generar objeto y entorno para tu escena

Con el personaje listo, faltan dos ingredientes: el objeto y el entorno.

Para el objeto se generó una katana japonesa futurista con detalles en rojo y una luz que emana del sable, sobre fondo blanco y fotorrealista [06:00]. Esa imagen no necesitó iteración y luego se convirtió en un object sheet con su propio prompt.

Para el entorno se pidió una azotea en un rascacielos de Tokio futurista de día, con una ciudad enorme abajo, autopistas elevadas, carteles gigantes en japonés y cielo nublado con neblina [06:35]. Aquí sí hubo ajustes al prompt hasta llegar a la imagen que mejor retrataba la visión de la escena.

¿Necesito iterar siempre al generar imágenes con IA? No siempre, pero es lo recomendable. A veces la primera generación funciona, como pasó con la espada. En otros casos debes ajustar el prompt varias veces hasta que el personaje o la escena se vea como lo imaginas.

Cómo mezclar personaje, objeto y entorno en una sola escena

Con los tres ingredientes listos, personaje, objeto y entorno, se combinan en una escena cinematográfica [07:20].

El paso importante: subes a ChatGPT el character sheet, el object sheet y la imagen del entorno, no las imágenes sueltas. Luego escribes el prompt de la escena, en este caso una guerrera ninja futurista corriendo en la azotea de un edificio alto en Japón mientras sostiene un sable [07:34].

De nuevo, la iteración marca la diferencia. En una versión el personaje estaba saltando en vez de correr; en otra se veía demasiado lejos y no se distinguía el rostro. Ajustando el prompt se llegó a una imagen donde el personaje se ve de cerca y se aprecia su cara [07:57].

Al comparar la escena original hecha solo con texto contra esta construida con imágenes, la diferencia es enorme. Por eso conviene generar imágenes antes del video.

Tu reto: genera las imágenes de tu personaje, objeto y entorno, arma tu escena final y sube tu character sheet junto con la imagen de tu escena en los comentarios de la clase. Sé original e itera hasta lograr el resultado que buscas. ¿Qué personaje vas a crear?