InicioPelículaGen AI Tools, Sora, Firefly Video, disponibles en 2024

Nuestros últimos artículos

Gen AI Tools, Sora, Firefly Video, disponibles en 2024

El producto insignia de IA generativa de Adobe es Firefly, una herramienta de conversión de texto a imagen que potencia el relleno generativo para Photoshop y la conversión de texto a vector en Illustrator. Sin embargo, el modelo Firefly 2024 impulsará tres herramientas de video de IA en el software de edición de video Premiere Pro: expansión generativa, agregar y eliminar objetos y texto en video.

Premiere ya permite a los editores de vídeo integrar el software Adobe Creative Cloud como After Effects (gráficos en movimiento) y Audition (mezcla de sonido). El anuncio de hoy deja claro que Adobe adoptará el mismo enfoque con la IA. La compañía también anunció que se encuentra en «exploraciones tempranas» para integrar la generación de video de OpenAI (Sora), Runway y Pika Labs en Premiere.

La semana pasada, Adobe demostró estas herramientas de inteligencia artificial de próxima generación y compartió ejemplos (vea el video en la parte superior de la página) de lo que estará disponible en Premiere Pro antes de fin de año.

extensión generativa

Vista previa de Generative Extend llegando a Premiere Pro

Cada editor quería solo unos cuantos mas imágenes para permitir una edición o transición más fluida. La herramienta Gen Extend permitiría a los editores usar IA para crear nuevos fotogramas de hasta «unos segundos» de duración, lo que, según Adobe, «añadirá fotogramas sin problemas para alargar los clips».

En el vídeo de vista previa, la herramienta extiende la actuación estoica de la actriz unos segundos para llenar un vacío en la línea de tiempo del editor. Aunque ampliar las actuaciones plantea cuestiones éticas y sindicales, los cineastas han utilizado durante mucho tiempo trucos de efectos visuales para mezclar metraje y comprar metraje adicional. Esta herramienta podría permitir a los editores crear soluciones en tiempo real en Premiere.

Agregar y quitar objetos

Adobe Premiere Pro: agregar una vista previa del objetoUna descripción general de la herramienta Agregar objeto disponible en Premiere ProAdobe

Agregar y eliminar objetos del marco a menudo implica un trabajo cuidadoso de efectos visuales, pero la herramienta Firefly permitiría a un editor hacerlo en tiempo real. La clave será si la generación de IA podrá mantener el fotorrealismo. Los ejemplos ofrecidos en la vista previa de Adobe (agregar una pila de diamantes a la caja y quitar una caja eléctrica del marco) parecen fotorrealistas, manteniendo la coherencia en la imagen y la iluminación. Tanto en su comunicado de prensa como en una sesión informativa con Adobe insistió en que estos píxeles fueron generados por el próximo modelo de vídeo Firefly sin mayor manipulación.

Los primeros resultados parecen prometedores, pero hasta que los editores los prueben en una amplia gama de metraje, no sabremos qué tan aplicables serán estas herramientas en el futuro cercano.

Texto a vídeo

Una mirada a cómo agregar el video Gen AI de OpenAI Sora a Premiere Pro

Firefly no es nuevo en términos de poder utilizar herramientas de conversión de texto a video para crear tomas. Lo fascinante es que Adobe brindará a los cineastas la posibilidad de acceder al texto del video desde Premiere e incluirá a los competidores de Firefly, Sora, Runway y Pika Labs. Está claro que Adobe espera que los editores utilicen estas herramientas en sus flujos de trabajo diarios.

Muchas plantillas de imágenes y vídeos de generación de IA se basan en material protegido por derechos de autor. En una entrevista vergonzosa, el CTO de OpenAI, Sora, ni siquiera pudo responder preguntas simples sobre qué impulsó su modelo de video generativo.

Sin embargo, los realizadores elogiaron a Adobe por utilizar únicamente material con licencia para entrenar a Firefly. Los ejecutivos de Adobe han confirmado que el modelo de vídeo Firefly, que se lanzará próximamente, seguirá estas mismas reglas.

Por tanto, resulta curioso que Adobe esté integrando empresas de inteligencia artificial de terceros que son mucho menos éticas en lo que respecta a los derechos de autor. Sin embargo, Adobe dijo que seguiría utilizando credenciales de contenido.

Como uno de los fundadores de la Iniciativa de Autenticidad de Contenido, Adobe se compromete a asociar credenciales de contenido (una tecnología gratuita y de código abierto que sirve como etiqueta nutricional para el contenido en línea) a los activos producidos en sus aplicaciones para que los usuarios puedan ver cómo se creó el contenido. y lo que contiene. Se utilizaron modelos de IA para generar el contenido creado en las plataformas de Adobe”, se lee en el comunicado de prensa de hoy.

Queda por ver la permanencia de estas etiquetas nutricionales y la facilidad con la que se pueden quitar del frasco.

En mayo, el flujo de trabajo de audio de Premiere recibirá un conjunto de herramientas mejoradas, algunas de las cuales funcionan con inteligencia artificial y han estado disponibles en versión beta durante algún tiempo. Éstas incluyen:

Manijas de desvanecimiento interactivas: Los editores pueden crear transiciones de audio personalizadas arrastrando los controles del clip para crear fundidos de audio.

Insignia de Essential Sound con marca de categoría de audio: La IA marca automáticamente los clips de audio como diálogos, música, efectos de sonido o ambiente.

Insignias de efectos: Los indicadores visuales muestran qué clips tienen efectos, agregan rápidamente otros nuevos y abren automáticamente la configuración de efectos de la secuencia.

Formas de onda rediseñadas en la línea de tiempo: Las formas de onda cambian de tamaño de forma inteligente a medida que cambia la altura de la pista en los clips, mientras que los nuevos colores facilitan la reproducción del metraje.

Herramienta de mejora del habla basada en IA: Elimina ruidos no deseados y mejora los diálogos mal grabados; esto ha estado disponible en general desde febrero.

Últimas publicaciones

No se lo pierda

Mantente en contacto

Vaya siempre un paso por delante de los últimos lanzamientos.