Meta anuncia un nuevo modelo de IA que puede generar vídeo con sonido

propietario de facebook Meta anunció el viernes que había creado un nuevo modelo de inteligencia artificial llamado Movie Gen que puede crear clips de video y audio de apariencia realista en respuesta a las indicaciones de los usuarios, afirmando que puede rivalizar con herramientas de nuevas empresas líderes en generación de medios como OpenAI y ElevenLabs.

Muestras de las creaciones de Movie Gen proporcionadas por Meta mostraban videos de animales nadando y surfeando, así como videos usando fotografías reales de personas para representarlas realizando acciones como pintar sobre un lienzo.

Movie Gen también puede generar música de fondo y efectos de sonido sincronizados con el contenido de los videos, dijo Meta en una publicación de blog, y usar la herramienta para editar videos existentes.

En uno de esos videos, Meta hizo que la herramienta insertara pompones en las manos de un hombre que corría solo en el desierto, mientras que en otro cambió un estacionamiento donde un hombre andaba en patineta desde un suelo seco a uno cubierto por un charco.

Los videos creados por Movie Gen pueden durar hasta 16 segundos, mientras que el audio puede durar hasta 45 segundos, dijo Meta. Compartió datos que muestran pruebas ciegas que indican que el modelo funciona favorablemente en comparación con ofertas de nuevas empresas como Runway, OpenAI, ElevenLabs y Kling.

El anuncio se produce mientras Hollywood ha estado debatiendo cómo aprovechar la tecnología de vídeo generativa de IA este año, después de microsoftOpenAI, respaldado por Google, mostró por primera vez en febrero cómo su producto Sora podía crear vídeos similares a películas en respuesta a indicaciones de texto.

Los tecnólogos de la industria del entretenimiento están ansiosos por utilizar tales herramientas para mejorar y acelerar la realización de películas, mientras que a otros les preocupa adoptar sistemas que parecen haber sido entrenados en obras protegidas por derechos de autor sin permiso.

Los legisladores también han destacado su preocupación por cómo se están utilizando las falsificaciones, o deepfakes, generadas por IA en elecciones en todo el mundo, incluidos Estados Unidos, Pakistán, India e Indonesia.

Los portavoces de Meta dijeron que era poco probable que la compañía lanzara Movie Gen para uso abierto por parte de los desarrolladores, como lo ha hecho con su serie Llama de modelos en lenguaje grande, diciendo que considera los riesgos individualmente para cada modelo. Se negaron a comentar específicamente sobre la evaluación de Meta para Movie Gen.

En cambio, dijeron, Meta estaba trabajando directamente con la comunidad de entretenimiento y otros creadores de contenido sobre los usos de Movie Gen y lo incorporaría a los propios productos de Meta en algún momento del próximo año.

Según la publicación del blog y un artículo de investigación sobre la herramienta publicado por Meta, la compañía utilizó una combinación de conjuntos de datos con licencia y disponibles públicamente para crear Movie Gen.

OpenAI se ha estado reuniendo con ejecutivos y agentes de Hollywood este año para discutir posibles asociaciones que involucren a Sora, aunque todavía no se ha informado que hayan surgido acuerdos de esas conversaciones. Las preocupaciones sobre el enfoque de la compañía aumentaron en mayo cuando la actriz Scarlett Johansson acusó al fabricante de ChatGPT de imitar su voz sin permiso para su chatbot.

Entretenimiento de la puerta de los leonesla compañía detrás de “Los juegos del hambre” y “Crepúsculo”, anunció en septiembre que le daría a la startup de inteligencia artificial Runway acceso a su biblioteca de películas y televisión para entrenar un modelo de inteligencia artificial. A cambio, afirmó, el estudio y sus realizadores pueden utilizar el modelo para mejorar su trabajo.