Google presenta Lumiere: un revolucionario modelo de IA para la creación de videos en tiempo real
Summary:
Los investigadores de Google han presentado Lumiere, un nuevo modelo de difusión que puede crear y modificar instantáneamente videos realistas de IA a partir de texto o imágenes estáticas. Este modelo innovador se considera un punto de inflexión en la tecnología de vídeo de IA, ya que se distingue por un enfoque de una sola pasada para la creación de vídeo a partir de los modelos de IA existentes. Construido sobre un conjunto de datos de 30 millones de vídeos y subtítulos, Lumiere puede producir actualmente 80 fotogramas a una velocidad de 16 fotogramas por segundo.
El equipo de científicos de Google ha presentado su proyecto Lumiere, un novedoso modelo de difusión que puede crear videos realistas de IA a partir de texto o imágenes fijas, incluidas las modificaciones sobre la marcha. Lumiere se especializa en representar "movimiento auténtico, variado y consistente" utilizando su "arquitectura U-Net de espacio-tiempo", lo que le permite generar instantáneamente un video completo a través de una sola pasada del modelo. Google ha logrado un avance extraordinario en la tecnología de vídeo con IA con este modelo de difusión, Lumiere, que sitúa 2024 como un año crucial para el vídeo con IA.
En el informe científico, los investigadores explicaron que: "Nuestro modelo emplea un muestreo espacial y, lo que es más importante, temporal hacia abajo y hacia arriba, y se basa en un modelo de difusión de texto a imagen preentrenado para producir instantáneamente un video de baja resolución y velocidad de fotogramas completa, ya que se procesa en múltiples escalas de espacio-tiempo". Esto sugiere que los usuarios pueden ingresar una descripción textual del contenido de video deseado o cargar una imagen estática junto con un comando para crear un video en vivo. Lumiere ha sido comparado con ChatGPT, pero con las capacidades añadidas de creación de vídeos, estilización, edición y animación a partir de texto e imágenes, sugiere el documento. El método único del equipo de Google de utilizar un solo paso para manejar datos relacionados con el tiempo en la creación de videos distingue a Lumiere de los generadores de video de IA existentes como Pika y Runway. Relacionado: Los deepfakes de IA engañan a ciudadanos y políticos antes de las elecciones de EE.UU. de 2024: "Creí que era genuino" Una demostración de muestra de las capacidades de Lumière fue compartida en X por Hila Chefer, una estudiante investigadora que colaboró en el desarrollo del modelo con Google.
Lumiere se desarrolló en base a un conjunto de datos de 30 millones de videos junto con sus subtítulos descriptivos; sin embargo, aún no se ha hecho referencia a la fuente de datos de video, un tema polémico en el ámbito de la IA y la ley de derechos de autor. En la actualidad, el modelo es capaz de producir 80 fotogramas a una velocidad de 16 fotogramas por segundo. Los usuarios de X han elogiado el logro de Google como "sobresaliente", "de vanguardia", y anticipan un aumento significativo en la creación de videos en el próximo año.
Revista: Selecciones de tokens Crypto+AI, Décadas requeridas para AGI, Expansión de Galaxy AI a 100 millones de teléfonos: AI Eye.
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.