Google svela Lumiere: un modello di intelligenza artificiale rivoluzionario per la creazione di video in tempo reale
Summary:
I ricercatori di Google hanno presentato Lumiere, un nuovo modello di diffusione in grado di creare e modificare istantaneamente video AI realistici a partire da testo o immagini statiche. Questo modello rivoluzionario è visto come un punto di svolta nella tecnologia video AI, distinguendosi per un approccio single-pass alla creazione di video rispetto ai modelli di IA esistenti. Costruito su un set di dati di 30 milioni di video e didascalie, Lumiere è attualmente in grado di produrre 80 fotogrammi a una velocità di 16 fotogrammi al secondo.
Il team di scienziati di Google ha svelato il suo progetto Lumiere, un nuovo modello di diffusione in grado di creare video AI realistici da testo o immagini fisse, comprese le modifiche concorrenti in movimento. Lumiere è specializzata nella rappresentazione di "movimenti autentici, vari e coerenti" utilizzando la sua "architettura U-Net Space-Time", che gli consente di generare istantaneamente un intero video attraverso un singolo passaggio del modello. Google ha raggiunto uno straordinario progresso nella tecnologia dei video AI con questo modello di diffusione, Lumiere, impostando il 2024 come un anno cruciale per i video AI.
Nel rapporto scientifico, i ricercatori hanno spiegato che: «Il nostro modello impiega il down-sampling spaziale e, soprattutto, temporale verso il basso e verso l'alto e si basa su un modello di diffusione da testo a immagine pre-addestrato per produrre istantaneamente un video a piena velocità e bassa risoluzione, mentre viene elaborato su più scale spazio-temporali». Ciò suggerisce che gli utenti possono inserire una descrizione testuale del contenuto video desiderato o caricare un'immagine statica insieme a un comando per creare un video in diretta. Lumiere è stato paragonato a ChatGPT, ma con l'aggiunta di capacità di creazione, stilizzazione, modifica e animazione di video da testo e immagini, suggerisce il documento. Il metodo unico del team di Google di utilizzare un unico passaggio per la gestione dei dati relativi al tempo nella creazione di video distingue Lumiere dai generatori di video AI esistenti come Pika e Runway. Correlato: I deepfake dell'IA ingannano cittadini e politici prima delle elezioni americane del 2024: "Credevo che fosse autentico" Un esempio di dimostrazione delle capacità di Lumiere è stato condiviso su X da Hila Chefer, una studentessa ricercatrice che ha collaborato allo sviluppo del modello con Google.
Lumiere è stato sviluppato sulla base di un set di dati di 30 milioni di video insieme alle loro didascalie descrittive; tuttavia, la fonte dei dati video, una questione controversa nell'ambito dell'intelligenza artificiale e del diritto d'autore, non è stata ancora citata. Attualmente, il modello è in grado di produrre 80 fotogrammi a una velocità di 16 fotogrammi al secondo. Gli utenti di X hanno elogiato il risultato di Google come "eccezionale", "all'avanguardia" e prevedono un'impennata significativa nella creazione di video nel prossimo anno.
Rivista: Selezioni di token Crypto+AI, Decenni necessari per AGI, Espansione di Galaxy AI a 100 milioni di telefoni: AI Eye.
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.