Google stellt Lumière vor: ein revolutionäres KI-Modell für die Erstellung von Videos in Echtzeit
Summary:
Google-Forscher haben Lumière vorgestellt, ein neues Diffusionsmodell, mit dem realistische KI-Videos aus Text oder statischen Bildern sofort erstellt und geändert werden können. Dieses bahnbrechende Modell gilt als bahnbrechend in der KI-Videotechnologie und unterscheidet sich durch einen Single-Pass-Ansatz für die Videoerstellung von bestehenden KI-Modellen. Basierend auf einem Datensatz von 30 Millionen Videos und Untertiteln kann Lumière derzeit 80 Bilder mit einer Geschwindigkeit von 16 Bildern pro Sekunde produzieren.
Das Wissenschaftlerteam von Google hat sein Projekt Lumière vorgestellt, ein neuartiges Diffusionsmodell, das realistische KI-Videos aus Text oder Standbildern erstellen kann, einschließlich konkurrierender Modifikationen unterwegs. Lumiere ist darauf spezialisiert, "authentische, abwechslungsreiche und konsistente Bewegungen" mit seiner "Raum-Zeit-U-Net-Architektur" darzustellen, die es ermöglicht, durch einen einzigen Durchgang des Modells sofort ein ganzes Video zu erzeugen. Google hat mit diesem Diffusionsmodell, Lumière, einen außergewöhnlichen Fortschritt in der KI-Videotechnologie erzielt und 2024 zu einem entscheidenden Jahr für KI-Videos gemacht.
In dem wissenschaftlichen Bericht führten die Forscher aus: "Unser Modell verwendet räumliches und vor allem zeitliches Down- und Up-Sampling und stützt sich auf ein vortrainiertes Text-zu-Bild-Diffusionsmodell, um sofort ein Video mit voller Bildrate und niedriger Auflösung zu erzeugen, während es in mehreren Raum-Zeit-Skalen verarbeitet wird." Dies deutet darauf hin, dass Benutzer eine Textbeschreibung ihres gewünschten Videoinhalts eingeben oder ein statisches Bild zusammen mit einem Befehl zum Erstellen eines Live-Videos hochladen können. Lumière wurde mit ChatGPT verglichen, aber mit den zusätzlichen Fähigkeiten der Videoerstellung, Stilisierung, Bearbeitung und Animation von Text und Bildern, so das Papier. Die einzigartige Methode des Google-Teams, einen einzigen Durchgang für die Verarbeitung zeitbezogener Daten bei der Videoerstellung zu verwenden, unterscheidet Lumière von bestehenden KI-Videogeneratoren wie Pika und Runway. In diesem Zusammenhang: KI-Deepfakes täuschen Bürger und Politiker vor den US-Wahlen 2024 - "Ich glaubte, es sei echt" Eine Beispieldemonstration der Fähigkeiten von Lumière wurde auf X von Hila Chefer geteilt, einer studentischen Forscherin, die an der Modellentwicklung mit Google zusammengearbeitet hat.
Lumière wurde auf der Grundlage eines Datensatzes von 30 Millionen Videos zusammen mit ihren beschreibenden Bildunterschriften entwickelt. Die Videodatenquelle, ein umstrittenes Thema im Bereich der KI und des Urheberrechts, wurde jedoch noch nicht referenziert. Derzeit ist das Modell in der Lage, 80 Bilder mit einer Geschwindigkeit von 16 Bildern pro Sekunde zu erzeugen. Nutzer auf X haben Googles Leistung als "herausragend" und "hochmodern" gelobt und erwarten für das kommende Jahr einen deutlichen Anstieg der Videoerstellung.
Magazin: Auswahl von Krypto+KI-Token, Jahrzehnte, die für AGI erforderlich sind, Erweiterung von Galaxy AI auf 100 Millionen Telefone: AI Eye.
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.