Google dévoile Lumiere : un modèle d’IA révolutionnaire pour la création de vidéos en temps réel
Summary:
Les chercheurs de Google ont dévoilé Lumiere, un nouveau modèle de diffusion capable de créer et de modifier instantanément des vidéos d’IA réalistes à partir de texte ou d’images statiques. Ce modèle révolutionnaire est considéré comme un changeur de jeu dans la technologie de l’IA vidéo, se distinguant par une approche en un seul passage de la création vidéo des modèles d’IA existants. Construit sur un ensemble de données de 30 millions de vidéos et de sous-titres, Lumiere peut actuellement produire 80 images à une vitesse de 16 images par seconde.
L’équipe de scientifiques de Google a dévoilé son projet Lumière, un nouveau modèle de diffusion capable de créer des vidéos réalistes d’IA à partir de texte ou d’images fixes, y compris des modifications concurrentes en déplacement. Lumiere se spécialise dans la représentation de « mouvements authentiques, variés et cohérents » à l’aide de son « architecture Space-Time U-Net », qui lui permet de générer instantanément une vidéo entière en un seul passage du modèle. Google a réalisé une avancée extraordinaire dans la technologie de la vidéo IA avec ce modèle de diffusion, Lumière, faisant de 2024 une année charnière pour la vidéo IA.
Dans le rapport scientifique, les chercheurs ont précisé que : « Notre modèle utilise un sous-échantillonnage spatial et, surtout, temporel vers le bas et vers le haut et s’appuie sur un modèle de diffusion texte-image pré-entraîné pour produire instantanément une vidéo à faible résolution à fréquence d’images complète, car elle est traitée à plusieurs échelles d’espace-temps ». Cela suggère que les utilisateurs peuvent saisir une description textuelle du contenu vidéo souhaité ou télécharger une image statique avec une commande pour créer une vidéo en direct. Lumiere a été comparé à ChatGPT, mais avec les capacités supplémentaires de création vidéo, de stylisation, d’édition et d’animation à partir de texte et d’images, suggère le document. La méthode unique de l’équipe de Google, qui consiste à utiliser un seul passage pour traiter les données temporelles dans la création vidéo, distingue Lumiere des générateurs vidéo IA existants tels que Pika et Runway. À lire également : Les deepfakes de l’IA trompent les citoyens et les politiciens avant les élections américaines de 2024 - « Je croyais que c’était authentique » Un exemple de démonstration des capacités de Lumière a été partagé sur X par Hila Chefer, une étudiante chercheuse qui a collaboré au développement du modèle avec Google.
Lumiere a été développé sur la base d’un ensemble de données de 30 millions de vidéos ainsi que de leurs sous-titres descriptifs ; cependant, la source de données vidéo, une question litigieuse dans le domaine de l’IA et du droit d’auteur, n’a pas encore été référencée. À l’heure actuelle, le modèle est capable de produire 80 images à une vitesse de 16 images par seconde. Les utilisateurs de X ont salué la réussite de Google comme étant « exceptionnelle », « à la pointe de la technologie », et ils anticipent une augmentation significative de la création vidéo au cours de l’année à venir.
Magazine : Sélections de jetons Crypto+AI, Décennies requises pour l’AGI, Extension de Galaxy AI à 100 millions de téléphones : AI Eye.
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.