Google представляет Lumiere: революционную модель искусственного интеллекта для создания видео в реальном времени
Summary:
Исследователи Google представили Lumiere, новую модель диффузии, которая может мгновенно создавать и изменять реалистичные видео с искусственным интеллектом из текста или статичных изображений. Эта революционная модель считается революционной в технологии ИИ-видео, отличаясь однопроходным подходом к созданию видео от существующих моделей ИИ. Построенный на наборе данных из 30 миллионов видео и субтитров, Lumiere в настоящее время может производить 80 кадров со скоростью 16 кадров в секунду.
Команда ученых Google представила свой проект Lumiere, новую диффузионную модель, которая может создавать реалистичные видео с искусственным интеллектом из текста или неподвижных изображений, включая конкурирующие модификации на ходу. Люмьер специализируется на изображении «аутентичного, разнообразного и последовательного движения» с помощью своей «архитектуры Space-Time U-Net», позволяющей мгновенно генерировать целое видео за один проход модели. Google добился необычайного прогресса в технологии искусственного интеллекта с помощью этой диффузионной модели Lumiere, что делает 2024 год поворотным годом для видео с искусственным интеллектом.
В научном отчете исследователи уточнили, что: «Наша модель использует пространственную и, что особенно важно, временную дискретизацию вниз и вверх и опирается на предварительно обученную модель диффузии текста в изображение для мгновенного создания видео с полной частотой кадров и низким разрешением, поскольку оно обрабатывается в нескольких пространственно-временных масштабах». Это означает, что пользователи могут ввести текстовое описание желаемого видеоконтента или загрузить статическое изображение вместе с командой для создания живого видео. Lumiere сравнивают с ChatGPT, но с дополнительными возможностями создания, стилизации, редактирования и анимации видео из текста и изображений. Уникальный метод команды Google, использующий однопроходный режим для обработки данных, связанных со временем, при создании видео отличает Lumiere от существующих видеогенераторов с искусственным интеллектом, таких как Pika и Runway. Читайте по теме: Дипфейки с искусственным интеллектом обманывают граждан и политиков перед выборами в США в 2024 году — «Я верила, что это подлинно» Образцом демонстрации возможностей Lumiere поделилась на X Хила Чефер, студентка-исследовательница, которая сотрудничала над разработкой модели с Google.
Lumiere был разработан на основе набора данных из 30 миллионов видео вместе с их описательными подписями; тем не менее, источник видеоданных, являющийся спорным вопросом в области права ИИ и авторского права, до сих пор не упоминался. В настоящее время модель способна выдавать 80 кадров со скоростью 16 кадров в секунду. Пользователи X высоко оценили достижение Google как «выдающееся», «передовое», и они ожидают значительного всплеска создания видео в следующем году.
Журнал: Подборка токенов Crypto+AI, Десятилетия, необходимые для AGI, Расширение Galaxy AI до 100 млн телефонов: AI Eye.
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.