Meta представила модели эму на базе искусственного интеллекта, которые произведут революцию в редактировании и генерации контента
Summary:
Интернет-гигант Meta представил две новые модели искусственного интеллекта, Emu Video и Emu Edit, направленные на улучшение создания и редактирования контента. Emu Video генерирует видеоклипы из текста и изображений, в то время как Emu Edit манипулирует изображениями с повышенной точностью. Эти модели все еще находятся на стадии исследований, но потенциально представляют значительные преимущества для создателей, художников и аниматоров. Выпуск и внедрение этих инструментов осуществляется с осторожностью из-за строгого контроля со стороны регулирующих органов.
В недавнем сообщении в блоге интернет-гигант Meta представил две инновационные модели искусственного интеллекта, которые предназначены для улучшения производства и редактирования контента. Модели известны как Emu Video и Emu Edit. Функция Emu Video состоит в том, чтобы создавать видеоклипы из текстовых и графических входных данных, основываясь на предыдущей модели Emu от Meta. Emu Edit, с другой стороны, манипулирует изображениями с повышенной точностью. Хотя эти модели все еще находятся на стадии исследования, Meta предполагает, что создатели, художники и аниматоры найдут для них жизнеспособное применение.
Meta раскрыла свой «факторизованный» подход к обучению Emu Video, разделив процесс на два этапа, чтобы сделать модель гибкой к различным входным данным. На первом этапе создаются изображения на основе текстовых подсказок, а на втором этапе создается видео, использующее как предыдущее изображение, так и текст. Этот метод позволяет эффективно обучать модели генерации видео.
Примечательно, что модель Emu Video обладает способностью оживлять изображения. Вместо того, чтобы использовать сложный каскад моделей, он просто использует две диффузионные модели для создания четырехсекундных видео размером 512x512 с частотой 16 кадров в секунду. Emu Edit фокусируется на точности в манипуляциях с изображениями, позволяя вносить изменения, такие как преобразование цвета и геометрии, добавление и удаление фона, а также редактирование в локальном и глобальном масштабе.
При этом Meta стремится к тому, чтобы модель изменяла только те пиксели, которые имеют отношение к запросу на редактирование, и ничего более. Например, когда текст «Алоха!» добавляется к бейсболке, модель не должна изменять саму кепку.
Для обучения Emu Edit Meta использовала 10 миллионов синтезированных изображений, каждое из которых соответствовало входному изображению и задаче с желаемым результатом. По данным Meta, это самый большой набор данных такого рода. Кроме того, Meta собрала 1,1 миллиарда единиц данных, включая опубликованные пользователями фотографии и подписи из Facebook и Instagram, чтобы обучить недавно выпущенную модель Emu.
Тем не менее, развертывание инструментов искусственного интеллекта Meta было осторожным из-за пристального внимания со стороны регулирующих органов по всему миру. Недавно Meta заявила, что ее инструменты искусственного интеллекта не могут быть использованы политическими кампаниями и рекламодателями для создания рекламы в Facebook и Instagram.
Published At
11/16/2023 8:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.