OpenAI представляет Sora: революционную модель преобразования текста в видео с впечатляющими возможностями
Summary:
Компания OpenAI представила модель преобразования текста в видео Sora, которая может преобразовывать простые текстовые подсказки в подробные 60-секундные видеоролики. Используя «диффузионную» модель, аналогичную своему предшественнику DALL-E 3, основанному на изображениях, Sora генерирует исходное видео или изображение, напоминающее «статический шум», который он постепенно уточняет. Несмотря на свои возможности, OpenAI признал ограничения в точном представлении физики сложных сцен и понимании причинно-следственных связей. На данный момент доступ к Sora предоставлен исследователям кибербезопасности и избранным художникам для оценки и обратной связи. Несколько демонстраций возможностей Соры распространились в Интернете, вызвав значительный интерес.
OpenAI, известный институт искусственного интеллекта, только что представил свою новую модель преобразования текста в видео Sora, которая, несмотря на положительную первоначальную реакцию, все еще имеет возможности для улучшения. Sora, анонсированная OpenAI 15 февраля, использует возможности искусственного интеллекта для преобразования простых текстовых подсказок в сложные видео, улучшения уже существующих видео и даже создания сцен из статичного изображения. Сора способен создавать 60-секундные видеоролики, наполненные богатыми деталями, многочисленными персонажами, демонстрирующими яркие эмоции, и сложными движениями камеры.
В сообщении в блоге, опубликованном 15 февраля, OpenAI сообщила, что Sora может создавать последовательности, похожие на кинематографическое производство, с разрешением, достигающим 1080p. Подобно более ранней модели OpenAI, ориентированной на изображения, DALL-E 3, Сора использует модель «диффузии», в которой ИИ генерирует исходное видео или изображение, напоминающее «статический шум», а затем совершенствует его, постепенно «устраняя шум».
По данным OpenAI, разработка Sora была основана на опыте их предыдущих моделей, GPT и DALL-E3, что якобы повысило точность модели в зеркальном отображении пользовательского ввода. OpenAI признала существующие ограничения Sora, такие как трудности с правильным представлением физики сложных сцен и неправильное понимание причинно-следственных связей. Кроме того, Сора может неправильно понять и исказить «пространственную специфику» подсказки, тем самым неправильно выровняв направления или не придерживаясь точных описаний.
На данный момент OpenAI сделала Sora доступной исключительно для «красных команд», по сути, исследователей кибербезопасности, чтобы выявлять возможные риски и проблемы, в дополнение к некоторым избранным дизайнерам, визуальным художникам и кинематографистам, чтобы предоставить обратную связь для дальнейших улучшений. Исследование, опубликованное Стэнфордским университетом в декабре 2023 года, указало на критические этические и юридические дилеммы, связанные с моделями создания изображений или видео, в которых используются базы данных ИИ, такие как LAION.
Сора вызвал ажиотаж вокруг X: более 173 000 сообщений обсуждали модель и распространяли видеодемонстрации ее возможностей. Генеральный директор OpenAI Сэм Альтман продемонстрировал его потенциал, генерируя пользовательские видео по запросам пользователей X. В качестве примера можно привести драконью утку и золотистых ретриверов, ведущих подкаст с вершины горы.
Несколько человек, в том числе комментатор ИИ Маккей Ригли, выразили свое восхищение видео, снятыми Сорой. В посте, датированном 15 февраля, старший научный сотрудник Nvidia Джим Фан (Jim Fan) заявил, что Sora — это не просто игрушка с искусственным интеллектом, как DALL-E 3, а более развитый «физический движок, управляемый данными», способный к реалистичному рендерингу, интуитивной физике, рассуждениям на длинном горизонте и семантическому обоснованию.
Published At
2/16/2024 8:56:53 AM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.