谷歌推出 Lumiere：用于实时视频创作的革命性 AI 模型
Summary:
谷歌研究人员推出了 Lumiere，这是一种新的扩散模型，可以立即从文本或静态图像创建和修改逼真的 AI 视频。这一突破性模型被视为人工智能视频技术的游戏规则改变者，其视频创作方法与现有人工智能模型不同。Lumiere 建立在 3000 万个视频和字幕的数据集上，目前可以以每秒 16 帧的速度生成 80 帧。
谷歌的科学家团队公布了他们的项目Lumiere，这是一种新颖的扩散模型，可以从文本或静止图像中创建逼真的AI视频，包括竞争性的移动修改。Lumiere 擅长使用其“时空 U-Net 架构”描绘“真实、多样和一致的运动”，使其能够通过模型的单次传递立即生成整个视频。谷歌通过这种扩散模型 Lumiere 在 AI 视频技术方面取得了非凡的进步，使 2024 年成为 AI 视频的关键一年。
在科学报告中，研究人员阐述说：“我们的模型采用空间和关键的时间下采样和上采样，并利用预先训练的文本到图像扩散模型，立即生成全帧速率，低分辨率视频，因为它在多个时空尺度上进行处理”。这表明用户可以输入所需视频内容的文本描述，或上传静态图像以及创建实时视频的命令。该论文建议，卢米埃尔被比作 ChatGPT，但增加了视频创建、造型化、编辑和文本和图像动画的能力。谷歌团队在视频创作中使用单次处理与时间相关的数据的独特方法，使卢米埃尔有别于现有的人工智能视频生成器，如Pika和Runway。相关新闻：人工智能深度伪造在美国 2024 年大选前欺骗公民和政客——“我相信它是真实的” 与谷歌合作开发模型的学生研究员 Hila Chever 在 X 上分享了 Lumiere 功能的示例演示。
Lumiere 是基于 3000 万个视频及其描述性字幕的数据集开发的;然而，视频数据源是人工智能和版权法领域的一个有争议的问题，尚未被引用。目前，该模型能够以每秒 80 帧的速度生成 16 帧。X上的用户称赞谷歌的成就是“杰出的”、“前沿的”，他们预计来年视频创作将大幅增加。
杂志：加密+AI代币的选择，AGI需要几十年，将Galaxy AI扩展到100M手机：AI Eye。
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.