Google revela Lumiere: um modelo revolucionário de IA para criação de vídeos em tempo real
Summary:
Pesquisadores do Google revelaram o Lumiere, um novo modelo de difusão que pode criar e modificar instantaneamente vídeos realistas de IA a partir de texto ou imagens estáticas. Este modelo inovador é visto como um divisor de águas na tecnologia de vídeo de IA, distinguindo-se com uma abordagem de passagem única para a criação de vídeo dos modelos de IA existentes. Construído sobre um conjunto de dados de 30 milhões de vídeos e legendas, o Lumiere pode atualmente produzir 80 quadros a uma velocidade de 16 quadros por segundo.
A equipe de cientistas do Google revelou seu projeto Lumiere, um novo modelo de difusão que pode criar vídeos realistas de IA a partir de texto ou imagens estáticas, incluindo modificações concorrentes em movimento. A Lumiere é especializada em retratar "movimentos autênticos, variados e consistentes" usando sua "arquitetura U-Net Espaço-Tempo", permitindo gerar instantaneamente um vídeo inteiro através de uma única passagem do modelo. O Google alcançou um avanço extraordinário na tecnologia de vídeo de IA com este modelo de difusão, Lumiere, definindo 2024 como um ano crucial para o vídeo de IA.
No relatório científico, os pesquisadores elaboraram que: "Nosso modelo emprega amostragem espacial e, crucialmente, temporal para baixo e para cima e se baseia em um modelo de difusão de texto para imagem pré-treinado para produzir instantaneamente um vídeo de baixa resolução e taxa de quadros completos, à medida que processa em várias escalas espaço-temporais". Isso sugere que os usuários podem inserir uma descrição textual do conteúdo de vídeo desejado ou carregar uma imagem estática junto com um comando para criar um vídeo ao vivo. Lumiere foi comparado ao ChatGPT, mas com as habilidades adicionais de criação de vídeo, estilização, edição e animação a partir de texto e imagens, sugere o artigo. O método exclusivo da equipe do Google de usar uma única passagem para lidar com dados relacionados ao tempo na criação de vídeos distingue o Lumiere dos geradores de vídeo de IA existentes, como Pika e Runway. Relacionado: Deepfakes de IA enganam cidadãos e políticos antes das eleições de 2024 nos EUA - 'Eu acreditava que era genuíno' Uma demonstração de amostra das capacidades de Lumiere foi compartilhada no X por Hila Chefer, uma estudante pesquisadora que colaborou no desenvolvimento do modelo com o Google.
Lumiere foi desenvolvido com base em um conjunto de dados de 30 milhões de vídeos, juntamente com suas legendas descritivas; no entanto, a fonte de dados de vídeo, uma questão controversa no âmbito da lei de IA e direitos autorais, ainda não foi referenciada. Atualmente, o modelo é capaz de produzir 80 quadros a uma velocidade de 16 quadros por segundo. Os usuários do X elogiaram a conquista do Google como "excelente", "de ponta", e estão prevendo um aumento significativo na criação de vídeos no próximo ano.
Revista: Seleções de tokens Crypto+AI, Décadas necessárias para AGI, Expansão do Galaxy AI para 100M telefones: AI Eye.
Published At
1/25/2024 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.