University of Rochester — InkDesign News — Pesquisadores desenvolveram um modelo de machine learning chamado MagicTime, que gera vídeos a partir de texto com simulação de processos metamórficos, aprendendo conhecimento físico do mundo real a partir de vídeos em lapso temporal.
Contexto da pesquisa
Modelos de inteligência artificial para texto-para-vídeo têm avançado rapidamente, mas produziam vídeos com movimentos limitados e poucas variações. Criar vídeos que mostram metamorfoses, como árvores crescendo ou flores desabrochando, é um desafio maior devido à necessidade de compreensão e simulação de fenômenos físicos, biológicos e sociais complexos.
Método proposto
O MagicTime, desenvolvido por cientistas da University of Rochester, Peking University, University of California em Santa Cruz, e National University of Singapore, emprega uma arquitetura de difusão-transformer e uma versão open-source U-Net. O modelo é treinado com dataset de mais de 2.000 vídeos em lapso temporal detalhadamente legendados para incorporar conhecimento do mundo real.
O modelo gera clipes de vídeo de alta resolução (512×512 pixels) com duração de até 10 segundos e 8 quadros por segundo, simulando processos metamórficos biológicos, químicos e sociais, como fermentação de pão e construção de edifícios.
Resultados e impacto
O MagicTime conseguiu simular metamorfoses com maior variedade e fidelidade visual em comparação a modelos anteriores. Segundo os pesquisadores, esta tecnologia pode acelerar pesquisas científicas ao permitir simulações preliminares rápidas que complementam experimentos físicos.
“O MagicTime é um passo em direção a IA que pode simular melhor as propriedades físicas, químicas, biológicas ou sociais do mundo ao nosso redor.”
(“MagicTime is a step toward AI that can better simulate the physical, chemical, biological, or social properties of the world around us.”)— Jinfa Huang, Ph.D. student, University of Rochester
“Enquanto experimentos físicos permanecem indispensáveis para verificação final, simulações precisas podem diminuir o ciclo de iterações e reduzir o número de testes ao vivo necessários.”
(“While physical experiments remain indispensable for final verification, accurate simulations can shorten iteration cycles and reduce the number of live trials needed.”)— Jinfa Huang, Ph.D. student, University of Rochester
O progresso demonstra a capacidade crescente de AI para modelar mudanças complexas no mundo real e possibilita futuras aplicações em pesquisas científicas, planejamento e educação.
Leia mais sobre machine learning e deep learning em nossos artigos relacionados.
Fonte: (TechXplore – Machine Learning & AI)
