Modelo de machine learning reconstrói cenas 4D em vídeos borrados
São Paulo — InkDesign News —
Pesquisadores desenvolvem um novo modelo de machine learning que aprimora a qualidade de vídeos borrados, utilizando técnicas avançadas de inteligência artificial para reconstruções 3D, fortalecendo significativamente o campo de Neural Radiance Fields (NeRF).
Contexto da pesquisa
Neural Radiance Fields (NeRF) são utilizadas para criar representações tridimensionais a partir de imagens bidimensionais capturadas de diferentes ângulos. Tradicionalmente, esses métodos são sensíveis à qualidade dos vídeos, especialmente na presença de desfoques. O movimento de câmera e objetos rápidos muitas vezes resulta em borrões, dificultando a síntese de visualizações nítidas.
Método proposto
A pesquisa introduz o MoBluRF, um framework de deblurring em duas etapas, desenvolvido por uma equipe liderada por Jihyong Oh e Munchurl Kim. O modelo utiliza uma abordagem que combina a inicialização de raios base (Base Ray Initialization – BRI) e deconstrução do movimento (Motion Decomposition-based Deblurring – MDD) para reconstruir cenas dinâmicas em 3D a partir de vídeos borrados.
“Nosso framework é capaz de reconstruir cenas 4D nítidas e permitir a síntese de novas vistas de vídeos monoculares borrados sem a necessidade de supervisão de máscara, avançando significativamente no campo de NeRF.”
(“Our framework is capable of reconstructing sharp 4D scenes and enabling NVS from blurry monocular videos using motion decomposition, while avoiding mask supervision, significantly advancing the NeRF field.”)— Jihyong Oh, Professor Assistente, Chung-Ang University
O BRI visa melhorar a precisão inicial dos raios base a partir de cenas dinâmicas. O MDD, por sua vez, aplica um método conhecido como Incremental Latent Sharp-rays Prediction (ILSP), que decomõe o movimento borrado em componentes de movimento global e local, aumentando a acurácia da deblurring.
Resultados e impacto
Os testes revelaram que o MoBluRF supera métodos de ponta existentes, tanto quantitativa quanto qualitativamente, em diferentes conjuntos de dados, resguardando-se eficaz contra variados graus de desfoque. O framework também introduz duas funções de perda inovadoras que melhoram a precisão geométrica de objetos dinâmicos, áreas dificuldades abordadas em métodos anteriores.
“Ao permitir deblurring e reconstrução 3D a partir de capturas informais, nosso framework permite que smartphones e outros dispositivos comuns produzam conteúdos mais nítidos e imersivos.”
(“By enabling deblurring and 3D reconstruction from casual handheld captures, our framework enables smartphones and other consumer devices to produce sharper and more immersive content.”)— Jihyong Oh, Professor Assistente, Chung-Ang University
O MoBluRF aponta um novo rumo para NeRFs, potencializando a capacidade de gerar modelos 3D de alta qualidade a partir de vídeos comuns gravados por dispositivos cotidianos. As aplicações futuras incluem a criação de modelos 3D nítidos de material cultural, melhor entendimento das cenas para robôs e drones, e suporte para ambientes de realidade aumentada.
Fonte: (TechXplore – Machine Learning & AI)
