São Paulo — InkDesign News —
Cientistas da Cornell University desenvolveram um processo baseado em machine learning que transforma automaticamente um vídeo curto de um ambiente em uma simulação 3D interativa do espaço.
Contexto da pesquisa
No contexto da crescente integração de técnicas de inteligência artificial (IA) em diversas áreas, este estudo visa criar “gêmeos digitais” que são não apenas visuais, mas também interativos. A necessidade de representações digitais que permitam a interação é fundamental para aplicações em jogos e treinamento de robôs em ambientes reais.
Método proposto
O sistema chamado DRAWER (Digital Reconstruction and Articulation With Environment Realism) inicia com alguns minutos de filmagem de uma cena estática, sem interação prévia com objetos. O modelo combina diferentes abordagens de aprendizado profundo, incluindo redes neurais convolucionais (CNN) para rendering de imagens e um módulo de percepção que determina as partes móveis da cena.
“Nosso input é apenas um vídeo que você captura casualmente na cozinha. Você não precisa interagir com nenhum objeto.”
(“Our input is just a video that you casually capture in the kitchen. You don’t need to interact with any cabinet doors or with the objects.”)— Hongchi Xia, Estudante de doutorado, Universidade de Illinois Urbana-Champaign
As etapas para criar o gêmeo digital envolvem a segmentação de objetos, articulação de portas e preenchimento de conteúdos invisíveis dentro das gavetas. A eficiência do DRAWER foi testada em vários ambientes, como cozinhas e banheiros, resultando em recriações precisas de espaços reais.
Resultados e impacto
Os gêmeos digitais gerados se integram perfeitamente a motores de jogos, permitindo a criação de experiências interativas. Um experimento demonstrou um jogo onde o usuário interagia com objetos em uma cozinha digital. As métricas de desempenho ainda não foram divulgadas, mas o potencial para treinamento de robôs é substancial; o sistema pode ser utilizado para treinar robôs virtuais a operar em ambientes reais antes mesmo de serem entregues.
“O objetivo final é tentar construir um gêmeo digital de tudo no mundo.”
(“Our final goal is to try to build a digital twin of everything in the world.”)— Hongchi Xia, Estudante de doutorado, Universidade de Illinois Urbana-Champaign
Próximos passos incluem a integração de objetos mais complexos e a expansão da tecnologia para todo tipo de edifício, bem como ambientes externos, podendo potencialmente impactar design urbano e otimização agrícola.
Fonte: (TechXplore – Machine Learning & AI)
