Pesquisadores desenvolveram uma nova tecnologia de AI que utiliza machine learning para reconstruir interações 3D entre mãos e objetos, mesmo em situações complexas. Esta inovação promete transformar campos como realidade aumentada e simulações cirúrgicas.
Contexto da pesquisa
A pesquisa, realizada na Ulsan National Institute of Science and Technology (UNIST), foca na limitação das abordagens tradicionais que falham em capturar interações mais complexas. O objetivo é recriar uma visualização 3D precisa de objetos manipulados com ambas as mãos, inclusive em cenários onde objetos estão parcialmente ocultos.
Método proposto
O modelo introduzido pela equipe, denominado Bimanual Interaction 3D Gaussian Splatting (BIGS), utiliza aprendizado profundo para representar interações em 3D a partir de um único vídeo em RGB. Essa abordagem consiste na representação de formas de objetos por meio de uma nuvem de pontos com distribuições gaussianas suaves, permitindo reconstruções mais naturais do que as que utilizam métodos de point cloud.
Resultados e impacto
O BIGS demonstrou superar tecnologias anteriores em precisão ao capturar posturas de mãos, formas de objetos e qualidade de renderização, utilizando datasets como ARCTIC e HO3Dv3. A pesquisa revelou que a tecnologia pode prever formas completas de objetos e mãos, mesmo em casos de oclusão, sem a necessidade de sensores de profundidade ou múltiplas câmeras.
“Este avanço é esperado para facilitar a reconstrução de interações em tempo real em vários campos, incluindo VR, AR e treinamentos cirúrgicos remotos.”
(“This advancement is expected to facilitate real-time interaction reconstruction in various fields, including VR, AR, robotic control, and remote surgical training.”)— Seungryul Baek, Professor, UNIST
Além de aplicações em AR e VR, esta pesquisa pode ser fundamental para controle robótico e simulações cirúrgicas. As próximas etapas incluem a validação em cenários diversos e a exploração de integrações com sistemas de realidade virtual mais complexos.
Fonte: (TechXplore – Machine Learning & AI)
