Avanço em Vídeo Volumétrico 3D Permite Exploração de Cena de Qualquer Ângulo

Pesquisadores da Universidade de Brown, nos Estados Unidos, anunciaram um avanço significativo em tecnologia de vídeo volumétrico 3D. O método, chamado PackUV, é um passo crucial rumo à criação de vídeos volumétricos realistas, armazenáveis e visualizáveis a partir de qualquer ângulo. Esta tecnologia seria compatível com codecs de vídeo existentes, o que tornaria possível sua transmissão por streaming na internet, sem a exigência de novas tecnologias de tela.

O líder de estudos, Aashish Rai, explicou que o vídeo volumétrico envolve capturar ações com múltiplas câmeras sincronizadas que cercam a cena alvo. Após a gravação, algoritmos especializados reconstruem o local em três dimensões. Um vídeo volumétrico permite explorar uma cena de qualquer ponto de vista, agregando uma dimensão temporal, resultando em um 'vídeo 4D'. Essa capacidade possibilita que diretores mostrem cenas de ângulos impossíveis para técnicas tradicionais de filmagem.

Apesar de promissor, o vídeo volumétrico enfrenta desafios significativos, como a compressão necessária para tornar seu streaming viável. A tecnologia atual enfrenta dificuldades em armazenar e transmitir essas grandes quantidades de dados. Rai destacou que um clipe de 30 minutos pode ocupar terabytes de dados, incompatíveis com a infraestrutura de internet atual.

Para solucionar esses obstáculos, a equipe de Brown modificou a abordagem de '3D Gaussian Splatting', que utiliza 'blobs' para codificar cor, opacidade e forma dos pontos no espaço. Eles conseguiram mapear uma cena 3D para uma imagem 2D mais gerenciável, assemelhando-se à projeção de um globo 3D em uma superfície plana. Isso reduz significativamente o tamanho dos arquivos, permite compatibilidade com codecs de vídeo populares, e possibilita a transmissão em plataformas online.

Este avanço tem implicações importantes para entretenimento, esportes e até manufatura, onde a criação de "gêmeos digitais" do mundo real pode ser crucial. Além disso, o novo método pode resolver a limitação de rastreamento de objetos, como o desaparecimento temporário de um objeto no vídeo. Com técnicas de divisão de vídeos em segmentos, o sistema consegue recuperar objetos bloqueados ou lidar com novos movimentos de forma eficiente.

Esta pesquisa, ainda em seus estágios iniciais, tem o potencial de revolucionar a maneira como consumimos mídia, oferecendo uma experiência muito mais interativa e imersiva. Para aqueles interessados em detalhes técnicos, o trabalho completo está disponível no site do The Debrief.