Podemos ganhar uma comissão pelos links desta página.
Minha pergunta sobre realidade virtual sempre foi: “Mas para que serve?” Finalmente tenho uma resposta: Guassian Splatting. Sempre tentamos capturar nosso passado, seja por meio de fotografias físicas, fitas VHS ou todas as imagens armazenadas na nuvem, mas nos limitamos a visualizar nossas histórias pessoais em mídia plana, geralmente por trás de uma tela, e sempre de um único ângulo. Mas o Gaussian Splatting muda isso. Esta tecnologia permite criar modelos 3D volumétricos de objetos, pessoas ou espaços, portanto, em vez de uma imagem do brinquedo favorito do seu filho, você pode ter uma digitalização realista dele que pode ser examinada de todos os ângulos; em vez de uma foto do jantar de Ação de Graças, você pode ter um diorama fotorrealista da sala de jantar para passear.
O que é respingo gaussiano?
Gaussian Splatting é um recém-nascido tecnológico. Foi introduzido teoricamente pela primeira vez em um artigo de pesquisa de 2023 de Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler e George Drettakis. O artigo detalha uma nova técnica de renderização que constrói modelos 3D a partir de milhões de bolhas semitransparentes chamadas “Gaussianas”, em vez dos triângulos sólidos usados na computação gráfica tradicional. Uma vez calculados, os Gaussianos são “Splatted” em um plano 2D pelo seu computador, e isso é organizado e em camadas com base em como deveriam parecer de qualquer ponto de vista dentro do Splat. Como os blobs são semitransparentes, eles não bloqueiam uns aos outros. Eles se misturam como pinceladas em uma pintura.
Outro bônus: o splatting fornece um nível de detalhe muito maior para o tamanho do arquivo em comparação com os métodos tradicionais de digitalização. As digitalizações mais antigas funcionam com base no princípio geométrico de esticar uma pele virtual feita de triângulos sobre um objeto. Para uma verificação detalhada, isso poderia significar bilhões de triângulos, resultando em tamanhos de arquivo que sufocariam o PC. Splatting é baseado em probabilidade matemática e não em geometria rígida. Em vez de uma borda sólida, cada “bolha” é uma pequena nuvem que informa ao computador a probabilidade de uma cor existir naquele local. Armazena apenas a posição, a cor e a transparência de milhões de áreas relevantes no espaço, bem como a forma como devem refletir a luz de diferentes ângulos. O resultado são arquivos grandes em comparação com documentos do Word, mas não tão grandes que você não possa trabalhar com eles em um telefone.
O Gaussian Splatting passou rapidamente da teoria à prática, e agora o Splats pode ser criado e renderizado apenas com um smartphone decente, tornando-o mais acessível do que os métodos mais antigos que às vezes exigiam scanners a laser ou equipamentos especializados.
Por que você deve começar a Splatting
A digitalização 3D já é usada profissionalmente em coisas como mapeamento de imóveis para passeios virtuais e criação de ativos fotorrealistas para videogames, mas o Gaussian Splatting é acessível o suficiente para que qualquer pessoa possa preparar sua nostalgia para o futuro.
Splatting dá ao seu eu futuro (ou aos seus filhos) a capacidade de “visitar” sua vida atual com um nível de realismo de tirar o fôlego. Ele permite “engarrafar” digitalmente o layout e o volume exatos de um momento no tempo e preservá-los. Se seus pais tivessem isso, você poderia passear pelo quarto de sua infância ou conferir cada ângulo e detalhe do primeiro carro que comprou.
“Preservação digital” e “modelagem 3D” parecem clínicos, mas os resultados dos Gaussian Splats são tudo menos estéreis. Enquanto a fotografia captura um único ângulo de luz em uma sala, os Gaussian Splats capturam o comportamento da luz de todos os ângulos, de modo que o resultado não é a aparência do passado, mas a sensação do passado. É difícil descrever, mas capturar a qualidade da luz em um objeto ou local coloca você em contato com ele de uma forma que você não imaginava ser possível. Isso combinado com a nebulosidade de Spats e suas próprias memórias resulta em uma experiência etérea e onírica que não é como qualquer outra coisa. (Eu gosto muito de Splats.)
Como começar a espalhar
A barreira de entrada para o Splatting é apenas um tempinho para descobrir como ele funciona. Você não precisa de um scanner LiDAR especializado ou de um PC superpotente, apenas de um smartphone relativamente recente. Veja como começar:
Escolha um aplicativo: embora a tecnologia seja nova, alguns aplicativos a tornam muito fácil de usar. Aqui estão os dois que tentei:
-
Scaniverso: Excelente para usuários de iPhone, o Scaniverse é gratuito e processa Splats inteiramente no seu dispositivo em apenas um ou dois minutos.
-
Captura Luma 3D: Disponível para Android e iPhone, o Luma é ótimo para iniciantes, com um processo de digitalização que orienta você na criação de seu primeiro Splat.
Faça uma captura: Aqui estão algumas coisas em que você deve pensar ao fazer sua captura.
-
Antes de começar a escanear locais ou objetos maiores, escolha algo pequeno e simples para entender os conceitos. Mas não animais de estimação: o objeto deve permanecer perfeitamente imóvel durante o processo. (Abra uma exceção para o seu filho. Ele não vai ficar parado o suficiente, mas ter até mesmo um modelo borrado do seu filho é vital para você no futuro.)
-
Coloque o objeto em uma sala com iluminação uniforme e espaço suficiente para percorrê-lo.
-
Clique em gravar e caminhe em um círculo lento e constante ao redor do objeto, mantendo a câmera apontada para o centro.
-
Faça duas passagens, uma de um ângulo alto olhando para baixo, outra de um ângulo baixo, olhando para cima.
-
Splats gaussianos odeiam uniformidade. Eles lutam com paredes brancas lisas, então pense em termos de texturas. Além disso, evite vidros transparentes e espelhos que confundem os cálculos de profundidade.
Coma uma banana: Agora que você capturou seu Splat, faça uma pausa para que o computador possa fazer seu trabalho. Quanto tempo levará depende do aplicativo que você está usando, do seu telefone e do nível de detalhe da sua verificação. Scaniverse processa Splats diretamente no seu telefone. Para algo simples como a guitarra abaixo, foram necessários cerca de dois minutos de renderização em um iPhone 17 Pro. O Luma 3D Capture processa arquivos na nuvem, portanto, quanto tempo leva depende de quantas pessoas estão na sua frente na fila. Pode demorar alguns minutos. Pode levar algumas horas – o aplicativo envia um alerta quando sua imagem termina de ser preparada. O vídeo abaixo durou várias horas.
Aproveite sua criação: Depois que a matemática estiver concluída, você poderá visualizar sua criação diretamente na tela do seu smartphone ou computador. Aperte para ampliar, arraste para girar e maravilhe-se com a perfeição com que a digitalização capturou a vibração do objeto ou espaço.
Compartilhe sua criação: esses aplicativos oferecem algumas maneiras fáceis de compartilhar sua memória volumétrica:
-
Vídeo: você pode traçar um caminho de câmera através do Splat para exportar um vídeo “fly-through” 2D suave. Abaixo está minha primeira varredura no YouTube usando Scaniverse (é desleixado; eu era novo) e minha segunda tentativa com Luma.
-
Link da Web: Você pode gerar um link da web simples e enviá-lo por mensagem de texto para seus amigos ou familiares por meio de ambos os aplicativos. Quando eles tocam nele, um visualizador 3D interativo é aberto no navegador – sem a necessidade de aplicativos especiais, contas ou downloads pesados.
Como entrar no seu Splats
Ver uma digitalização 3D em seu telefone ou PC é muito legal, mas você não consegue entender como essas coisas são alucinantes até verificá-las em um dispositivo de realidade virtual, onde você pode caminhar fisicamente pela mesa de Ação de Graças ou inclinar-se para inspecionar a textura no sofá. Veja como você pode fazer isso nos dois maiores fones de ouvido do momento.
O que você acha até agora?
Apple Visão Pro
O poderoso Apple Vision Pro foi desenvolvido para fazer isso. A Apple incluiu “Cenas Espaciais” diretamente no sistema operacional. Dá um leve pop 3D às fotos 2D, mas você pode ir um pouco mais longe com aplicativos como o Splat Studio, que irá gerar uma cena 3D mais profunda a partir de fotos 2D e permitir que você altere as configurações para melhorá-la. Mas você pode se aprofundar com o Spatial Media Toolkit. Ele permite transformar vídeos 2D em vídeos 3D estereoscópicos. Mas o chefe final é visualizar Splats completos que você mesmo criou com aplicativos como Luma 3D Capture ou Polycam.
Se você seguir as etapas acima, poderá exportar o arquivo Splat criado (.ply ou .spz) diretamente do telefone para o Vision Pro e entrar no Splat ou contornar o objeto digitalizado. Você também pode verificar os Splats que outros usuários enviaram.
Meta Quest 3 e 3S
Meta abraçou a revolução Gaussiana Splat. Aplicativos como o AirVis (também no Vision Pro) permitem que você confira os Splats que você fez no seu telefone, e há até Splats 4D disponíveis no Quest (mais sobre isso abaixo). A Meta também está dando os primeiros passos para eliminar completamente o intermediário do seu telefone. Hyperscape Capture é um aplicativo ainda em beta que usa as câmeras existentes do Quest para escanear sua sala e, em seguida, salvar uma versão 3D de seu espaço. Meta promete que em breve você poderá enviar um link para um amigo com fone de ouvido para que ele possa “vir visitar”.
O futuro do Splatting 4D
Por mais entusiasmado que eu esteja com o Gaussian Splatting, a tecnologia está em sua “era da versão 1.0”. Capturar um Splat decente exige tempo e paciência e exige que o sujeito fique absolutamente imóvel, e o resultado nem sempre é perfeito, mas a tecnologia está evoluindo rápido o suficiente para que a próxima coisa já esteja surgindo. A vanguarda gaussiana é o Splatting 4D – a quarta dimensão é o tempo. 4D Splats são vídeos volumétricos 3D, cenas em movimento que você pode visualizar de qualquer ponto dentro ou fora da cena. Ao contrário dos filmes 3D estereoscópicos que permitem assistir a partir de um único ponto, estes são verdadeiros hologramas. Pelo menos eles estão dentro de um equipamento VR.
A tecnologia já está em uso comercialmente, principalmente no videoclipe “Helicopter” de A$AP Rocky, no qual os artistas foram capturados por 56 câmeras e as imagens convertidas para Splats 4D, permitindo a utilização de qualquer ângulo ou movimento de câmera impossível. Confira:
E há alguns Splats 4D que você também pode conferir no seu fone de ouvido. O aplicativo Quest 3 Gracia tem alguns vídeos volumétricos que são muito impressionantes. Gracia permite transmitir ou baixar Splats 4D de pessoas e colocá-los em qualquer lugar que desejar em realidade aumentada. Então você pode clicar em “play” e observá-los de qualquer ângulo, ou até mesmo se mover ao redor deles. Para entender o que quero dizer, confira este vídeo que fiz mostrando minha visão de dentro de um fone de ouvido Quest 3, da cantora Amy May cantando uma música no meu gramado (com uma participação especial do meu vizinho sem dúvida confuso).
Você provavelmente não tem um conjunto de cerca de 20 GoPros para criar conteúdo como o de Gracia, mas existem algumas ferramentas experimentais disponíveis para os consumidores criarem Splats 4D. O KIRI Engine usa a ferramenta ML-Sharp de código aberto da Apple para transformar um vídeo padrão de lente única em um splat 4D. Ele não cria uma aproximação de 3D estereoscópico auxiliada por IA como o Splat Studio, mas converte cada quadro individual em um Splat separado. É muito técnico para eu realmente mexer e o 3D é uma suposição, não o 3D real, mas eu ficaria surpreso se uma maneira de gravar vídeo volumétrico com apenas alguns ângulos de smartphone não estivesse em desenvolvimento em algum lugar.
Os Gaussian Splats são uma revelação tão grande quanto imagino que os instantâneos de desenvolvimento instantâneo foram na década de 1960. Como as primeiras Polaroids, é um pouco chato e os resultados às vezes são granulados, “sonhadores” e lembram o pontilhismo, mas o impacto emocional de uma nova maneira de ver o passado é muito forte. Então comece a Splatting agora; seu eu futuro agradecerá.
