A riqueza de informações fornecidas por nossos sentidos que permite ao nosso cérebro navegar no mundo ao nosso redor é notável. Cabe a isso, cheiro, audição e um forte senso de equilíbrio são essenciais para fazê -lo através do que para nós parecem ambientes fáceis como uma excursão relaxante em uma manhã de fim de semana.
Uma compreensão inata do dossel nos ajuda a entender onde o caminho leva. O tiro forte dos galhos ou o travesseiro de musgo macio nos informa sobre a estabilidade do nosso pé. O trovão de uma árvore que cai ou dos galhos que dançam em ventos fortes nos faz conhecer os perigos potenciais nas proximidades.
Os robôs, pelo contrário, têm apenas muito baseados em informações visuais, como câmeras ou lidar, para se mover pelo mundo. Fora de Hollywood, a navegação multissensorial permanece exigente para máquinas. A floresta, com seu belo caos de densa vegetação rasteira, troncos caídos e solo em constante evolução, é um labirinto de incerteza para os robôs tradicionais.
Agora, os pesquisadores da Duke University desenvolveram uma nova estrutura chamada Wildfusion, que mescla visão, vibração e toque para permitir que os robôs “detectassem” ambientes externos complexos como os humanos. O trabalho foi aceito recentemente na Conferência Internacional do IEEE sobre robótica e automação (ICRA 2025), que será realizada de 19 a 23 de maio de 2025 em Atlanta, Geórgia.
“O Wildfusion abre um novo capítulo em navegação robótica e mapeamento em 3D”, disse Boyuan Chen, professor assistente da família de engenharia e materiais mecânicos de Dickinson, engenharia elétrica e de computadores e TI na Universidade de Duke. “Ajuda os robôs a operar de maneira mais segura em ambientes não estruturados e imprevisíveis, como florestas, desastres e áreas terrestres fora da estrada”.
“Os robôs típicos são fortemente baseados apenas na visão ou no LIDAR, que muitas vezes vacilam sem caminhos claros ou pontos de referência previsíveis”, acrescentou Yanbaihui Liu, o autor principal e um doutorado em pesquisa do segundo ano. Aluno no laboratório de Chen. “Mesmo os métodos avançados de mapeamento 3D lutam para reconstruir um mapa contínuo quando os dados do sensor são escassos, barulhentos ou incompletos, o que é um problema frequente em ambientes externos não estruturados. É exatamente o desafio que o Wildfusion foi projetado para resolver”.
O Wildfusion, construído em um robô quadrupino, integra vários modos de detecção, incluindo uma câmera RGB, LiDAR, sensores inerciais e, em particular, em contato com microfones e sensores táteis. Como nas abordagens tradicionais, a câmera e a geometria de captura do LIDAR, a cor, a distância e outros detalhes visuais do ambiente. O que torna o Fusion Special é o uso de vibrações acústicas e toques.
Enquanto o robô caminha, os microfones de contato registram as vibrações exclusivas geradas por cada passagem, capturando diferenças finas, como o rangido de folhas secas em comparação com o esmagamento macio da lama. Enquanto isso, os sensores táteis medem quanta força é aplicada a cada pé, ajudando a estabilidade do significado do robô ou do escorregadio em tempo real. Esses sentidos adicionais também são integrados pelo sensor inercial que coleta dados de aceleração para avaliar o quanto o robô vacila, lançando ou rolando enquanto atravessava um solo irregular.
Cada tipo de dados sensoriais é, portanto, processado por meio de codificadores especializados e derretidos em uma única representação rica. No centro da fusão está um modelo de aprendizado profundo, baseado na idéia de representações neurais implícitas. Diferentemente dos métodos tradicionais que lidam com o ambiente como uma coleção de pontos discretos, essa abordagem modela as superfícies e as características complexas continuamente, permitindo que o robô tomasse decisões mais inteligentes e intuitivas sobre onde pisar, mesmo quando sua visão é bloqueada ou ambígua.
“Pense em como resolver um quebra -cabeça no qual algumas peças estão faltando, mas você é capaz de imaginar intuitivamente a imagem completa”, explicou Chen. “A abordagem multimodal da Wildfusion permite que o robô” preencha os espaços vazios “quando os dados do sensor são escassos ou barulhentos, assim como o que os humanos fazem”.
O Wildfusion foi testado no Anero River State Park, na Carolina do Norte, perto do campus de Duke, ajudando com sucesso um robô a navegar em florestas, prados e densos caminhos de cascalho. “Olhar para o robô navegar, a terra foi incrivelmente gratificante com a confiança”, compartilhou Liu. “Esses testes do mundo real demonstraram a considerável capacidade da Wildfusion de prever cuidadosamente as encruzilhadas, melhorando significativamente o processo de tomada de decisão do robô em caminhos seguros através de terras exigentes”.
Olhando para o futuro, a equipe planeja expandir o sistema incorporando outros sensores, como detectores térmicos ou de umidade, para melhorar ainda mais a capacidade de um robô entender e se adaptar a ambientes complexos. Com seu design modular flexível, a Wildfusion fornece vastas aplicações em potencial, bem como caminhos florestais, incluindo a resposta a catástrofes em terras imprevisíveis, a inspeção de infraestruturas remotas e exploração autônoma.
“Um dos principais desafios para a robótica hoje é o desenvolvimento de sistemas que não apenas funcionam bem em laboratório, mas que trabalham de maneira confiável nos contextos do mundo real”, disse Chen. “Isso significa robôs que podem se adaptar, tomar decisões e continuar a se mover mesmo quando o mundo se desordenou”.
Esta pesquisa foi apoiada pelo DARPA (HR00112490419, HR00112490372) e pelo Laboratório de Pesquisa do Exército (W911NF2320182, W911NF2220113).
