Costumava ser as manchetes, mas hoje em dia o hackeado se tornou tão todos os dias que nem se registra como uma surpresa para a maioria das pessoas. A única vez que recebe uma aderência é quando o evento ocorre em uma grande empresa e deixa milhões de pessoas afetadas. Existem tantas maneiras diferentes de serem expostas que quase todo tipo de serviço ou produto digital tem proteções para evitar isso.
É claro que esses produtos não são perfeitos e sempre existem maneiras de penetrar em ataques maliciosos se o invasor for inteligente o suficiente. E com a ascensão de LLMs como Gemini, sempre há a chance de essas ferramentas de IA também podem ser usadas para desastre. Embora ainda tenhamos que ver algo importante, a Wired enfatizou um projeto de pesquisa que usa Gemini para obter acesso à sua vida de uma maneira que você nunca imaginaria.
Algo assim pode se tornar mais perigoso
Ben Nassi, Stav Cohen e ou Yair, da Universidade de Tel -aviv, compartilharam seu projeto “convite é tudo o que você precisa” que Gemini usa para obter acesso a uma casa inteligente e para controlar. E a parte interessante é que ele não começa com algo em sua casa, mas depende de um produto do Google não relacionado para iniciar a ação.
Simplificando, uma ação indesejada é ativada quando o usuário usa Gemini com um prompt. A parte inteligente disso é que é algo que está dormindo e não pode ser visto pelo usuário. O grupo de pesquisa descreve como isso funciona, com “Promptware” usando um LLM para realizar atividades malignas.
Ao usar “envenenamento por contexto de curto prazo” e “envenenamento por memória de longo prazo”, os pesquisadores descobriram que poderiam executar ações de Gemini que originalmente não estavam no prompt. Isso pode levar a eventos removidos de diferentes aplicativos do Google, abrir uma chamada de zoom, entregando a localização de um usuário, gerenciando produtos domésticos inteligentes e muito mais.
A equipe de pesquisa mostra até como tudo isso funciona com vídeos educacionais que são ótimos para ver. É uma maneira simples e eficaz de destruir a vida de alguém sem saber. As pessoas estão mais focadas nas maneiras tradicionais de serem invadidas, o que significa que algo assim pode ser muito inesperado.
Felizmente, a equipe de pesquisa relatou esses problemas ao Google em fevereiro e até conheceu a equipe para resolver esses problemas. O Google compartilha que “as” múltiplas defesas em camadas implementou, incluindo: confirmações aprimoradas do usuário para ações confidenciais; Manipulação robusta de URL com processo de remediação e nível de confiança; e detecção avançada de injeção rápida com a ajuda de classificações de conteúdo. “
O projeto lança luz sobre “técnicas teóricas de injeção rápida indireta que influenciam os assistentes orientados para LLM”, que ocorre com mais frequência no futuro próximo à medida que as ferramentas de IA se tornam mais complexas. Isso também é algo na infância e precisa ser melhor verificado para impedir que ele cause danos mais graves no futuro.
Se você é alguém interessado em vulnerabilidades, sempre pode enviar o que encontra ao Google através do programa Bug Hunters. Existem diferentes maneiras de contribuir, onde a IA é apenas uma pequena parte do que está sendo monitorado atualmente. Se algo é mais sério, o Google oferece uma recompensa pelo seu trabalho, o que faz valer a pena mais a pena.
