A IA Gemini do Google está sendo examinada depois que um cientista encontrou uma nova manipulação chamada ataque de “contrabando ASCII”, e o titã da tecnologia deixou claro que não está pronto para consertá-la.
O cientista de segurança cibernética Viktor Markopoulos, da FireTail, revelou inicialmente o problema. Isso envolve personalidades surpresas em mensagens que Gêmeos analisa como comandos, embora as pessoas não possam vê-los (usando o BleepingComputer). Essas direções indetectáveis podem alterar a forma como o design atua, fazendo com que ele execute coisas que o cliente não planejou. O ataque é difícil de detectar porque utiliza personalidades de controle ou ícones Unicode que aparecem na tela, mas ainda são verificados pela IA.
Markopoulos mostrou que essa suscetibilidade pode ser transformada em arma com entradas simples baseadas em texto, como boas-vindas agendadas ou e-mails. Por exemplo, um e-mail que parece completamente seguro pode incluir instruções surpresa, fazendo com que Gêmeos entenda mal ou revise as informações ao resumir ou comunicar a manutenção daquela mensagem. Em seus testes, Gêmeos pode ser persuadido a transformar informações de conferências ou criar resultados enganosos, tudo desencadeado por personalidades que um ser humano também não saberia que existiam.
O que é muito mais preocupante é que quando o mesmo ataque foi avaliado em comparação com vários outros sistemas de IA importantes, como ChatGPT da OpenAI, Claude da Anthropic e Copilot da Microsoft, essas versões esterilizaram ou recusaram as entradas surpresa. A Gemini, no entanto, assim como a Grok de Elon Musk e a DeepSeek da China, pararam de trabalhar para obstruí-los.
. Pontuação de crédito: Viktor Markopoulos/Firetail.
. O Google desconsidera a manipulação como design social.
Apesar dos claros efeitos de proteção, o Google decidiu não resolver o problema. Em reação ao histórico da FireTail, a empresa categorizou o contrabando ASCII como um problema de “design social” em oposição a uma suscetibilidade tecnológica. Em termos menos complexos, o Google recomenda que o problema ocorra devido ao engano de indivíduos, e não a um problema no layout do design.
Pontuação de crédito: Viktor Markopoulos/Firetail.
A escolha do Google pode preocupar algumas pessoas. Como o Gemini funciona cuidadosamente com sistemas de e-mail, organização e registro, existe o risco de que ele possa divulgar informações secretas ou ajudar a espalhar informações falsas nas redes corporativas. O Google afirma que esse ataque não é um problema de sistema, mas outros podem vê-lo como uma lacuna na forma como a IA analisa as mensagens em comparação com os seres humanos. Os oponentes frequentemente manipulam esse tipo de distinção.
Por outro lado, o Google cobriu várias outras vulnerabilidades relacionadas ao Gemini este ano, incluindo problemas em registros, recapitulações de pesquisa e antecedentes de pesquisa conhecidos como “Gemini Trifecta”.
.
Fuente
