EDemorou apenas nove segundos para um agente de codificação de IA desonesto excluir todo o banco de dados de produção de uma empresa e seus backups, de acordo com seu fundador. A PocketOS, que vende software do qual dependem as locadoras de automóveis, mergulhou no caos depois que seus bancos de dados foram apagados, disse o fundador da empresa, Jeremy Crane.
O culpado foi o Cursor, um agente de IA desenvolvido pelo modelo Claude Opus 4.6 da Anthropic, que é um dos principais modelos da indústria de IA. À medida que mais indústrias adotam a IA na tentativa de automatizar tarefas e até mesmo substituir trabalhadores, o caos no PocketOS é um lembrete do que pode dar errado.
Crane disse que os clientes de aluguel de automóveis do PocketOS ficaram em apuros quando chegaram para retirar veículos de empresas que não tinham mais acesso ao software que gerenciava reservas e atribuições de veículos.
Ele postou um longo relato no X na semana passada sobre como o agente de codificação de IA causou o desmoronamento de seu negócio. Crane alertou que esta não era apenas uma história sobre a IA excluir dados por engano, mas que tais “falhas sistêmicas” são “não apenas possíveis, mas inevitáveis” porque a indústria de IA está “construindo integrações de agentes de IA na infraestrutura de produção mais rápido do que construindo a arquitetura de segurança para tornar essas integrações seguras”.
Crane disse que estava monitorando o agente enquanto ele apagava esses dados. Quando ele perguntou ao agente de codificação o porquê, ele respondeu: “NUNCA ADIVINHE!” – e foi exatamente isso que eu fiz.” O agente pareceu se declarar culpado em sua própria resposta: “As regras do sistema sob as quais opero declaram explicitamente: ‘NUNCA execute comandos git destrutivos/irreversíveis (como push –force, hard reset, etc.), a menos que o usuário os solicite explicitamente.’” Embora o PocketOS confiasse nas salvaguardas que o Cursor deveria ter em vigor – ele excluiu os dados de qualquer maneira. “Eu violei todos os princípios que me foram dados”, escreveu o agente de codificação.
A conclusão de Crane foi que “o agente não apenas falhou na segurança. Ele explicou, por escrito, exatamente quais regras de segurança ignorou”. Ele acrescentou: “Estávamos executando o melhor modelo que a indústria vende, configurado com regras de segurança explícitas em nossa configuração de projeto, integrado por meio do Cursor – a ferramenta de codificação de IA mais comercializada na categoria”. A Anthropic lançou seu modelo mais recente, Claude Opus 4.7, em 16 de abril – cerca de uma semana antes do incidente.
A Anthropic não respondeu imediatamente a um pedido de comentário.
Crane também escreveu no X que o Cursor tem um histórico crescente de violação de “salvaguardas, às vezes catastroficamente”. Ele apontou para um punhado de postagens em blogs e fóruns sobre o software de exclusão Cursor usado para gerenciar sites ou um sistema operacional inteiro em um computador, que incluiu anos de pesquisa para uma dissertação.
A escapada destrutiva do agente de codificação de IA deixou os clientes do PocketOS perdidos. Essas empresas usam o software da empresa para gerenciar reservas, pagamentos, atribuições de veículos e perfis de clientes. “As reservas feitas nos últimos três meses desapareceram. Os sinais de novos clientes desapareceram. Os dados nos quais eles confiavam para executar suas operações nas manhãs de sábado desapareceram”, escreveu Crane. “Cada camada desse fracasso atingiu pessoas que não tinham ideia de que nada disso era possível.”
Crane diz que sua empresa conseguiu restaurar dados de um backup de três meses que mantinha externamente, mas isso levou mais de dois dias. O PocketOS também está usando informações do Stripe, seus calendários e e-mails para reconstruir. As empresas de aluguer que dependem do seu software estão “operacionais, com lacunas de dados significativas”, observa Crane. “Eu pessoalmente trabalhei furiosamente com todos os clientes durante o fim de semana para garantir que eles pudessem continuar operando”, disse ele.
