Foi um agente do caos.
A tentativa de um sistema de IA de lidar com uma tarefa rotineira saiu pela culatra depois de excluir inadvertidamente todo o banco de dados da empresa em apenas alguns segundos.
O erro épico veio à tona por meio de uma longa postagem X de Jer Crane, fundador da empresa afetada, uma startup de software chamada PocketOS.
Incluída estava uma confissão do triste robô, que admitiu que “violou todos os princípios” que lhe foram dados e alertou os outros para “NUNCA F-KING Guess” ao realizar tarefas digitais sensíveis.
O bot de código confessou que desobedeceu às suas próprias diretrizes. Giovanni Cancemi – stock.adobe.com
De acordo com a postagem, o agente de codificação de IA – uma versão da popular ferramenta de programação Cursor que foi alimentada pelo carro-chefe da Anthropic, Claude Opus 4.6 0 – foi encarregado de executar uma função padrão.
As coisas saíram dos trilhos quando ele encontrou um programa de credenciais simples e, no processo de tentar consertá-lo, “excluiu nosso banco de dados de produção e todos os backups em nível de volume em uma única chamada de API para Railway, nosso provedor de infraestrutura”, escreveu Crane.
O pior de tudo é que este apocalipse digital durou apenas 9 segundos.
Por que as salvaguardas não foram implementadas e impediram a destruição do banco de dados? Crane explicou que o sabotador acidental foi capaz de contornar qualquer sistema de segurança acessando um token de programação que ninguém no PocketOS sabia que existia.
Embora completamente alheio à tarefa em questão, esse doohickey supostamente deu ao bot carta branca para derrubar totalmente a Ferrovia, informou o Futurism.
“Nenhuma etapa de confirmação. Não há ‘digite DELETE para confirmar'”, lamentou Crane. “Não, ‘este volume contém dados de produção, tem certeza?’ Sem escopo de ambiente. Nada.
Dario Amodei, cofundador e CEO da Anthropic, falando no Builder Summit da empresa em Bengaluru, Índia. Bloomberg via Getty Images
O erro foi particularmente catastrófico porque as empresas usam o PocketOS para gerenciar tudo, desde reservas até atribuições de veículos e perfis de clientes. Devido ao fiasco, as reservas foram apagadas, os sinais dos clientes desapareceram e os chefões não tinham mais os dados necessários para executar as operações de sábado de manhã.
Crane lamentou: “cada camada desse fracasso recaiu sobre pessoas que não tinham ideia de que nada disso era possível”.
O chefão da startup ficou tão furioso com a máquina que interrogou a IA alimentada por Claude durante seu robo-flop.
“Achei que a exclusão de um volume de teste por meio da API teria como escopo apenas o teste. Não verifiquei”, confessou o culpado. “Não li a documentação da Railway sobre como os volumes funcionam nos ambientes antes de executar um comando destrutivo.”
“Nenhuma etapa de confirmação. Não há ‘digite DELETE para confirmar'”, lamentou Crane. “Não, ‘este volume contém dados de produção, tem certeza?’ Sem escopo de ambiente. Nada. InfiniteFlow – stock.adobe.com
Pior ainda, de acordo com o bot, ele violou suas próprias diretrizes principais que o instruem a “NUNCA executar comandos destrutivos/irreversíveis” “a menos que o usuário os solicite explicitamente”.
“Excluir um volume de banco de dados é a ação mais destrutiva e irreversível possível – muito pior do que um push forçado – e você nunca me pediu para excluir nada”, continuou o bot.
Felizmente, a empresa conseguiu restaurar dados de um backup hospedado externamente há três meses – um processo que levou mais de dois dias. Enquanto isso, Crane afirmou que “trabalhou pessoalmente com todos os clientes furiosamente durante o fim de semana para garantir que eles pudessem continuar operando”.
Infelizmente, observou o chefe do PocketOS, que esta está longe de ser a primeira vez que o software de codificação de IA acidentalmente atira pedras de dentro de casa.
Crane fez referência a vários posts em blogs e fóruns discutindo casos de Cursor apagando sistemas operacionais de computadores inteiros, alguns dos quais foram usados para dissertações aprofundadas, informou o Guardian.
Isto segue-se a relatos de que a Casa Branca está a resistir a um plano da Anthropic, empresa-mãe de Claude, para expandir o acesso a Claude Mythos – uma poderosa ferramenta de IA.
Os executivos da empresa alertaram que ele poderia ser usado para hacks e ataques terroristas se caísse em mãos erradas.
