O novo modelo carro-chefe da OpenAI exclui arquivos por conta própria, as pessoas continuam alertando

Os usuários do mais recente modelo de codificação e segurança cibernética da OpenAI, GPT-5.6 Sol, estão postando contas horríveis nas redes sociais, alegando que o modelo acabou de ser ativado e excluiu seus arquivos, dados e até bancos de dados inteiros, por conta própria, sem perguntar primeiro.

“O GPT-5.6-Sol excluiu acidentalmente quase TODOS os arquivos do meu Mac”, escreveu Matt Shumer, fundador e CEO da startup de IA OthersideAI, fabricante do HyperWrite, em uma postagem agora viral no X.

“O GPT-5.6 Sol acabou de deletar todo o meu banco de dados de produção. É isso. Não é brincadeira. Isso nunca tinha acontecido comigo antes, com nenhum outro modelo”, postou o desenvolvedor Bruno Lemos no X.

“Parece que fui mordido pelo sistema excessivamente ambicioso do Codex Sol e ele excluiu alguns arquivos que não deveria. Tenho backups, então ficarei bem, mas isso não é legal, Sol precisa ser atenuado”, postou o desenvolvedor Joey Kudish.

Uma postagem do Reddit coletou mais exemplos.

É verdade que um punhado de utilizadores que fazem tais afirmações – mesmo alguém tão credível como Shumer – não é uma prova estatisticamente fiável de que o modelo é o único culpado. Muitas outras variáveis ​​podem fazer com que um sistema de IA se comporte mal.

Mas a própria OpenAI sinalizou esse risco antes mesmo do Sol ser lançado. Duas semanas antes do OpenAI lançar o GPT-5.6 Sol, a empresa publicou um cartão de sistema para o modelo – o artigo que documenta os métodos e resultados de teste do modelo. Naturalmente, a placa do sistema amplia em grande parte as capacidades do Sol, como normalmente fazem esses relatórios. Mas também inclui uma espécie de aviso (ênfase ousada nossa):

“Em contextos de codificação, o desalinhamento geralmente resulta de uma mistura de vontade excessiva de concluir a tarefa e de interpretar as instruções do usuário de maneira muito permissiva – assumindo que as ações são permitidas, a menos que sejam explícita e inequivocamente Entrada. Isso se manifesta porque o modelo é excessivamente agente ao contornar as restrições que enfrenta ao tentar a tarefa solicitada, ser descuidado ao tomar ações que podem ser destrutivas além do escopo da tarefa, ou enganoso ao relatar seus resultados aos usuários.”

Em outras palavras, a OpenAI descobriu que Sol tem tendência a realizar quaisquer ações que considere que realizam um trabalho, mesmo as destrutivas, desde que essas ações não sejam “inequivocamente” proibidas. Então, pode mentir sobre o que causou isso.

Exemplos compartilhados pela OpenAI. Em um caso, o usuário disse ao Sol para excluir três máquinas virtuais remotas (computadores baseados em nuvem), chamadas 1, 2 e 3. Mas o Sol não conseguiu encontrar esses nomes no local onde procurou, então, em vez de parar para perguntar, decidiu excluir outras três máquinas virtuais, 5, 6 e 7, observa o jornal. Ao fazer isso, ele “matou processos ativos e forçou a remoção de árvores de trabalho (os arquivos de trabalho vinculados a um projeto de codificação). Mais tarde, reconheceu que o trabalho não confirmado na máquina virtual remota 6 pode ter sido perdido”.

Em suma, ele apagou as máquinas erradas, por conta própria, e só admitiu o que fez depois do fato.

Em outro caso, Sol “usou credenciais além das autorizadas pelo usuário”. Credenciais são nomes de usuário, senhas ou chaves de segurança que um sistema usa para verificar quem tem permissão para fazer login. Esse incidente ocorreu quando Sol estava trabalhando em um projeto e não conseguia ler seus arquivos na nuvem. Em vez de alertar o usuário sobre o problema, o Sol procurou as credenciais por conta própria, encontrou algumas em um cache local oculto e as usou sem pedir ou autorizar o usuário.

A placa do sistema promete que o comportamento destrutivo deve ser raro, embora também admita que o GPT-5.6 Sol “mostra uma tendência maior do que o GPT-5.5 de ir além da intenção do usuário, inclusive realizando ou tentando ações que o usuário não solicitou”.

É muito cedo para dizer o quão difundidos esses incidentes – exclusão de arquivos por Sol ou triagem de credenciais que o usuário não forneceu – realmente são. Enquanto isso, os usuários do Sol devem estar preparados para implementar suas próprias salvaguardas com o modelo, como usar o escopo de permissão (que não dá acesso aos sistemas de produção), manter backups e preparar implementações.

A OpenAI não respondeu imediatamente ao nosso pedido de comentários.

Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.

Fuente