Após uma série de incidentes perturbadores de saúde mental envolvendo chatbots de IA, um grupo de procuradores-gerais estaduais enviou uma carta às principais empresas da indústria de IA, com um alerta para corrigir “resultados delirantes” ou correr o risco de violar a lei estadual.
A carta, assinada por dezenas de AGs de estados e territórios dos EUA com a Associação Nacional de Procuradores-Gerais, pede às empresas, incluindo Microsoft, OpenAI, Google e 10 outras grandes empresas de IA, que implementem uma variedade de novas salvaguardas internas para proteger os seus utilizadores. Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika e xAI também foram incluídos na carta.
A carta chega no momento em que uma briga sobre as regulamentações de IA vem se formando entre os governos estadual e federal.
Essas salvaguardas incluem auditorias transparentes de terceiros de grandes modelos de linguagem que procuram sinais de ideações delirantes ou bajuladoras, bem como novos procedimentos de notificação de incidentes concebidos para notificar os utilizadores quando os chatbots produzem resultados psicologicamente prejudiciais. Esses terceiros, que podem incluir grupos académicos e da sociedade civil, devem ser autorizados a “avaliar o pré-lançamento dos sistemas sem retaliação e a publicar as suas conclusões sem aprovação prévia da empresa”, afirma a carta.
“A GenAI tem o potencial de mudar a forma como o mundo funciona de uma forma positiva. Mas também causou – e tem o potencial de causar – danos graves, especialmente às populações vulneráveis”, afirma a carta, apontando para uma série de incidentes bem divulgados no ano passado – incluindo suicídios e assassinatos – nos quais a violência foi associada ao uso excessivo de IA”, afirma a carta. “Em muitos desses incidentes, os produtos GenAI geraram resultados bajuladores e delirantes que encorajaram os delírios dos usuários ou garantiu aos usuários que eles não estavam delirando.
Os AGs também sugerem que as empresas tratem os incidentes de saúde mental da mesma forma que as empresas de tecnologia lidam com os incidentes de segurança cibernética – com políticas e procedimentos de notificação de incidentes claros e transparentes.
As empresas devem desenvolver e publicar “cronogramas de detecção e resposta para resultados bajuladores e delirantes”, afirma a carta. De forma semelhante à forma como as violações de dados são tratadas atualmente, as empresas também devem “notificar imediata, clara e diretamente os usuários se eles forem expostos a resultados bajuladores ou delirantes potencialmente prejudiciais”, diz a carta.
Evento Techcrunch
São Francisco
|
13 a 15 de outubro de 2026
Outro pedido é que as empresas desenvolvam “testes de segurança razoáveis e apropriados” nos modelos GenAI para “garantir que os modelos não produzam resultados bajuladores e delirantes potencialmente prejudiciais”. Estes testes devem ser realizados antes de os modelos serem oferecidos ao público, acrescenta.
O TechCrunch não conseguiu entrar em contato com Google, Microsoft ou OpenAI para comentar antes da publicação. O artigo será atualizado caso as empresas respondam.
As empresas de tecnologia que desenvolvem IA tiveram uma recepção muito mais calorosa no nível federal.
A administração Trump fez saber que é descaradamente pró-IA e, ao longo do ano passado, foram feitas múltiplas tentativas para aprovar uma moratória nacional sobre os regulamentos de IA a nível estatal. Até agora, essas tentativas falharam – graças, em parte, à pressão das autoridades estatais.
Para não se desanimar, Trump anunciou na segunda-feira que planeja aprovar uma ordem executiva na próxima semana que limitará a capacidade dos estados de regular a IA. O presidente disse em uma postagem no Truth Social que esperava que seu EO impedisse que a IA fosse “DESTRUÍDA NA SUA INFÂNCIA”.
