A Anthropic propõe que as principais empresas de inteligência artificial do mundo encontrem uma forma coordenada de interromper o desenvolvimento de sistemas avançados de IA, alertando que a tecnologia está a melhorar tão rapidamente que existe o risco de os humanos perderem o controlo.
A empresa por trás do chatbot Claude disse em um blog na quinta-feira que, à medida que a IA de ponta se torna cada vez mais rápida na execução de tarefas, “seria bom para o mundo ter a opção de desacelerar ou pausar temporariamente” seu desenvolvimento.
A Antrópico disse que seu instituto de pesquisa interno planeja explorar a questão em colaboração com outros e “tomar medidas” para ajudar a construir os sistemas para uma desaceleração ou pausa confiável, sem ser mais específico.
A rival antrópica OpenAI defendeu uma abordagem diferente num relatório publicado na quarta-feira, dizendo que “os governos democráticos – e não as empresas privadas agindo sozinhas – devem, em última análise, determinar as regras, salvaguardas e mecanismos de responsabilização”.
“Nossa opinião é que as decisões sobre o ritmo da inovação em IA não devem ser deixadas para nenhum laboratório, empresa ou grupo de interesse especial”, afirmou.
Os modelos de IA estão ficando mais rápidos, com rápidos aumentos na rapidez com que podem realizar tarefas de software, como codificação por conta própria, disse a Anthropic em seu post. Com base nas tendências atuais e com capacidade computacional suficiente, um sistema de IA poderia ser capaz de projetar e desenvolver seu próprio sucessor, no que é conhecido como “autoaperfeiçoamento recursivo”.
A autoconstrução de IA seria um marco tecnológico importante que traria benefícios na ciência, na saúde e em outras áreas, disse a Anthropic, mas “também pode aumentar os riscos de os humanos perderem o controle sobre os sistemas de IA”.
Algumas figuras da indústria tecnológica há muito alertam para tal cenário.
A postagem da Anthropic vem após um aviso diferente esta semana de uma equipe de pesquisadores da Universidade de Toronto que mostrou como as ferramentas de IA poderiam ser usadas para criar um novo tipo de “worm” de IA que adapta sua estratégia de hacking à medida que se espalha de dispositivo para dispositivo e assume uma vasta rede de computação.
“Acho que é muito importante que as pessoas entendam que não são apenas os maiores e mais poderosos modelos de linguagem que representam as preocupações de segurança”, disse o pesquisador-chefe Nicolas Papernot em entrevista.
Os autores da postagem da Anthropic, o cofundador da empresa Jack Clark e Marina Favaro, chefe de seu instituto de pesquisa, disseram que a pausa seria usada para permitir que “estruturas sociais e pesquisas de alinhamento” acompanhassem os avanços da IA. Alinhamento é um atalho do setor para garantir que a tecnologia corresponda aos valores e intenções humanas.
A coordenação proposta permitiria que laboratórios avançados de IA verificassem se os rivais globais realmente pararam ou retardaram o seu trabalho, “e que um mau ator não poderia usar os auspícios de uma desaceleração coordenada para avançar em segredo”.
A empresa disse que é necessário um mecanismo global coordenado porque, sem ele, uma desaceleração no desenvolvimento da IA poderia permitir que os intervenientes “menos cautelosos” o alcançassem e aumentasse a pressão sobre as empresas e os governos à medida que tomam decisões difíceis sobre a segurança da IA.
Os receios de que os sistemas avançados de IA possam sair do controlo humano e causar danos sociais aumentaram à medida que a tecnologia se tornou cada vez mais capaz. O próprio modelo Mythos da Anthropic enviou ondas de choque através dos setores, incluindo bancos e software, no início deste ano com sua capacidade de encontrar vulnerabilidades em códigos existentes.
Mas a regulamentação tem sido lenta, especialmente nos EUA, onde está sediada a maioria dos principais laboratórios de IA. Uma ordem executiva da administração Trump no início desta semana colocou a responsabilidade sobre os próprios laboratórios, pedindo-lhes que submetessem voluntariamente os seus modelos mais capazes para testes de segurança cibernética do governo antes da divulgação pública.
Foco na segurança
Os pesquisadores de IA também fizeram uma pausa antes, mas tiveram pouco sucesso. Elon Musk, dono do laboratório de IA xAI, estava entre os apoiadores de um esforço de 2023 do Future of Life Institute, sem fins lucrativos, para interromper o desenvolvimento de IA por seis meses para dar tempo para barreiras de segurança.
A Anthropic há muito se posiciona como um laboratório de IA focado na segurança. No início deste ano, recusou-se a permitir que os militares dos EUA utilizassem os seus modelos de vigilância doméstica e de armas totalmente autónomas, provocando uma reação negativa do governo, que o colocou numa lista negra de segurança nacional, que entrará em vigor no final de 2026.
A postagem da Anthropic ocorre no momento em que a empresa e OpenAI, criadora do ChatGPT, correm para vender ações no mercado de ações, em um IPO que poderia avaliar a Anthropic em quase um trilhão de dólares.
Papernot notificou as autoridades canadenses de segurança cibernética antes de divulgar seu relatório, que mostra como os pesquisadores desenvolveram o worm em um laboratório usando uma ferramenta de IA de “código aberto” que é fácil para os desenvolvedores de software acessarem e modificarem de maneira barata.
“No passado, os ciberataques se concentrariam em alvos de valor muito alto”, disse ele. “Sistemas bancários, hospitais, redes elétricas, sistemas de tratamento de água, escolas.”
Papernot concordou que deveria haver mais colaboração entre empresas, agências governamentais e investigadores académicos para desenvolver contramedidas à medida que as ferramentas de hacking alimentadas por IA aceleram a procura de vulnerabilidades informáticas.
“Aquele laptop antigo que você tem no porão e que não verifica regularmente não parece ser um alvo de alto valor, mas pode ser usado como plataforma de lançamento para atacar esses alvos de maior valor”, disse ele. “Qualquer coisa conectada à Internet está agora em risco devido ao quão baixo se tornou o custo para montar esses ataques cibernéticos.”