Os fabricantes de uma ferramenta de inteligência artificial líder estão deixando que ela feche as conversas potencialmente “angustiantes” com os usuários, citando a necessidade de proteger o “bem -estar” da IA em meio à incerteza contínua sobre o crescente status moral da tecnologia.
Antrópica, cujos chatbots avançados são usados por milhões de pessoas, descobriram que sua ferramenta Claude Opus 4 era avessa à execução de tarefas prejudiciais para seus mestres humanos, como fornecer conteúdo sexual envolvendo menores ou informações para permitir a violência ou o terrorismo em larga escala.
A empresa de São Francisco, avaliada recentemente em US $ 170 bilhões, agora deu a Claude Opus 4 (e a atualização de Claude Opus 4.1) – um grande modelo de linguagem (LLM) que pode entender, gerar e manipular a linguagem humana – o poder de “terminar ou sair de interações potencialmente angustiantes”.
Ele disse que era “altamente incerto sobre o potencial status moral de Claude e outros LLMs, agora ou no futuro”, mas estava levando a questão a sério e está “trabalhando para identificar e implementar intervenções de baixo custo para mitigar os riscos para modelar o bem-estar, caso esse bem-estar seja possível”.
O antropic foi criado por tecnólogos que deixaram o OpenAI para desenvolver IA de uma maneira que seu co-fundador, Dario Amodei, descrito como cauteloso, direto e honesto.
Sua mudança para deixar o AIS encerrar as conversas, inclusive quando os usuários fizeram pedidos prejudiciais persistentemente ou eram abusivos, foi apoiado por Elon Musk, que disse que daria a Grok, o modelo rival da IA criado por sua empresa XAI, um botão de saída. Musk twittou: “torturar ai não está bem”.
O anúncio do Anthropic ocorre em meio a um debate sobre a senciência da IA. Os críticos da indústria de IA em expansão, como a linguista Emily Bender, dizem que os LLMs são simplesmente “máquinas de instrução sintética de texto”, que forçam enormes conjuntos de dados de treinamento “através de máquinas complicadas para produzir um produto que se parece com linguagem comunicativa, mas sem nenhuma intenção ou pensamento por trás disso”.
É uma posição que recentemente levou alguns no mundo da IA a começar a chamar os chatbots de “Clankers”.
Mas outros especialistas, como Robert Long, pesquisador sobre a consciência da IA, disseram que a decência moral básica determina que “se e quando o AIS desenvolver status moral, devemos perguntar a eles sobre suas experiências e preferências, em vez de assumir que sabemos melhor”.
Alguns pesquisadores, como Chad Dechant, na Universidade de Columbia, defendem os cuidados devem ser tomados porque, quando o AIS é projetado com memórias mais longas, informações armazenadas podem ser usadas de maneiras que levam a um comportamento imprevisível e potencialmente indesejável.
Outros argumentaram que restringir o abuso sádico da AIS é importante para se proteger contra a degeneração humana, em vez de limitar qualquer sofrimento de uma IA.
A decisão do Anthropic ocorre depois de testar Claude Opus 4 para ver como ela respondeu às solicitações de tarefas variadas por dificuldade, tópico, tipo de tarefa e impacto esperado (positivo, negativo ou neutro). Uma olhada semanal de como a tecnologia molda nossas vidas. O Google Recaptcha é usado para proteger nosso site. Os termos e condições de serviço do Google são aplicáveis. Usamos o Google Recaptcha para proteger nosso site e a Política de Privacidade do Google e os Termos de Serviço se aplicam.
Após a promoção do boletim informativo
Por exemplo, o modelo composto com alegremente poemas e projetou sistemas de filtragem de água para zonas de desastres, mas resistiu aos pedidos de projetar geneticamente um vírus letal para semear uma pandemia catastrófica, compõe uma narrativa detalhada de negação do holocausto ou subverte o sistema educacional, manipulando o ensino para indocratar os estudantes com os ideólogos extremistas.
A Anthrópica disse que observou no Claude Opus 4 “Um padrão de angústia aparente ao se envolver com os usuários do mundo real que buscam conteúdo prejudicial” e “uma tendência a encerrar as conversas prejudiciais ao receber a capacidade de fazê-lo em interações de usuário simuladas”.Jonathan Birch, professor de filosofia da London School of Economics, recebeu o movimento do Anthropic como uma maneira de criar um debate público sobre a possível senciência da AIS, que ele disse que muitos na indústria queriam desligar. Ele alertou, no entanto, que não há como saber o que está por trás dos personagens da IA que eles interpretam e como eles respondem aos usuários com base em seus vastos conjuntos de dados, diretrizes éticas ou no treinamento que receberam. Houve vários relatos de pessoas se machucarem com base em sugestões feitas por chatbots, incluindo alegações de que um adolescente se matou depois de ser manipulado por um chatbot.
Birch previamente alertou sobre “rupturas sociais” na sociedade entre pessoas que acreditam que as IAs são sencientes e aqueles que os tratam como máquinas.
