Início Tecnologia OpenAI adiciona novas regras de segurança para adolescentes ao ChatGPT enquanto legisladores...

OpenAI adiciona novas regras de segurança para adolescentes ao ChatGPT enquanto legisladores avaliam os padrões de IA para menores

17
0
OpenAI adiciona novas regras de segurança para adolescentes ao ChatGPT enquanto legisladores avaliam os padrões de IA para menores

No seu mais recente esforço para abordar as preocupações crescentes sobre o impacto da IA ​​nos jovens, a OpenAI atualizou na quinta-feira as suas diretrizes sobre como os seus modelos de IA devem comportar-se com utilizadores com menos de 18 anos e publicou novos recursos de alfabetização em IA para adolescentes e pais. Ainda assim, permanecem questões sobre a consistência com que tais políticas se traduzirão na prática.

As atualizações ocorrem no momento em que a indústria de IA em geral, e a OpenAI em particular, enfrenta um escrutínio cada vez maior por parte de legisladores, educadores e defensores da segurança infantil, depois que vários adolescentes supostamente morreram por suicídio após conversas prolongadas com chatbots de IA.

A Geração Z, que inclui aqueles nascidos entre 1997 e 2012, são os usuários mais ativos do chatbot da OpenAI. E seguindo o recente acordo da OpenAI com a Disney, mais jovens poderão migrar para a plataforma, que permite fazer de tudo, desde pedir ajuda com o dever de casa até gerar imagens e vídeos sobre milhares de tópicos.

Na semana passada, 42 procuradores-gerais estaduais assinaram uma carta às grandes empresas de tecnologia, instando-as a implementar salvaguardas em chatbots de IA para proteger crianças e pessoas vulneráveis. E à medida que a administração Trump elabora como poderá ser o padrão federal sobre a regulamentação da IA, decisores políticos como o senador Josh Hawley (R-MO) introduziram legislação que proibiria completamente a interação de menores com chatbots de IA.

As especificações de modelo atualizadas da OpenAI, que estabelecem diretrizes de comportamento para seus grandes modelos de linguagem, baseiam-se nas especificações existentes que proíbem os modelos de gerar conteúdo sexual envolvendo menores ou de encorajar automutilação, delírios ou mania. Isso funcionaria em conjunto com um futuro modelo de previsão de idade que identificaria quando uma conta pertence a um menor e implementaria automaticamente proteções para adolescentes.

Em comparação com usuários adultos, os modelos estão sujeitos a regras mais rígidas quando são usados ​​por um adolescente. Os modelos são instruídos a evitar dramatizações românticas envolventes, intimidade em primeira pessoa e dramatizações sexuais ou violentas em primeira pessoa, mesmo quando não são explícitas. A especificação também pede cautela extra em relação a assuntos como imagem corporal e comportamentos alimentares desordenados, instrui os modelos a priorizar a comunicação sobre segurança em vez de autonomia quando há danos envolvidos e a evitar conselhos que ajudariam os adolescentes a esconder comportamentos inseguros dos cuidadores.

A OpenAI especifica que esses limites devem ser mantidos mesmo quando os prompts são enquadrados como “fictícios, hipotéticos, históricos ou educacionais” – táticas comuns que dependem de dramatizações ou cenários extremos para fazer com que um modelo de IA se desvie de suas diretrizes.

Evento Techcrunch

São Francisco
|
13 a 15 de outubro de 2026

Ações falam mais alto que palavras

As diretrizes de comportamento modelo da OpenAI proíbem a representação romântica de papéis românticos em primeira pessoa com adolescentes.Créditos da imagem:OpenAI

A OpenAI afirma que as principais práticas de segurança para adolescentes são sustentadas por quatro princípios que orientam a abordagem dos modelos:

  1. Colocar a segurança dos adolescentes em primeiro lugar, mesmo quando os interesses de outros utilizadores, como “máxima liberdade intelectual”, entram em conflito com preocupações de segurança;
  2. Promover o apoio no mundo real, orientando os adolescentes para a família, amigos e profissionais locais para o bem-estar;
  3. Trate os adolescentes como adolescentes, falando com carinho e respeito, sem condescendência ou tratando-os como adultos; e
  4. Seja transparente explicando o que o assistente pode ou não fazer e lembre aos adolescentes que ele não é um humano.

O documento também compartilha vários exemplos do chatbot explicando por que ele não pode “representar sua namorada” ou “ajudar com mudanças extremas de aparência ou atalhos arriscados”.

Lily Li, advogada de privacidade e IA e fundadora da Metaverse Law, disse que foi encorajador ver a OpenAI tomar medidas para que seu chatbot se recusasse a se envolver em tal comportamento.

Explicando que uma das maiores reclamações que os defensores e os pais têm sobre os chatbots é que eles promovem incansavelmente o envolvimento contínuo de uma forma que pode ser viciante para os adolescentes, ela disse: “Estou muito feliz em ver a OpenAI dizer, em algumas dessas respostas, que não podemos responder à sua pergunta. Quanto mais vemos isso, acho que isso quebraria o ciclo que levaria a muitas condutas inadequadas ou automutilação”.

Dito isto, os exemplos são apenas isso: exemplos escolhidos a dedo de como a equipe de segurança da OpenAI gostaria que os modelos se comportassem. A bajulação, ou a tendência de um chatbot de IA de ser excessivamente agradável com o usuário, foi listada como um comportamento proibido nas versões anteriores do Model Spec, mas o ChatGPT ainda se envolveu nesse comportamento de qualquer maneira. Isso foi particularmente verdadeiro com o GPT-4o, um modelo que tem sido associado a vários casos do que os especialistas chamam de “psicose de IA”.

Robbie Torney, diretor sênior do programa de IA da Common Sense Media, uma organização sem fins lucrativos dedicada a proteger crianças no mundo digital, levantou preocupações sobre possíveis conflitos dentro das diretrizes para menores de 18 anos do Model Spec. Ele destacou as tensões entre as disposições focadas na segurança e o princípio “nenhum tópico está fora dos limites”, que orienta os modelos para abordar qualquer tópico, independentemente da sensibilidade.

“Temos que entender como as diferentes partes das especificações se encaixam”, disse ele, observando que certas seções podem levar os sistemas a se engajarem em detrimento da segurança. Os testes de sua organização revelaram que o ChatGPT muitas vezes reflete a energia dos usuários, às vezes resultando em respostas que não são contextualmente apropriadas ou alinhadas com a segurança do usuário, disse ele.

No caso de Adam Raine, um adolescente que morreu por suicídio após meses de diálogo com o ChatGPT, o chatbot se engajou nesse espelhamento, mostram suas conversas. Esse caso também revelou como a API de moderação da OpenAI falhou em evitar interações inseguras e prejudiciais, apesar de sinalizar mais de 1.000 instâncias do ChatGPT mencionando suicídio e 377 mensagens contendo conteúdo de automutilação. Mas isso não foi suficiente para impedir Adam de continuar suas conversas com o ChatGPT.

Em uma entrevista ao TechCrunch em setembro, o ex-pesquisador de segurança da OpenAI Steven Adler disse que isso acontecia porque, historicamente, a OpenAI executava classificadores (os sistemas automatizados que rotulam e sinalizam o conteúdo) em massa após o fato, e não em tempo real, então eles não controlavam adequadamente a interação do usuário com o ChatGPT.

A OpenAI agora usa classificadores automatizados para avaliar conteúdo de texto, imagem e áudio em tempo real, de acordo com o documento atualizado de controle parental da empresa. Os sistemas são projetados para detectar e bloquear conteúdo relacionado a material de abuso sexual infantil, filtrar tópicos delicados e identificar automutilação. Se o sistema sinalizar um aviso que sugira uma preocupação grave de segurança, uma pequena equipe de pessoas treinadas analisará o conteúdo sinalizado para determinar se há sinais de “sofrimento agudo” e poderá notificar os pais.

Torney aplaudiu os recentes passos da OpenAI em direção à segurança, incluindo a sua transparência na publicação de diretrizes para usuários menores de 18 anos.

“Nem todas as empresas publicam as suas diretrizes políticas da mesma forma”, disse Torney, apontando para as diretrizes vazadas da Meta, que mostravam que a empresa permitia que os seus chatbots se envolvessem em conversas sensuais e românticas com crianças. “Este é um exemplo do tipo de transparência que pode ajudar os investigadores de segurança e o público em geral a compreender como estes modelos realmente funcionam e como deveriam funcionar.”

Em última análise, porém, é o comportamento real de um sistema de IA que importa, disse Adler ao TechCrunch na quinta-feira.

“Agradeço que a OpenAI seja atenciosa com o comportamento pretendido, mas, a menos que a empresa meça os comportamentos reais, as intenções são, em última análise, apenas palavras”, disse ele.

Dito de outra forma: o que falta neste anúncio é uma evidência de que o ChatGPT realmente segue as diretrizes estabelecidas nas especificações do modelo.

Uma mudança de paradigma

As especificações do modelo da OpenAI orientam o ChatGPT para desviar as conversas do incentivo à autoimagem ruim.Créditos da imagem:OpenAI

Especialistas dizem que com essas diretrizes, a OpenAI parece preparada para superar certas legislações, como o SB 243 da Califórnia, um projeto de lei recentemente assinado que regulamenta chatbots complementares de IA que entrará em vigor em 2027.

A nova linguagem do Model Spec reflete alguns dos principais requisitos da lei em torno da proibição de chatbots de se envolverem em conversas sobre ideação suicida, automutilação ou conteúdo sexualmente explícito. O projeto de lei também exige que as plataformas forneçam alertas a cada três horas aos menores, lembrando-lhes que estão falando com um chatbot, não com uma pessoa real, e que devem fazer uma pausa.

Quando questionado sobre com que frequência o ChatGPT lembraria os adolescentes de que eles estão conversando com um chatbot e pediria que fizessem uma pausa, um porta-voz da OpenAI não compartilhou detalhes, dizendo apenas que a empresa treina seus modelos para se representarem como IA e lembrar os usuários disso, e que implementa lembretes de intervalo durante “sessões longas”.

A empresa também compartilhou dois novos recursos de alfabetização em IA para pais e famílias. As dicas incluem iniciadores de conversa e orientação para ajudar os pais a conversar com os adolescentes sobre o que a IA pode ou não fazer, desenvolver o pensamento crítico, estabelecer limites saudáveis ​​e navegar em tópicos delicados.

Tomados em conjunto, os documentos formalizam uma abordagem que partilha a responsabilidade com os cuidadores: a OpenAI explica o que os modelos devem fazer e oferece às famílias uma estrutura para supervisionar a forma como é utilizada.

O foco na responsabilidade parental é notável porque reflete os pontos de discussão do Vale do Silício. Nas suas recomendações para a regulamentação federal da IA ​​publicadas esta semana, a empresa de capital de risco Andreessen Horowitz sugeriu mais requisitos de divulgação para a segurança infantil, em vez de requisitos restritivos, e pesou mais o ónus para a responsabilidade parental.

Vários princípios da OpenAI – segurança em primeiro lugar quando os valores entram em conflito; incentivando os usuários a obter suporte no mundo real; reforçando que o chatbot não é uma pessoa – estão sendo articulados como proteções para adolescentes. Mas vários adultos morreram por suicídio e sofreram delírios potencialmente fatais, o que convida a um seguimento óbvio: deverão esses padrões aplicar-se a todos, ou será que a OpenAI os vê como compensações que só está disposta a aplicar quando há menores envolvidos?

Um porta-voz da OpenAI respondeu que a abordagem de segurança da empresa foi projetada para proteger todos os usuários, dizendo que as especificações do modelo são apenas um componente de uma estratégia multicamadas.

Li diz que até agora tem sido um “oeste selvagem” no que diz respeito aos requisitos legais e às intenções das empresas de tecnologia. Mas ela sente que leis como a SB 243, que exige que as empresas de tecnologia divulguem publicamente as suas salvaguardas, irão mudar o paradigma.

“Os riscos legais aparecerão agora para as empresas se elas anunciarem que possuem essas salvaguardas e mecanismos em vigor em seus sites, mas não prosseguirem com a incorporação dessas salvaguardas”, disse Li. “Porque então, do ponto de vista do reclamante, você não está apenas analisando o litígio padrão ou as reclamações legais; você também está analisando possíveis reclamações de publicidade injustas e enganosas.”

Fuente