As consequências sobre o urso Kumma, um brinquedo de pelúcia inicialmente desenvolvido pelo ChatGPT e projetado para interagir com crianças, começaram em novembro.
Um pesquisador do PIRG Education Fund dos EUA testou o produto, juntamente com outros brinquedos de IA, e publicou as descobertas alarmantes. O doce e suave Kumma diria alegremente ao seu interlocutor como acender um fósforo e também discutiria questões sexuais.
O fabricante do urso, FoloToy, licenciou a tecnologia da OpenAI para programar as respostas de Kumma. FoloToy interrompeu temporariamente as vendas de Kumma para realizar uma auditoria de segurança. As revelações levaram a OpenAI a suspender indefinidamente o acesso do desenvolvedor ao FoloToy – mesmo que o brinquedo ainda dependa do ChatGPT para produzir as respostas do urso de pelúcia.
VEJA TAMBÉM:
O que saber antes de comprar um brinquedo de IA
Entretanto, antes da época de compras natalinas, grupos de defesa das crianças expressaram preocupação urgente com os brinquedos de IA. Em dezembro, dois senadores dos EUA enviaram cartas a empresas perguntando sobre o projeto e a fabricação de brinquedos de IA. Em janeiro, um senador do estado da Califórnia apresentou legislação que imporia uma moratória de quatro anos à venda de brinquedos chatbot de IA para menores de 18 anos. Na quinta-feira, a Common Sense Media declarou os brinquedos de IA inseguros para crianças de até 5 anos.
Quanto a Kumma, o destino do urso é uma história complicada sobre o que pode acontecer quando um brinquedo de IA chega ao mercado antes que as famílias, as empresas e os reguladores tenham considerado plenamente as ramificações. Especialistas jurídicos entrevistados pelo Mashable dizem que os brinquedos de IA existem em território jurídico pouco claro e desconhecido.
Não há uma resposta óbvia – ainda – para a pergunta: quem exatamente é responsável se uma criança for prejudicada ao interagir com um brinquedo de IA?
Claro, isso pressupõe que os fabricantes de brinquedos podem e serão transparentes sobre a tecnologia da qual seus produtos dependem. A OpenAI não permite mais que seus licenciados divulguem publicamente que seus produtos usam a tecnologia da empresa, incluindo ChatGPT, a menos que tenham recebido “permissão prévia expressa por escrito em cada instância”.
Isto diz respeito a RJ Cross, diretor do programa Our Online Life do US PIRG Education Fund. Cross foi o pesquisador que descobriu os “pontos de falha” de Kumma.
“Quando a OpenAI diz especificamente que não pode divulgar isso publicamente sem a nossa permissão, isso apenas tornará mais difícil para todos – pais, responsáveis, reguladores – saber o que realmente está acontecendo, e isso não é uma coisa boa”, disse Cross.
Como o ChatGPT entrou no Kumma?
Os consumidores que viram as manchetes sobre Kumma podem ter-se perguntado como é que o ChatGPT, um chatbot de IA com mais de 800 milhões de utilizadores semanais, acabou num urso de peluche vendido online por uma empresa sem reconhecimento familiar.
A explicação pode surpreender os consumidores não familiarizados com os acordos de licenciamento que a OpenAI faz com os desenvolvedores para acessar e integrar seus grandes modelos de linguagem em seus próprios produtos. Tais acordos são padrão e estratégicos na indústria tecnológica, especialmente para empresas que procuram expandir rapidamente os seus negócios.
Em 2025, a OpenAI assinou um acordo com a Mattel, mas a fabricante de brinquedos não lançou um produto de IA até o final do ano. As empresas de IA Perplexity e Anthropic já estiveram anteriormente ligadas a brinquedos infantis concebidos e fabricados por terceiros, de acordo com a investigação de Cross.
No entanto, o compromisso da OpenAI com a segurança dos jovens está sob enorme escrutínio. A empresa enfrenta vários processos por homicídio culposo relacionados ao uso do ChatGPT. Alguns dos demandantes são pais de adolescentes que alegam que o ChatGPT treinou seus filhos para esconder problemas de saúde mental e tirar a própria vida em momentos de extrema angústia.
“Agora sabemos – e achamos que o processo enfatiza o fato – que o ChatGPT não é um produto seguro”, disse Eli Wade-Scott, sócio da Edelson PC e advogado que representa os pais que processam a OpenAI pela morte suicida de seu filho, Adam Raine. A empresa negou as acusações nesse caso.
Cross tem se esforçado para entender por que a OpenAI licencia o ChatGPT para desenvolvedores que o utilizam em produtos infantis, visto que os próprios termos de serviço da empresa proíbem o uso do chatbot por menores de 13 anos.
A OpenAI disse ao Mashable que qualquer desenvolvedor que implemente um dos grandes modelos de linguagem da empresa em produtos para usuários mais jovens deve obter o consentimento dos pais e cumprir as leis de segurança e privacidade infantil. (Cross disse que o FoloToy agora pede o consentimento dos pais para coletar os dados de uma criança por meio das configurações do portal da web.)
Os desenvolvedores também são obrigados a seguir as políticas de uso universal da OpenAI, que incluem a proibição de exposição de menores a conteúdo sexual e violento. A OpenAI executa algoritmos para ajudar a garantir que seus serviços não sejam usados por licenciados para prejudicar menores e dá aos desenvolvedores acesso gratuito às suas ferramentas proprietárias de moderação.
A OpenAI disse ao Mashable que seus “clientes gerenciados” trabalham com a equipe de vendas da empresa em estratégias de implantação e segurança. Quando a OpenAI toma conhecimento de um usuário que desenvolveu um brinquedo ou produto projetado para um menor que viola suas políticas de uso, a empresa o avisa ou o suspende.
“Você pode colocar em um contrato o quão sério você leva eles a usá-lo de maneira ética e segura.” – Colleen Chien, professora de direito na Faculdade de Direito da UC Berkeley
Colleen Chien, professora de direito da Faculdade de Direito da UC Berkeley, disse ao Mashable que as empresas podem ser mais cuidadosas ao licenciar sua tecnologia, criando um programa de “parceiro examinado” que impõe restrições importantes ao licenciado. Esse processo pode incluir a exigência de que os licenciados concluam a certificação ou o treinamento para garantir que estejam usando a tecnologia de forma segura e adequada.
Velocidade da luz mashável
“Você pode colocar em um contrato o quão sério você leva eles a usá-lo de maneira ética e segura”, disse Chien, que também é codiretor do Centro de Direito e Tecnologia de Berkeley. “Ou você pode ser muito mais relaxado sobre isso.”
Com a última abordagem, a empresa poderá suspender um licenciado se descobrir violações do contrato ou receber alegações de uso indevido.
“Nesse ponto, o dano já foi feito e você não está realmente assumindo a responsabilidade ex ante pelo que pode acontecer a jusante”, disse Chien.
O que acontece quando os brinquedos de IA prejudicam?
Se uma criança tiver uma experiência prejudicial ou perigosa com um brinquedo de IA desenvolvido pelo ChatGPT, a OpenAI é muito clara sobre quem é o culpado. A empresa disse ao Mashable que seus licenciados são os únicos responsáveis pelos resultados de seus produtos.
Além disso, o contrato de serviços da OpenAI parece absolver a empresa e seus licenciados contra responsabilidades, danos e custos relacionados a reclamações de terceiros. O acordo também proíbe ações judiciais coletivas para resolver disputas, que podem incluir reclamações relacionadas a um brinquedo de IA.
Chien observa que a lei de segurança do consumidor não exige que as empresas vendam um produto “perfeitamente seguro”. Em vez disso, uma empresa deve tomar precauções razoáveis e não submeter os seus clientes a riscos descomunais. As leis que exigem um histórico de segurança perfeito, disse ela, poderiam sufocar a inovação, especialmente em tecnologia.
Ainda assim, Chien disse que alguma responsabilidade provavelmente deveria permanecer com a OpenAI, porque seu tamanho e recursos dão à empresa uma clara vantagem na detecção e prevenção de riscos para os usuários posteriores, como famílias que compram brinquedos de IA alimentados por sua tecnologia.
De qualquer forma, ela reconhece que a rápida adoção de grandes modelos de linguagem em produtos de consumo levanta novas questões sobre quem é o responsável quando as coisas correm mal. As leis de segurança de produtos, por exemplo, atualmente enfatizam os danos físicos, mas e se o brinquedo de pelúcia de IA de uma criança lhe disser como mentir para os pais ou a sujeitar a abuso sexual por conversação?
Aaron P. Davis, sócio-gerente da empresa de negócios complexos comerciais e danos pessoais Davis Goldman, disse que não acredita que a OpenAI deva ser responsável por todos os incidentes que possam ter envolvido consultas com ChatGPT. No entanto, ele acha que se justifica cautela extra em relação aos brinquedos de IA, dada a sua capacidade única de ganhar a confiança de utilizadores vulneráveis, como faria um terapeuta, médico ou professor.
“Isso será considerado caso a caso, e acho que é um caminho perigoso que estamos trilhando”, disse ele sobre os riscos potenciais do produto.
Davis, que revisou o contrato de serviços da OpenAI para o Mashable, disse não ter certeza se as principais cláusulas relacionadas à publicidade e responsabilidade seriam aplicáveis.
Proibir os licenciados de compartilhar que seus produtos incorporam ChatGPT poderia interferir na lei de uso justo, observou ele. Davis também estava cético quanto à motivação da OpenAI para incluir esta cláusula.
“A razão pela qual (OpenAI) está fazendo isso é porque eles não querem que as pessoas sejam capazes de descobrir quem fez a IA, então eles serão processados”, disse Davis.
O que é confuso é que a OpenAI permite que os licenciados façam referência a um modelo específico se o seu produto aproveitar a plataforma de desenvolvimento da empresa.
“Acho que as políticas conflitantes estão subjacentes à intenção da plataforma de se isentar de responsabilidades, ao mesmo tempo que mantém a utilidade do produto”, disse ele.
A cláusula do acordo relacionada a ações coletivas também fez Davis hesitar. Ele argumentou que isso evita efetivamente que um cliente que descobriu um defeito no produto o divulgue amplamente.
Em geral, Davis considerou a linguagem favorável à OpenAI de uma forma que poderia protegê-la significativamente da transparência e responsabilização do consumidor.
O que aconteceu com Kuma?
Kumma está novamente disponível para venda online, mas seu retorno ao mercado traz ainda mais dúvidas.
Larry Wang, fundador e CEO da FoloToy, disse ao Mashable que a revisão de segurança interna da empresa levou a regras de conteúdo adequadas à idade e a restrições de tópicos mais rígidas, entre outras medidas de segurança.
Na verdade, quando RJ Cross testou Kumma novamente em dezembro, desviou as mesmas perguntas que ela fez originalmente sobre torções e como acender um fósforo.
“Estamos felizes em ver isso”, disse Cross. “É o mínimo.”
No entanto, Cross também percebeu algo inexplicável: apesar da suspensão indefinida do FoloToy da API de desenvolvedor da OpenAI, os usuários ainda podiam selecionar ChatGPT-5.1 e 5.1 Chat em um menu suspenso de grandes modelos de linguagem para programar as respostas de Kumma.
Wang não respondeu às perguntas do Mashable sobre se a empresa continuava a usar o ChatGPT para Kumma. A OpenAI disse ao Mashable que não reverteu a suspensão do FoloToy, mas não forneceu mais detalhes sobre por que ou como o ChatGPT poderia parecer funcional para Kumma.
Como pesquisador, Cross depende da transparência dos fabricantes. Sem isso, ela não conseguirá conectar facilmente problemas com brinquedos de IA que dependem do mesmo grande modelo de linguagem. Mas os consumidores também precisam disso, argumenta ela.
Se um brinquedo usa o Grok do modelo xAI para responder, por exemplo, um consumidor pode fazer uma escolha diferente ao saber que o produto criou imagens de abuso sexual usando fotos de mulheres e crianças reais.
“Eles merecem ter informações disponíveis se quiserem analisar as coisas com mais cuidado”, disse ela.
Divulgação: Ziff Davis, empresa controladora da Mashable, em abril de 2025 entrou com uma ação contra a OpenAI, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.
