À medida que a época festiva se aproxima com a Black Friday, uma categoria nas listas de presentes das pessoas está a causar preocupação crescente: produtos com inteligência artificial.
O desenvolvimento levantou novas preocupações sobre os perigos que os brinquedos inteligentes podem representar para as crianças, já que grupos de defesa dos consumidores afirmam que a IA pode prejudicar a segurança e o desenvolvimento das crianças. A tendência gerou apelos para o aumento dos testes de tais produtos e para a supervisão governamental.
“Se olharmos para a forma como estes brinquedos são comercializados e como funcionam e para o facto de haver pouca ou nenhuma investigação que mostre que são benéficos para as crianças – e nenhuma regulamentação dos brinquedos de IA – levantamos uma grande bandeira vermelha”, disse Rachel Franz, diretora da Young Children Thrive Offline, uma iniciativa da Fairplay, que trabalha para proteger as crianças das grandes tecnologias.
Na semana passada, esses receios receberam uma justificação brutal quando um ursinho de peluche equipado com IA começou a discutir temas sexualmente explícitos.
O produto, Kumma da FoloToy, funcionou em um modelo OpenAI e respondeu a perguntas sobre torções. Sugeriu bondage e roleplay como formas de melhorar um relacionamento, de acordo com um relatório do Public Interest Research Group (Pirg), a organização de proteção ao consumidor por trás do estudo.
“Foi necessário muito pouco esforço para abordar todos os tipos de tópicos sexualmente sensíveis e provavelmente muito conteúdo ao qual os pais não gostariam que seus filhos fossem expostos”, disse Teresa Murray, diretora de vigilância do consumidor da Pirg.
Produtos como o ursinho de pelúcia fazem parte de um mercado global de brinquedos inteligentes avaliado em US$ 16,7 bilhões em 2023, de acordo com a Allied Market Research.
A indústria é particularmente grande na China, que tem mais de 1.500 empresas de brinquedos de IA, que estão a trabalhar para se expandir no estrangeiro, relata o MIT Technology Review.
Além da startup FoloToy, com sede em Xangai, a Curio, empresa com sede na Califórnia, trabalha com a OpenAI e fabrica um brinquedo de pelúcia, o Grok, como no chatbot de Elon Musk, dublado pelo músico Grimes. Em junho, a Mattel, proprietária de marcas como Barbie e Hot Wheels, também anunciou uma parceria com a OpenAI para “apoiar produtos e experiências alimentados por IA”.
Antes do relatório Pirg sobre o assustador ursinho de pelúcia, pais, pesquisadores de tecnologia e legisladores já haviam levantado preocupações sobre o impacto dos bots na saúde mental dos menores. Em outubro, a empresa de chatbot Character.AI anunciou que iria banir usuários menores de 18 anos após uma ação judicial alegando que seu bot exacerbou a depressão de um adolescente e fez com que ele se matasse.
Murray disse que os brinquedos de IA podem ser particularmente perigosos porque, enquanto os brinquedos inteligentes anteriores forneciam respostas programadas para crianças, um bot pode “ter uma conversa fluida com uma criança e não há limites, como descobrimos”.
Isso não só poderia levar a conversas sexualmente explícitas, mas as crianças poderiam ficar apegadas a um bot em vez de a uma pessoa ou amigo imaginário, o que poderia prejudicar o seu desenvolvimento, disse Jacqueline Woolley, diretora do Centro de Pesquisa Infantil da Universidade do Texas, em Austin.
Por exemplo, uma criança pode se beneficiar ao ter um desentendimento com um amigo e aprender como resolvê-lo. É menos provável que isso aconteça com os bots, que muitas vezes são bajuladores, disse Woolley, que prestou consultoria no estudo da Pirg.
“Eu me preocupo com vínculos inadequados”, disse Woolley.
As empresas também usam brinquedos de IA para coletar dados de crianças e não têm sido transparentes sobre o que estão fazendo com essas informações, disse Franz, da Fairplay. Isso potencialmente coloca os usuários em risco devido à falta de segurança em torno desses dados, disse Franz. Os hackers conseguiram assumir o controle dos produtos de IA.
“Devido à confiança que os brinquedos geram, eu diria que é mais provável que as crianças contem os seus pensamentos mais profundos a estes brinquedos”, disse Franz. “A vigilância é desnecessária e inadequada.”
Apesar dessas preocupações, Pirg não pede a proibição de brinquedos de IA, que poderiam ter valor educacional, como ajudar as crianças a aprender uma segunda língua ou capitais de estado, disse Murray.
“Não há nada de errado em ter algum tipo de ferramenta educacional, mas essa mesma ferramenta educacional não está lhe dizendo que é seu melhor amigo, que você pode me dizer qualquer coisa”, disse Murray.
A organização pede regulamentação adicional destes brinquedos para crianças menores de 13 anos, mas não fez recomendações políticas específicas, disse Murray.
Também é necessário realizar mais pesquisas independentes para garantir que os produtos sejam seguros para as crianças e, até que isso seja feito, eles devem ser retirados das prateleiras, disse Franz.
“Precisamos de pesquisas independentes, longitudinais e de curto prazo sobre os impactos da interação das crianças com brinquedos de IA, incluindo seu desenvolvimento socioemocional” e desenvolvimento cognitivo, disse Franz.
Seguindo o relatório Pirg, a OpenAI anunciou que estava suspendendo o FoloToy. O CEO dessa empresa disse então à CNN que estava retirando o mercado e “conduzindo uma auditoria interna de segurança”.
Na quinta-feira, 80 organizações, incluindo a Fairplay, emitiram um comunicado instando as famílias a não comprarem brinquedos de IA nesta época de festas.
“Os brinquedos de IA estão a ser comercializados para as famílias como seguros e até benéficos para a aprendizagem antes do seu impacto ter sido avaliado por pesquisas independentes”, afirma o comunicado. “Por outro lado, foi comprovado que ursinhos de pelúcia e brinquedos off-line beneficiam o desenvolvimento das crianças, sem nenhum dos riscos dos brinquedos de IA.”
Curio, fabricante do brinquedo Grok, disse ao Guardian por e-mail que, após analisar o relatório Pirg, “estamos trabalhando ativamente com nossa equipe para resolver quaisquer preocupações, enquanto supervisionamos continuamente o conteúdo e as interações para garantir uma experiência segura e agradável para as crianças”.
A Mattel afirmou que seus primeiros produtos com OpenAI “serão focados em famílias e clientes mais velhos” e que “o uso de APIs OpenAI não se destina a usuários menores de 13 anos”.
“A IA complementa – e não substitui – o jogo tradicional, e estamos enfatizando segurança, privacidade, criatividade e inovação responsável”, afirmou a empresa.
Franz referiu-se às preocupações anteriores com a privacidade dos produtos inteligentes da Mattel e disse: “É bom que a Mattel afirme que os seus produtos de IA não são para crianças pequenas, mas se olharmos para quem brinca com brinquedos e para quem os brinquedos são comercializados, são crianças pequenas”.
Franz acrescentou: “Estamos muito interessados em conhecer as medidas concretas que a Mattel tomará para garantir que seus produtos OpenAI não sejam realmente usados por crianças que certamente reconhecerão e serão atraídas pelas marcas”.
