Elon Musk disse na quarta-feira que “não tem conhecimento de nenhuma imagem de menores nus gerada por Grok”, horas antes de o procurador-geral da Califórnia abrir uma investigação sobre o chatbot da xAI sobre a “proliferação de material sexualmente explícito não consensual”.
A negação de Musk ocorre num momento em que aumenta a pressão de governos de todo o mundo – do Reino Unido e da Europa à Malásia e à Indonésia – depois de utilizadores do X terem começado a pedir a Grok para transformar fotos de mulheres reais, e em alguns casos de crianças, em imagens sexualizadas sem o seu consentimento. Copyleaks, uma plataforma de detecção de IA e governança de conteúdo, estimou que aproximadamente uma imagem foi postada a cada minuto no X. Uma amostra separada coletada de 5 a 6 de janeiro encontrou 6.700 por hora durante o período de 24 horas. (X e xAI fazem parte da mesma empresa.)
“Este material… tem sido usado para assediar pessoas na Internet”, disse o procurador-geral da Califórnia, Rob Bonta, em comunicado. “Exorto a xAI a tomar medidas imediatas para garantir que isso não vá mais longe.”
O escritório do AG investigará se e como o xAI violou a lei.
Existem várias leis para proteger alvos de imagens sexuais não consensuais e material de abuso sexual infantil (CSAM). No ano passado, o Take It Down Act foi transformado em lei federal, que criminaliza a distribuição consciente de imagens íntimas não consensuais – incluindo deepfakes – e exige que plataformas como X removam esse conteúdo dentro de 48 horas. A Califórnia também tem sua própria série de leis que o governador Gavin Newsom assinou em 2024 para reprimir deepfakes sexualmente explícitos.
Grok começou a atender às solicitações dos usuários do X para produzir fotos sexualizadas de mulheres e crianças no final do ano. A tendência parece ter decolado depois que certos criadores de conteúdo adulto levaram Grok a gerar imagens sexualizadas de si mesmos como forma de marketing, o que levou outros usuários a emitirem avisos semelhantes. Em vários casos públicos, incluindo figuras conhecidas como a atriz de “Stranger Things”, Millie Bobby Brown, Grok respondeu a solicitações pedindo para alterar fotos reais de mulheres reais, mudando roupas, posicionamento corporal ou características físicas de maneiras abertamente sexuais.
De acordo com alguns relatórios, a xAI começou a implementar salvaguardas para resolver o problema. Grok agora requer uma assinatura premium antes de responder a certas solicitações de geração de imagens e, mesmo assim, a imagem pode não ser gerada. April Kozen, vice-presidente de marketing da Copyleaks, disse ao TechCrunch que Grok pode atender a uma solicitação de uma forma mais genérica ou moderada. Eles acrescentaram que Grok parece mais permissivo com criadores de conteúdo adulto.
Evento Techcrunch
São Francisco
|
13 a 15 de outubro de 2026
“No geral, esses comportamentos sugerem que X está experimentando vários mecanismos para reduzir ou controlar a geração problemática de imagens, embora permaneçam inconsistências”, disse Kozen.
Nem xAI nem Musk abordaram publicamente o problema de frente. Poucos dias após o início dos casos, Musk pareceu minimizar o problema, pedindo a Grok que gerasse uma imagem de si mesmo de biquíni. Em 3 de janeiro, a conta de segurança de X dizia que a empresa toma “medidas contra conteúdo ilegal em X, incluindo (CSAM)”, sem abordar especificamente a aparente falta de salvaguardas de Grok ou a criação de imagens sexualizadas e manipuladas envolvendo mulheres.
O posicionamento reflete o que Musk postou hoje, enfatizando a ilegalidade e o comportamento dos usuários.
Musk escreveu que “não tinha conhecimento de nenhuma imagem nua de menores de idade gerada por Grok. Literalmente zero”. Essa afirmação não nega a existência de fotos de biquínis ou edições sexualizadas de forma mais ampla.
Michael Goodyear, professor associado da Faculdade de Direito de Nova York e ex-advogado, disse ao TechCrunch que Musk provavelmente se concentrou estritamente no CSAM porque as penalidades para a criação ou distribuição de imagens sexualizadas sintéticas de crianças são maiores.
“Por exemplo, nos Estados Unidos, o distribuidor ou distribuidor ameaçado de CSAM pode enfrentar até três anos de prisão ao abrigo da Lei Take It Down, em comparação com dois para imagens sexuais não consensuais de adultos”, disse Goodyear.
Ele acrescentou que o “ponto maior” é a tentativa de Musk de chamar a atenção para conteúdo problemático do usuário.
“Obviamente, Grok não gera imagens espontaneamente. Ele o faz apenas de acordo com a solicitação do usuário”, escreveu Musk em seu post. “Quando solicitado a gerar imagens, ele se recusará a produzir qualquer coisa ilegal, já que o princípio operacional do Grok é obedecer às leis de qualquer país ou estado. Pode haver momentos em que a invasão adversária dos avisos do Grok faça algo inesperado. Se isso acontecer, corrigimos o bug imediatamente.”
Em conjunto, a postagem caracteriza esses incidentes como incomuns, atribui-os a solicitações de usuários ou solicitações adversárias e os apresenta como problemas técnicos que podem ser resolvidos por meio de correções. Ele não chega a reconhecer quaisquer deficiências no projeto de segurança subjacente de Grok.
“Os reguladores podem considerar, com atenção às proteções à liberdade de expressão, exigir medidas proativas por parte dos desenvolvedores de IA para impedir tal conteúdo”, disse Goodyear.
O TechCrunch entrou em contato com a xAI para perguntar quantas vezes ele detectou casos de imagens sexualmente manipuladas não consensuais de mulheres e crianças, quais proteções mudaram especificamente e se a empresa notificou os reguladores sobre o assunto. O TechCrunch atualizará o artigo se a empresa responder.
A California AG não é o único regulador a tentar responsabilizar a xAI pelo problema. A Indonésia e a Malásia bloquearam temporariamente o acesso ao Grok; A Índia exigiu que X fizesse alterações técnicas e processuais imediatas em Grok; a Comissão Europeia ordenou que a xAI retenha todos os documentos relacionados ao seu chatbot Grok, um precursor para a abertura de uma nova investigação; e o órgão de vigilância de segurança online do Reino Unido, Ofcom, abriu uma investigação formal sob a Lei de Segurança Online do Reino Unido.
xAI já foi criticado pelas imagens sexualizadas de Grok antes. Como AG Bonta apontou em comunicado, Grok inclui um “modo picante” para gerar conteúdo explícito. Em outubro, uma atualização tornou ainda mais fácil desbloquear as poucas diretrizes de segurança que existiam, resultando em muitos usuários criando pornografia pesada com Grok, bem como imagens sexuais explícitas e violentas.
Muitas das imagens mais pornográficas que Grok produziu foram de pessoas geradas por IA – algo que muitos ainda podem achar eticamente duvidoso, mas talvez menos prejudicial para os indivíduos nas imagens e vídeos.
“Quando os sistemas de IA permitem a manipulação de imagens de pessoas reais sem consentimento claro, o impacto pode ser imediato e profundamente pessoal”, disse o cofundador e CEO da Copyleaks, Alon Yamin, em um comunicado enviado por e-mail ao TechCrunch. “De Sora a Grok, estamos vendo um rápido aumento nas capacidades de IA para mídia manipulada. Para esse fim, a detecção e a governança são necessárias agora mais do que nunca para ajudar a prevenir o uso indevido.”
