Por mais de dois anos, um aplicativo chamado ClothOff tem aterrorizado mulheres jovens online – e tem sido terrivelmente difícil de pará-lo. O aplicativo foi retirado das duas principais lojas de aplicativos e banido da maioria das plataformas sociais, mas ainda está disponível na web e por meio de um bot do Telegram. Em outubro, uma clínica da Faculdade de Direito de Yale entrou com uma ação judicial que derrubaria totalmente o aplicativo, forçando os proprietários a excluir todas as imagens e interromper totalmente a operação. Mas simplesmente encontrar os réus tem sido um desafio.
“Está constituída nas Ilhas Virgens Britânicas”, explica o professor John Langford, co-líder do processo, “mas acreditamos que é gerida por um irmão e uma irmã e pela Bielorrússia. Pode até fazer parte de uma rede maior em todo o mundo”.
É uma lição amarga após a recente enxurrada de pornografia não consensual gerada pela xAI de Elon Musk, que incluiu muitas vítimas menores de idade. O material de abuso sexual infantil é o conteúdo legalmente mais tóxico da Internet – ilegal para produzir, transmitir ou armazenar, e regularmente verificado em todos os principais serviços de nuvem. Mas apesar das intensas proibições legais, ainda existem poucas maneiras de lidar com geradores de imagens como o ClothOff, como demonstra o caso de Langford. Os utilizadores individuais podem ser processados, mas plataformas como ClothOff e Grok são muito mais difíceis de policiar, deixando poucas opções para as vítimas que esperam encontrar justiça nos tribunais.
A reclamação da clínica, que está disponível online, mostra um quadro alarmante. A demandante é uma estudante anônima do ensino médio em Nova Jersey, cujos colegas usaram o ClothOff para alterar suas fotos do Instagram. Ela tinha 14 anos quando as fotos originais do Instagram foram tiradas, o que significa que as versões modificadas pela IA são legalmente classificadas como imagens de abuso infantil. Mas embora as imagens modificadas sejam claramente ilegais, as autoridades locais recusaram-se a processar o caso, alegando a dificuldade de obter provas dos dispositivos dos suspeitos.
“Nem a escola nem as autoridades policiais jamais estabeleceram a amplitude da distribuição do CSAM de Jane Doe e de outras meninas”, diz a denúncia.
Ainda assim, o processo judicial avançou lentamente. A queixa foi apresentada em Outubro e, nos meses seguintes, Langford e os seus colegas têm estado em processo de notificação aos réus – uma tarefa difícil dada a natureza global da empresa. Depois de atendidas, a clínica pode pressionar por um comparecimento ao tribunal e, eventualmente, por um julgamento, mas, enquanto isso, o sistema jurídico tem dado pouco conforto às vítimas da ClothOff.
O caso Grok pode parecer um problema mais simples de resolver. O xAI de Elon Musk não está se escondendo e há muito dinheiro no final para advogados que possam ganhar uma ação. Mas o Grok é uma ferramenta de uso geral, o que torna muito mais difícil responsabilizá-lo em tribunal.
Evento Techcrunch
São Francisco
|
13 a 15 de outubro de 2026
“O ClothOff foi projetado e comercializado especificamente como um gerador de imagens e vídeos pornográficos deepfake”, disse-me Langford. “Quando você processa um sistema geral que os usuários podem consultar para todo tipo de coisa, fica muito mais complicado.”
Várias leis dos EUA já proibiram a pornografia deepfake – mais notavelmente a Lei Take It Down. Mas embora usuários específicos estejam claramente infringindo essas leis, é muito mais difícil responsabilizar toda a plataforma. As leis existentes exigem provas claras de intenção de prejudicar, o que significaria fornecer provas de que a xAI sabia que a sua ferramenta seria usada para produzir pornografia não consensual. Sem essa evidência, os direitos básicos da primeira alteração do xAI forneceriam proteção legal significativa.
“Nos termos da Primeira Emenda, está bastante claro que o material de abuso sexual infantil não é uma expressão protegida”, diz Langford. “Então, quando você está projetando um sistema para criar esse tipo de conteúdo, você está claramente operando fora do que é protegido pela Primeira Emenda. Mas quando você é um sistema geral que os usuários podem consultar sobre todos os tipos de coisas, não é tão claro.”
A maneira mais fácil de superar esses problemas seria mostrar que o xAI ignorou deliberadamente o problema. É uma possibilidade real, dadas as notícias recentes de que Musk orientou os funcionários a afrouxar as salvaguardas de Grok. Mas mesmo assim, seria um caso muito mais arriscado de assumir.
“Pessoas razoáveis podem dizer que sabíamos que isso era um problema há anos”, diz Langford. “Como é possível não ter controles mais rigorosos para garantir que isso não aconteça? Isso é uma espécie de imprudência ou conhecimento, mas é apenas um caso mais complicado.”
Essas questões da Primeira Emenda são a razão pela qual a maior resistência da xAI veio de sistemas judiciais sem proteções legais robustas para a liberdade de expressão. Tanto a Indonésia como a Malásia tomaram medidas para bloquear o acesso ao chatbot Grok, enquanto os reguladores do Reino Unido abriram uma investigação que pode levar a uma proibição semelhante. Outras medidas preliminares foram tomadas pela Comissão Europeia, França, Irlanda, Índia e Brasil. Em contraste, nenhuma agência reguladora dos EUA emitiu uma resposta oficial.
É impossível dizer como as investigações serão resolvidas, mas, pelo menos, a enxurrada de imagens levanta muitas questões para os reguladores investigarem – e as respostas podem ser contundentes.
“Se você publica, distribui e dissemina material sobre abuso sexual infantil, você está violando proibições criminais e pode ser responsabilizado”, diz Langford. “A questão difícil é: o que X sabia? O que X fez ou não fez? O que eles estão fazendo agora em resposta a isso?”
