A tecnologia de ponta de IA que permite que meninos e homens despim digitalmente meninas e mulheres sem consentimento colocou o Vale do Silício, dominado pelos homens, há muito criticado como inóspito para as mulheres, sob um novo holofote, depois que o chatbot Grok da xAI provocou indignação mundial, e o Google e a Apple permitiram dezenas de aplicativos de “nudificação” em suas lojas de aplicativos.
Grok, um aplicativo independente e também um recurso da plataforma de mídia social X de Elon Musk, gerou 3 milhões de imagens sexualizadas nos 11 dias após o lançamento de seu recurso de edição de imagens em dezembro, informou o Centre for Countering Digital Hate, com sede no Reino Unido. Os usuários despiram digitalmente mulheres reais em imagens – e mais de 20.000 crianças aparentes – manipulando muitas delas em poses sexuais. Musk respondeu com desdém, republicando uma imagem gerada por IA de uma torradeira de biquíni, dizendo que “não conseguia parar de rir” disso.
As autoridades da Califórnia não estavam rindo.
“Este material, que retrata mulheres e crianças em situações nuas e sexualmente explícitas, tem sido usado para assediar pessoas na Internet”, disse o gabinete do procurador-geral Rob Bonta num comunicado de imprensa no mês passado, anunciando uma investigação sobre se a geração das imagens de Grok infringiu alguma lei. A investigação ainda está em andamento e Bonta está “empenhado em resolver esta questão rapidamente”, disse seu gabinete na quarta-feira.
No final do mês passado, o Projeto de Transparência Tecnológica, dedicado à responsabilização de grandes empresas de tecnologia, divulgou um relatório dizendo ter encontrado 55 aplicativos na loja de aplicativos Google Play e 47 na loja de aplicativos da Apple, que poderiam modificar imagens de mulheres reais sem o seu consentimento para deixá-las total ou parcialmente nuas, ou usando biquínis e outras roupas minúsculas.
As empresas destacadas pelo Tech Transparency Project como fornecedoras de aplicativos de nudificação não são tão conhecidas como a xAI de Musk, Google ou Apple, e estão sediadas em locais que vão desde DreamFace em Redwood City até Bodiva na China. Bodiva oferece uma função “Show Off Body” que deixa as mulheres nuas em fotos e também oferece opções para transformar fotos em vídeos pornográficos, informou o Tech Transparency Project.
A controvérsia sobre os aplicativos é apenas a mais recente a surgir desde que a OpenAI de São Francisco lançou seu pioneiro ChatGPT no final de 2022, permitindo aos usuários gerar palavras, sons e imagens em resposta a solicitações. Erros gerados pela IA em processos judiciais, o uso generalizado de IA pelos estudantes para trabalhos de casa e ações judiciais alegando que chatbots encorajavam o suicídio dispararam alarmes.
Uma série de leis estaduais e locais se aplicam a imagens geradas por IA, incluindo a Lei federal Take It Down de 2025 – introduzida pelo senador republicano dos EUA Ted Cruz, do Texas – que proíbe os usuários da Internet de publicar imagens íntimas não consensuais, incluindo imagens “deepfake” feitas por IA de pessoas reais cujas roupas foram removidas. Uma disposição da lei também exige que sites e aplicativos excluam tais imagens dentro de 48 horas após uma solicitação de remoção válida.
O Projeto de Lei 621 da Assembleia da Califórnia, aprovado no ano passado, proíbe a pornografia deepfake não consensual. Sua autora, a deputada da Assembleia Democrática de East Bay, Rebecca Bauer-Kahan, disse à mídia que a lei foi elaborada para impedir exatamente o que Grok estava produzindo.
“Essas são ferramentas que dão às pessoas a capacidade de prejudicar as mulheres”, disse Camerina Davidson, presidente da seção californiana da Organização Nacional para Mulheres, esta semana. “A IA reinventou a misoginia.”
As empresas de tecnologia, disse Davidson, deram aos homens “maneiras mais poderosas de assediar as mulheres e tentar afirmar o poder sobre as mulheres usando essas plataformas baseadas em IA que são tão simples de obter”.
A Apple disse que suas diretrizes proíbem conteúdo abertamente sexual ou pornográfico e que removeu 28 dos aplicativos identificados pelo Tech Transparency Project. De resto, a Apple disse que alertou os desenvolvedores de aplicativos sobre violações que precisam ser corrigidas em tempo hábil. A Apple não descreveu com que rapidez as soluções devem ocorrer.
O Google disse que suspendeu “a maioria dos aplicativos” identificados pelo Tech Transparency Project e que a investigação sobre o assunto continua.
Apesar de tomarem medidas em relação a esses aplicativos, o Google e a Apple continuam a oferecer o Grok em suas lojas de aplicativos.
A Grok, operada pela xAI de Musk, uma empresa de inteligência artificial de Palo Alto que recentemente se fundiu com a empresa de foguetes de Musk, SpaceX, não respondeu às perguntas.
A empresa, em uma postagem no início de janeiro no X, citou “lacunas nas salvaguardas” que estava “corrigindo com urgência”. Mas, apesar dessa suposta urgência, este mês a Reuters informou que entre 14 e 16 de janeiro e 27 e 28 de janeiro, uma equipe de seus repórteres enviou fotos deles totalmente vestidos para Grok e pediu ao chatbot para retratá-los em poses humilhantes ou sexualmente provocativas.
“Na maioria dos casos, Grok devolveu imagens sexualizadas, mesmo quando informado de que os sujeitos não consentiam”, informou a Reuters.
Em janeiro, Ashley St. Clair, mãe de um dos filhos de Musk, processou a xAI na Suprema Corte de Nova York, alegando que Grok, em resposta às solicitações dos usuários, gerou “inúmeras imagens sexualmente abusivas, íntimas e degradantes” dela. “Entre outras coisas, os usuários do X desenterraram fotos de St. Clair totalmente vestida aos 14 anos e pediram que Grok a despisse e a colocasse de biquíni”, disse o processo. “Grok obrigado.” O caso foi transferido para o tribunal federal de Nova York, e os advogados da xAI agora estão lutando para transferi-lo para o tribunal federal do Texas.
No entanto, não são apenas as mulheres e meninas despidas pelos aplicativos que são prejudicadas, disse Davidson.
“Ver o que é feito a outras mulheres afeta as mulheres emocional e psicologicamente e faz com que as mulheres não queiram chamar a atenção para si mesmas”, disse Davidson. “Conheço muitas mulheres que estão online e não usam seus nomes verdadeiros. Elas não querem ser atacadas.”
Ao permitir que os utilizadores transformem mulheres e raparigas reais em objectos sexuais, as aplicações enviam aos rapazes e aos homens a mensagem de que as raparigas e as mulheres existem para “servir aos propósitos dos homens”, disse Ruth Darlene, directora executiva da organização sem fins lucrativos WomenSV de Los Altos, que combate o abuso de mulheres e crianças.
“Você pode fazer com eles o que quiser.”
O uso de Grok para sexualizar fotos gerou furor mundial. Membros do Parlamento Britânico emitiram em meados de janeiro uma declaração condenando “o uso da Grok AI para gerar e disseminar imagens sexualmente explícitas e não consensuais de mulheres e crianças no X, incluindo imagens digitalmente despidas e sexualizadas de menores”. A Comissão Europeia e o órgão de vigilância da privacidade do Reino Unido lançaram investigações formais sobre Grok sobre o assunto.
Em 3 de fevereiro, promotores franceses invadiram os escritórios da X, a plataforma de mídia social de Elon Musk, em uma investigação sobre o que as autoridades francesas descreveram como suposta posse e disseminação de imagens pornográficas de crianças, imagens “deepfake” sexualmente explícitas geradas por IA e outros materiais. Musk, que foi convocado pelas autoridades francesas, aproveitou X para chamar a medida de “um ataque político”.
A Malásia e a Indonésia bloquearam Grok na edição de imagens.
A erupção de indignação da Califórnia a Kuala Lumpur segue-se a anos de controvérsia relacionada com o género na indústria tecnológica do Vale do Silício. Um processo de 2012 por discriminação de género movido pela empresária Ellen Pao contra a empresa de capital de risco Kleiner Perkins de Menlo Park fracassou, mas chamou a atenção para o tratamento dispensado às mulheres na tecnologia. Em 2017, o CEO da Uber, Travis Kalanick, foi deposto em meio a um escândalo de assédio sexual e, no ano seguinte, a empresa concordou em pagar US$ 10 milhões para resolver uma ação judicial que alegava discriminação contra mulheres e minorias. Também em 2018, milhares de funcionários do Google abandonaram o emprego devido à forma como a empresa lidou com o assédio sexual no local de trabalho. Quatro anos depois, o Google concordou em pagar US$ 118 milhões a até 15.500 mulheres para resolver uma ação coletiva que durou anos, alegando que pagava menos às mulheres do que aos homens e as promovia de forma mais lenta e menos frequente.
Para empresas como xAI, Google e Apple, a disponibilidade de aplicativos de despir representa um fracasso de liderança, disse Ann Skeet, diretora sênior de ética de liderança do Centro Markkula de Ética Aplicada da Universidade de Santa Clara.
“Acertos de reputação como os que eles estão sofrendo agora corroem o valor da empresa”, disse Skeet. “Na verdade, eles estão prejudicando a própria entidade que são responsáveis por liderar.”
