Gaatha Sarvaiya gostaria de postar nas redes sociais e compartilhar seu trabalho online. Formada em Direito na Índia, com pouco mais de 20 anos, ela está nos primeiros estágios de sua carreira e tentando construir um perfil público. O problema é que, com o aumento dos deepfakes alimentados por IA, não há mais qualquer garantia de que as imagens que ela publica não serão distorcidas em algo violador ou grotesco.
“Imediatamente surge o pensamento: ‘OK, talvez não seja seguro. Talvez as pessoas possam tirar nossas fotos e simplesmente fazer coisas com elas'”, diz Sarvaiya, que mora em Mumbai.
“O efeito inibidor é verdadeiro”, afirma Rohini Lakshané, investigadora sobre direitos de género e política digital baseada em Mysuru, que também evita publicar fotografias suas online. “O fato de que eles podem ser facilmente mal utilizados me torna ainda mais cauteloso.”
A consequência de enfrentar o assédio online é silenciar-se ou tornar-se menos ativo onlineTarunima Prabhakar, Tattle
Nos últimos anos, a Índia tornou-se um dos mais importantes campos de testes para ferramentas de IA. É o segundo maior mercado mundial para OpenAI, com a tecnologia amplamente adotada em todas as profissões.
Mas um relatório divulgado na segunda-feira, que se baseia em dados recolhidos pela Fundação Rati, uma instituição de caridade que gere uma linha de apoio a nível nacional para vítimas de abuso online, mostra que a crescente adopção da IA criou uma nova forma poderosa de assediar as mulheres.
“Tornou-se evidente nos últimos três anos que a grande maioria do conteúdo gerado pela IA é usado para atingir mulheres e minorias de género”, afirma o relatório, da autoria da Fundação Rati e da Tattle, uma empresa que trabalha para reduzir a desinformação nas redes sociais da Índia.
Em particular, o relatório constatou um aumento no uso de ferramentas de IA para criar imagens ou vídeos de mulheres manipulados digitalmente – sejam nus ou imagens que podem ser culturalmente apropriadas nos EUA, mas que são estigmatizantes em muitas comunidades indianas, como demonstrações públicas de afeto.
A cantora indiana Asha Bhosle, à esquerda, e a jornalista Rana Ayyub, que foram afetadas pela manipulação deepfake nas redes sociais. Fotografia: Getty
Cerca de 10% das centenas de casos relatados à linha de apoio envolvem agora estas imagens, concluiu o relatório. “A IA torna a criação de conteúdo de aparência realista muito mais fácil”, afirma.
Tem havido casos de destaque de mulheres indianas na esfera pública que tiveram as suas imagens manipuladas por ferramentas de IA: por exemplo, a cantora de Bollywood Asha Bhosle, cuja imagem e voz foram clonadas usando IA e divulgadas no YouTube. Rana Ayyub, uma jornalista conhecida por investigar corrupção política e policial, tornou-se alvo de uma campanha de doxing no ano passado que levou a imagens sexualizadas falsas dela aparecendo nas redes sociais.
Isto levou a um debate em toda a sociedade, no qual algumas figuras, como Bhosle, lutaram com sucesso pelos direitos legais sobre a sua voz ou imagem. Menos discutido, porém, é o efeito que tais casos têm sobre as mulheres comuns que, como Sarvaiya, se sentem cada vez mais inseguras em relação à utilização da Internet.
“A consequência de enfrentar o assédio online é, na verdade, silenciar-se ou tornar-se menos ativo online”, diz Tarunima Prabhakar, cofundadora da Tattle. A sua organização utilizou grupos focais durante dois anos em toda a Índia para compreender como o abuso digital afetou a sociedade.
“A emoção que identificamos é o cansaço”, diz ela. “E a consequência desse cansaço também é que você simplesmente se afasta completamente desses espaços online.”
Nos últimos anos, Sarvaiya e seus amigos acompanharam casos de alto perfil de abuso online deepfake, como o de Ayyub ou o do ator de Bollywood Rashmika Mandanna. “É um pouco assustador para as mulheres daqui”, diz ela.
Agora, Sarvaiya hesita em postar qualquer coisa nas redes sociais e tornou seu Instagram privado. Mesmo isto, preocupa ela, não será suficiente para protegê-la: as mulheres são por vezes fotografadas em espaços públicos como o metro, e essas fotografias podem mais tarde aparecer online.
“Não é tão comum quanto você imagina, mas você não conhece sua sorte, certo?” ela diz. “Amigos de amigos estão sendo chantageados – literalmente, pela internet.”
Lakshané diz que agora muitas vezes pede para não ser fotografada em eventos, mesmo naqueles em que é palestrante. Mas, apesar de tomar precauções, ela está preparada para a possibilidade de um dia surgir um vídeo ou imagem falsa dela. Nos aplicativos, ela transformou sua foto de perfil em uma ilustração de si mesma, em vez de uma foto.
“Há medo do uso indevido de imagens, especialmente para mulheres que têm presença pública, que têm voz online, que assumem posições políticas”, diz ela.
pular a promoção do boletim informativo
Inscreva-se para Despacho Global
Obtenha uma visão de mundo diferente com um resumo das melhores notícias, recursos e fotos, com curadoria de nossa equipe de desenvolvimento global
Aviso de privacidade: Os boletins informativos podem conter informações sobre instituições de caridade, anúncios online e conteúdo financiado por terceiros. Se você não tiver uma conta, criaremos uma conta de convidado para você em theguardian.com para enviar este boletim informativo. Você pode concluir o registro completo a qualquer momento. Para mais informações sobre como utilizamos os seus dados consulte a nossa Política de Privacidade. Usamos o Google reCaptcha para proteger nosso site e a Política de Privacidade e os Termos de Serviço do Google se aplicam.
após a promoção do boletim informativo
O relatório de Rati descreve como ferramentas de IA, como aplicativos de “nudificação” ou nudificação – que podem remover roupas de imagens – tornaram muito mais comuns casos de abuso antes vistos como extremos. Num dos casos descritos, uma mulher contactou a linha de apoio depois de uma fotografia que enviou juntamente com um pedido de empréstimo ter sido usada para lhe extorquir dinheiro.
“Quando ela se recusou a continuar com os pagamentos, sua fotografia enviada foi alterada digitalmente usando um aplicativo nudify e colocada em uma imagem pornográfica”, diz o relatório.
Essa fotografia, com o seu número de telefone anexado, foi divulgada no WhatsApp, resultando numa “enxurrada de chamadas e mensagens sexualmente explícitas de indivíduos desconhecidos”. A mulher disse à linha de apoio de Rati que se sentia “envergonhada e marcada socialmente, como se tivesse estado ‘envolvida em algo sujo’”.
Um vídeo falso mostrando ostensivamente Rahul Gandhi, o líder do Congresso Nacional Indiano, e a ministra das finanças da Índia, Nirmala Sitharaman, promovendo um esquema financeiro. Fotografia: Secretaria da DAU
Na Índia, como na maior parte do mundo, os deepfakes operam numa zona legal cinzenta – nenhuma lei específica os reconhece como formas distintas de dano, embora o relatório de Rati descreva várias leis indianas que podem ser aplicadas ao assédio e intimidação online, ao abrigo das quais as mulheres podem denunciar deepfakes de IA.
“Mas esse processo é muito longo”, diz Sarvaiya, que argumentou que o sistema jurídico da Índia continua mal equipado para lidar com deepfakes de IA. “E é preciso muita burocracia para chegar a esse ponto e obter justiça pelo que foi feito.”
Parte da responsabilidade recai sobre as plataformas nas quais essas imagens são compartilhadas – muitas vezes YouTube, Meta, X, Instagram e WhatsApp. As agências indianas de aplicação da lei descrevem o processo para conseguir que estas empresas removam conteúdos abusivos como “opaco, intensivo em recursos, inconsistente e muitas vezes ineficaz”, de acordo com um relatório divulgado na terça-feira pela Equality Now, que faz campanha pelos direitos das mulheres.
Embora a Apple e a Meta tenham recentemente tomado medidas para limitar a disseminação de aplicativos de nudificação, o relatório de Rati observa vários casos em que essas plataformas responderam inadequadamente ao abuso online.
O WhatsApp acabou agindo no caso de extorsão, mas sua resposta foi “insuficiente”, relatou Rati, pois os nus já estavam por toda a internet. Noutro caso, em que um criador indiano do Instagram foi assediado por um troll que publicava vídeos deles nus, o Instagram só respondeu após “esforço sustentado”, com uma resposta “atrasada e inadequada”.
As vítimas foram muitas vezes ignoradas quando denunciaram assédio a estas plataformas, diz o relatório, o que as levou a contactar a linha de apoio. Além disso, mesmo que uma plataforma removesse uma conta que espalhava conteúdo abusivo, esse conteúdo muitas vezes reaparecia em outro lugar, no que Rati chama de “reincidência de conteúdo”.
“Uma das características permanentes do abuso gerado pela IA é a sua tendência para se multiplicar. É criado facilmente, partilhado amplamente e tende a ressurgir repetidamente”, diz Rati. Abordá-lo “exigirá muito maior transparência e acesso aos dados das próprias plataformas”.
