Spercorra qualquer feed do Facebook na Grã-Bretanha e, entre os anúncios de bebês e as brigas mesquinhas da vizinhança, você provavelmente encontrará uma conta com uma foto de perfil de Union Jack e um nome vago e genérico como Britain Today.
Estes relatos – e existem centenas, possivelmente milhares deles – apresentam-se como obra de patriotas britânicos. Num vídeo típico gerado por IA, um homem de meia-idade afirma que o seu café local “parou de servir carne de porco, bacon e salsichas apenas para evitar ofender as pessoas”. Outra postagem da mesma conta inclui um conjunto de imagens em sépia da Londres vitoriana, lamentando uma época em que a cidade “era inglesa, de primeiro mundo e bonita”. Ao lado deste tipo de nostalgia reacionária, não é incomum ver memes que chamam o Islão de “cancro”, condenam os muçulmanos que rezam em público como uma “invasão do Ocidente” ou promovem a “grande teoria da substituição” (que afirma que as populações brancas estão a ser deliberadamente substituídas por imigrantes não-brancos).
Nos últimos sete meses, tenho investigado quem realmente está por trás de páginas como essas. Acontece que a resposta reside frequentemente em homens jovens e empreendedores do sul da Ásia. Eles tendem a têm zero interesse na política do Reino Unido, mas o conteúdo que criam muitas vezes impulsiona os pontos de discussão da extrema direita na Grã-Bretanha e contribui para a atmosfera cada vez mais hostil para os imigrantes e os muçulmanos britânicos. Eles fazem parte de uma indústria artesanal em expansão que produz resíduos comerciais de IA.
É notoriamente difícil determinar até que ponto as pessoas são influenciadas pelo que veem online. Mas depois de meses a vasculhar estas páginas do Facebook, é difícil não sentir que elas têm um efeito venenoso: olhe para os comentários por baixo destes vídeos e verá contas a pedir que todos os muçulmanos sejam deportados do Reino Unido, a fantasiar sobre uma guerra civil étnica ou a comentar emojis de chorar e rir em vídeos gerados por IA de migrantes a afogarem-se no Canal da Mancha.
Os incentivos financeiros para a criação deste tipo de conteúdo são enormes, especialmente para os criadores do sul global. No Bureau of Investigative Journalism, analisámos detalhadamente duas “operações” muito bem sucedidas dirigidas ao público britânico do Paquistão e do Sri Lanka. Eles ganham dinheiro com os anúncios online que a Meta coloca ao lado de conteúdo de alto desempenho. Meta compartilha uma proporção da receita publicitária com os criadores e também faz pagamentos diretos aos criadores para recompensar postagens que recebem muito engajamento.
Depois de aprimorar sua isca de raiva algorítmica, você poderá ganhar muito dinheiro com o lixo. O criador paquistanês, um muçulmano devoto cujo nome não citamos para sua própria segurança, disse-nos que ganha 1.500 dólares (1.119 libras) por mês apenas com uma das suas festas; Geeth Sooriyapura, o criador do Sri Lanka, afirmou ter ganhado US$ 300.000 ao longo de sua carreira no Facebook. Não fomos capazes de verificar estes números, mas ambos os homens estavam certamente a ganhar muitas vezes o rendimento médio nos seus países.
O seu sucesso representa a promessa sedutora da cultura do “rendimento passivo”, um evangelho moderno e difundido que diz que devemos largar o emprego e ganhar dinheiro fácil online. Os proponentes desta filosofia também vendem frequentemente cursos como uma fonte de receitas adicional: Sooriyapura afirmou que 2.500 pessoas, principalmente outros cingaleses, se formaram na sua academia de conteúdos.
A propaganda de direita e a islamofobia não são, obviamente, novas. Mas dois factores estruturais fundamentais tornaram-no particularmente difundido nas redes sociais.
Primeiro, a ampla disponibilidade de ferramentas generativas de IA. Eles são usados em todas as fases do processo de criação de conteúdo: para debater ideias, para escrever legendas e, o mais importante, para criar imagens e vídeos atraentes. Isto é particularmente útil se, como o criador paquistanês, você não fala bem inglês. Em um vídeo que analisamos do curso de Sooriyapura no Facebook, ele disse a seus alunos que os vídeos gerados por IA podem ajudar o conteúdo político a se tornar viral até 10 vezes mais rápido.
Em segundo lugar está o afastamento do Meta da moderação de conteúdo. Nos últimos anos, as principais plataformas sociais efetuaram despedimentos em massa nas equipas de confiança e segurança que monitorizavam e removiam conteúdos nocivos. Isto foi parcialmente motivado pela pressão da administração Trump, que acreditava que as plataformas tinham praticado uma censura severa de conteúdo durante a presidência de Biden.
As empresas de redes sociais justificam os cortes moderados de empregos apontando para o uso da IA para encontrar conteúdos nocivos de forma mais eficiente. Mas nossos relatórios mostram que há muito conteúdo profundamente ofensivo que qualquer um poderia encontrar em poucos minutos, se se desse ao trabalho de olhar.
Depois de conversarmos com o criador paquistanês, ele disse que foi uma “coisa boa” tê-lo informado sobre a natureza de suas postagens e ele excluiu muitas delas. Sooriyapura nos disse que não incentivou seus alunos a “espalhar a violência” e que apenas educa “as pessoas sobre a monetização do Facebook e a segmentação de público”.
O criador paquistanês não cobriu muito bem seus rastros. Levei algumas horas e uma pequena ajuda da Osint Industries, uma plataforma que reúne informações sobre contas de redes sociais, para confirmar definitivamente que a pessoa que administrava a conta islamofóbica também tinha contas pessoais em seu próprio nome, compartilhando versículos do Alcorão. Estas são ações que Meta facilmente poderia ter realizado. Mas porque é que gastaria um bom dinheiro na implementação das suas próprias políticas quando há tão pouca pressão política ou regulamentar para o fazer?
Quando contactámos a Meta em ambos os casos, esta retirou muitas das suas páginas e enviou uma declaração de uma linha: “Temos padrões comunitários claros que proíbem discurso de ódio, assédio, desinformação prejudicial e comportamento inautêntico e removemos estas contas por violarem as nossas políticas”. Sou jornalista de tecnologia há tempo suficiente para já ter passado por esse processo com Meta e outras plataformas sociais muitas vezes antes. A rede do Sri Lanka está, infelizmente, de volta ao funcionamento, tendo enfrentado consequências mínimas após um certo período de inatividade.
A Meta pode e deve fazer mais para derrubar esse tipo de conta. Mas enquanto seu produto principal for um feed algorítmico que recompensa financeiramente conteúdos que provocam emoções extremas, outros sempre aparecerão em seu lugar.
