O uso de software de inteligência artificial pela Meta para moderar suas plataformas de mídia social está gerando grandes volumes de relatórios inúteis sobre casos de abuso sexual infantil, que estão drenando recursos e dificultando as investigações, disseram funcionários da força-tarefa dos EUA contra crimes na Internet contra crianças (ICAC).
“Recebemos muitas dicas do Meta que são apenas lixo”, disse Benjamin Zwiebel, agente especial da força-tarefa do ICAC no Novo México, na semana passada, durante seu depoimento no julgamento estadual contra Meta. O procurador-geral do estado alega que as plataformas da empresa estão colocando os lucros em detrimento da segurança infantil. A Meta contesta essas alegações, citando mudanças que introduziu em suas plataformas, como contas de adolescentes com proteções padrão. O grupo de trabalho do ICAC é uma rede nacional de agências de aplicação da lei, coordenada com o Departamento de Justiça dos EUA, para investigar e processar casos de exploração e abuso infantil online.
Outro responsável do ICAC, falando sob condição de anonimato para discutir assuntos internos, disse: “A Meta fornece milhares de dicas todos os meses. É bastante impressionante porque estamos a receber tantos relatórios, mas a qualidade dos relatórios é realmente deficiente em termos da nossa capacidade de tomar medidas sérias”. O oficial do ICAC acrescentou que o número total de dicas cibernéticas que seu departamento recebeu dobrou de 2024 a 2025.
As dicas inviáveis do Instagram, Facebook e WhatsApp, em alguns casos, contêm informações que não são criminosas, disseram Zweibel e dois oficiais do ICAC. Às vezes, as dicas contêm informações que indicam que um crime pode ter ocorrido, mas imagens, vídeos ou textos vitais estão faltando ou foram editados, acrescentaram os policiais anônimos.
“(Dicas inviáveis do) Instagram realmente dispararam recentemente, especialmente nos últimos meses, e esse é um dos maiores lugares onde vemos essas informações não sendo fornecidas”, acrescentou o oficial do ICAC. “Nesses casos, não temos informações para aprofundar a investigação. Pesa saber que esse crime ocorreu, mas não conseguimos identificar o autor.”
Questionado sobre o testemunho de Zweibel e as observações dos oficiais do ICAC, um porta-voz do Meta disse: “Há anos que apoiamos a aplicação da lei para processar criminosos: o DoJ elogiou repetidamente a nossa rápida cooperação que ajudou a levar a detenções, e o NCMEC elogiou o nosso processo simplificado e ‘melhorar (d)’ de denúncia. Em 2024, recebemos mais de 9.000 pedidos de emergência das autoridades dos EUA e resolvemo-los em uma média de 67 minutos – e ainda mais rapidamente para casos que envolvem segurança infantil e suicídio, de acordo com a lei aplicável, também reportamos imagens de aparente exploração sexual infantil ao NCMEC e os apoiamos na priorização de relatórios, desde ajudar a construir sua ferramenta de gerenciamento de casos até rotular dicas cibernéticas para que saibam quais são urgentes.”
A empresa destacou que o agente Zweibel recomendou o uso do recurso de contas adolescentes do Meta durante seu depoimento, o que disse ter feito “porque é a única opção disponível, presumindo que os adolescentes não se absterão de usar as redes sociais”.
Raúl Torrez, o procurador-geral do Novo México que lidera o caso contra a Meta, reconheceu a cooperação da empresa no fornecimento de pistas sobre o abuso infantil no julgamento: “Quero dar crédito a algumas das aplicações e plataformas de redes sociais, incluindo a Meta, que até certo ponto reportam imagens ao Centro Nacional para Crianças Desaparecidas e Exploradas”.
Os arquivos divulgados no caso na sexta-feira mostram executivos da Meta soando alarmes internos sobre a capacidade da empresa de policiar o abuso sexual infantil e alertar as autoridades no início de 2019. Na época, a empresa estava se preparando para habilitar a criptografia de ponta a ponta no Facebook Messenger, que oculta as mensagens dos usuários de qualquer pessoa, exceto o destinatário pretendido, por meio de criptografia.
Arquivos levantam novas questões
“Estamos prestes a fazer algo ruim como empresa. Isso é tão irresponsável”, escreveu Monika Bickert, chefe de política de conteúdo da Meta.
Bickert escreveu que “não haveria como descobrir o planejamento do ataque terrorista ou a exploração infantil” se o conteúdo do Messenger fosse criptografado, o que poderia dificultar o trabalho com as autoridades policiais. Bickert também disse que a Meta estava fazendo “declarações grosseiras sobre nossa capacidade de conduzir operações de segurança”, de acordo com os documentos internos.
Em outro documento, os funcionários da Meta estimaram que a criptografia do Messenger teria tornado a empresa “incapaz de fornecer dados proativamente às autoridades em 600 casos de exploração infantil, 1.454 casos de sextorção, 152 casos de terrorismo, 9 ameaças de tiroteio em escolas”.
Andy Stone, porta-voz da Meta, disse à Reuters: “As preocupações levantadas em 2019 representam a razão pela qual desenvolvemos uma série de novos recursos de segurança para ajudar a detectar e prevenir abusos, todos projetados para funcionar em bate-papos criptografados”.
Grupos de segurança infantil criticaram a criptografia do Messenger, que foi lançada em 2023.
Denunciando abuso infantil em massa
Por lei, as empresas de redes sociais sediadas nos Estados Unidos são obrigadas a denunciar qualquer material de abuso sexual infantil (CSAM) detectado nas suas plataformas ao Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC). O NCMEC atua como uma câmara de compensação nacional para relatórios, que encaminha às agências de aplicação da lei apropriadas nos Estados Unidos e internacionalmente. O NCMEC não tem autoridade para filtrar quaisquer dicas que possam ser inviáveis antes de serem enviadas às agências de aplicação da lei relevantes.
Meta é de longe o maior repórter do NCMEC. Em seu relatório de dados de 2024, o NCMEC disse que a Meta fez 13,8 milhões de denúncias no Facebook, Instagram e Whatsapp, de um total de 20,5 milhões de dicas que recebeu.
O NCMEC disse que em 2024, mais de 1 milhão de relatórios do CyberTipline estavam vinculados a um estado específico dos EUA, e esses relatórios foram disponibilizados às forças-tarefa do ICAC em todo o país, bem como a outras agências de aplicação da lei federais, estaduais e locais, para investigação.
A Meta e outras empresas de mídia social usam IA para detectar e denunciar material suspeito em seus sites e empregam moderadores humanos para revisar parte do conteúdo sinalizado antes de enviá-lo às autoridades. O Guardian relatou anteriormente que as dicas geradas pela IA que também não foram revisadas por um funcionário de uma empresa de mídia social muitas vezes não podem ser abertas por um policial sem um mandado devido às proteções da Quarta Emenda. Esta medida extra também retarda as investigações de crimes potenciais, dizem os advogados envolvidos em tais casos.
Um porta-voz da Meta disse: “É lamentável que as decisões judiciais tenham aumentado a carga sobre a aplicação da lei, exigindo mandados de busca para abrir cópias idênticas de conteúdo que já analisamos e relatamos. Nosso sistema de correspondência de imagens encontra cópias de exploração infantil conhecida em uma escala que seria impossível de fazer manualmente, e trabalhamos para detectar novos conteúdos de exploração infantil através de tecnologia, relatórios de nossa comunidade e investigações realizadas por nossas equipes especializadas em segurança infantil”.
Mudança legislativa estimula avalanche de dicas
Ao abrigo da Lei de Relatórios (Revisão dos Procedimentos Existentes sobre Denúncias através da Tecnologia), que entrou em vigor em Novembro de 2024, os prestadores de serviços online devem alargar e reforçar as suas obrigações de notificação, notificando a CyberTipline do NCMEC não apenas sobre material de abuso sexual infantil, mas também sobre abuso planeado ou iminente, tráfico sexual de crianças e exploração relacionada; eles também devem preservar as evidências por um período mais longo e enfrentar penalidades mais pesadas se não cumprirem conscientemente.
Desde que a lei foi aprovada, o número de dicas inviáveis fornecidas pela Meta aumentou dramaticamente, o que pode dever-se ao facto de a empresa estar a agir para garantir que não infringirá a lei, disseram dois responsáveis do ICAC. Muitas dessas dicas não poderiam ser interpretadas como crime, como o caso de adolescentes falarem sobre qual celebridade consideram mais atraente.
“Com base no meu treinamento e experiência, parece que eles estão sendo submetidos por meio do uso de IA, pois são erros comuns que uma IA cometeria e que um observador humano não cometeria”, disse Zwiebel no tribunal.
Em contraste, o departamento de Zwiebel recebe significativamente menos denúncias sobre casos legítimos de distribuição de material de abuso sexual infantil (CSAM) do Meta do que em anos anteriores, disse ele.
Cada denúncia que chega a uma divisão do ICAC deve ser revista, e o afluxo de denúncias inviáveis está a consumir tempo e recursos à investigação de casos legítimos de abuso infantil, disseram dois agentes.
“Isso está matando o moral. Estamos nos afogando em denúncias e queremos sair e fazer este trabalho”, disse um oficial do ICAC. “Não temos pessoal para sustentar isso. Não há como conseguirmos acompanhar a enchente que está chegando.”
