Quando Brett Levenson deixou a Apple em 2019 para liderar a integridade empresarial no Facebook, o gigante da mídia social estava no meio das consequências da Cambridge Analytica. Na época, ele pensou que poderia simplesmente resolver o problema de moderação de conteúdo do Facebook com uma tecnologia melhor.
O problema, ele aprendeu rapidamente, era mais profundo do que a tecnologia. Esperava-se que os revisores humanos memorizassem um documento político de 40 páginas que tivesse sido traduzido automaticamente para o seu idioma, disse ele. Em seguida, eles tiveram cerca de 30 segundos por conteúdo sinalizado para decidir não apenas se esse conteúdo violava as regras, mas o que fazer a respeito: bloqueá-lo, banir o usuário, limitar a propagação. Essas ligações rápidas foram apenas “um pouco melhores que 50% de precisão”, de acordo com Levenson.
“Foi como jogar uma moeda, se os revisores humanos poderiam realmente abordar as políticas corretamente, e isso foi muitos dias depois que o dano já havia ocorrido”, disse Levenson ao TechCrunch.
Esse tipo de abordagem retardada e reativa não é sustentável num mundo de atores adversários ágeis e bem financiados. A ascensão dos chatbots de IA apenas agravou o problema, já que falhas de moderação de conteúdo resultaram em uma série de incidentes de alto perfil, como chatbots que fornecem orientação sobre automutilação aos adolescentes ou imagens geradas por IA que evitam filtros de segurança.
A frustração de Levenson levou à ideia de “política como código” – uma forma de transformar documentos políticos estáticos em lógica executável e atualizável, fortemente acoplada à aplicação. Essa percepção levou à fundação da Moonbounce, que anunciou que arrecadou US$ 12 milhões em financiamento na sexta-feira, descobriu o TechCrunch com exclusividade. A rodada foi co-liderada pela Amplify Partners e StepStone Group.
Moonbounce trabalha com empresas para fornecer uma camada de segurança adicional onde quer que o conteúdo seja gerado, seja por um usuário ou por IA. A empresa treinou seu próprio grande modelo de linguagem para analisar os documentos de política do cliente, avaliar o conteúdo em tempo de execução, fornecer uma resposta em 300 milissegundos ou menos e agir. Dependendo da preferência do cliente, essa ação pode parecer que o sistema da Moonbounce está desacelerando a distribuição enquanto o conteúdo aguarda uma revisão humana posteriormente, ou pode bloquear conteúdo de alto risco naquele momento.
Hoje, Moonbounce atende três setores principais: plataformas que lidam com conteúdo gerado pelo usuário, como aplicativos de namoro; Empresas de IA construindo personagens ou companheiros; e geradores de imagens de IA.
Evento Techcrunch
São Francisco, Califórnia
|
13 a 15 de outubro de 2026
Moonbounce oferece suporte a mais de 40 milhões de avaliações diárias e atende a mais de 100 milhões de usuários ativos diariamente na plataforma, disse Levenson. Os clientes incluem a startup complementar de IA Channel AI, a empresa de geração de imagens e vídeos Civitai e as plataformas de roleplay de personagens Dippy AI e Moescape.
“A segurança pode realmente ser um benefício do produto”, disse Levenson ao TechCrunch. “Isso nunca aconteceu porque é sempre algo que acontece mais tarde, e não algo que você possa realmente incorporar ao seu produto. E vemos que nossos clientes estão encontrando maneiras realmente interessantes e inovadoras de usar nossa tecnologia para tornar a segurança um diferencial e parte da história de seus produtos.”
O chefe de confiança e segurança do Tinder explicou recentemente como a plataforma de namoro usa esses tipos de serviços alimentados por LLM para obter uma melhoria de 10x na precisão das detecções.
“A moderação de conteúdo sempre foi um problema que atormentou as grandes plataformas online, mas agora com os LLMs no centro de cada aplicação, esse desafio é ainda mais assustador”, disse Lenny Pruss, sócio geral da Amplify Partners, em comunicado. “Investimos no Moonbounce porque imaginamos um mundo onde proteções objetivas e em tempo real se tornem a espinha dorsal de todas as aplicações mediadas por IA.”
As empresas de IA estão enfrentando crescente pressão legal e de reputação depois que chatbots foram acusados de levar adolescentes e usuários vulneráveis ao suicídio e geradores de imagens como Grok da xAI foram usados para criar imagens de nudez não consensuais. Claramente, as barreiras de segurança internas estão falhando e isso está se tornando uma questão de responsabilidade. Levenson disse que as empresas de IA estão cada vez mais procurando ajuda fora de seus próprios muros para reforçar a infraestrutura de segurança.
“Somos um terceiro situado entre o usuário e o chatbot, então nosso sistema não é inundado de contexto como o chat em si”, disse Levenson. “O próprio chatbot tem que lembrar, potencialmente, dezenas de milhares de tokens que vieram antes… Estamos apenas preocupados em aplicar regras em tempo de execução.”
Levenson dirige a empresa de 12 pessoas com seu ex-colega da Apple, Ash Bhardwaj, que anteriormente construiu nuvem em grande escala e infraestrutura de IA nas principais ofertas da fabricante do iPhone. Seu próximo foco é um recurso chamado “direção iterativa”, desenvolvido em resposta a casos como o suicídio em 2024 de um menino de 14 anos da Flórida que ficou obcecado por um chatbot de IA de personagem. Em vez de uma recusa direta quando surgem tópicos prejudiciais, o sistema interceptaria a conversa e a redirecionaria, modificando os avisos em tempo real para levar o chatbot a uma resposta de apoio mais ativa.
“Esperamos poder adicionar ao nosso kit de ferramentas de ações a capacidade de orientar o chatbot em uma direção melhor para, essencialmente, pegar a solicitação do usuário e modificá-la para forçar o chatbot a ser não apenas um ouvinte empático, mas um ouvinte prestativo nessas situações”, disse Levenson.
Quando questionado se sua estratégia de saída envolvia uma aquisição por uma empresa como a Meta, completando seu trabalho na moderação de conteúdo, Levenson disse que reconhece o quão bem Moonbounce se encaixaria na pilha de seu antigo empregador, bem como em seus próprios deveres fiduciários como CEO.
“Meus investidores me matariam por dizer isso, mas eu odiaria ver alguém nos comprar e depois restringir a tecnologia”, disse ele. “Tipo, ‘Ok, isso é nosso agora e ninguém mais pode se beneficiar disso.’”
