Durante meses, os gigantes da IA desenvolveram programas especiais controlados e proteções rígidas para limitar o uso de seus modelos por hackers mal-intencionados. Mas estes limites estão agora a dificultar o trabalho dos legítimos defensores da rede, bem como o dos investigadores ofensivos em matéria de cibersegurança.
Em junho, o governo dos EUA impôs restrições de controle de exportação aos tão elogiados modelos de IA da Anthropic, Mythos e Fable. A mudança foi motivada, pelo menos em parte, por um relatório que afirmava ser possível contornar as proteções dos modelos projetadas para impedir que os usuários os usassem para construir e executar ataques cibernéticos maliciosos.
Independentemente de o incidente ter sido realmente motivado pelo medo de um jailbreak, o fato é que a Anthropic comercializou repetidamente o Mythos como uma espécie de cibermáquina do Juízo Final que só pode ser dada a usuários cuidadosamente examinados, e mesmo assim com proteções rígidas em vigor. (Os controles de exportação do Fable 5 e do Mythos 5 foram suspensos desde então. O Fable 5 voltou ao acesso geral em 1º de julho; o Mythos 5 foi reintroduzido apenas para organizações avaliadas dos EUA como parte do processo de revisão do governo.)
Esse tipo de controle não é exclusivo do Mythos. Tanto a Anthropic, com seus outros modelos, quanto a OpenAI oferecem aos pesquisadores de segurança cibernética programas que eles podem se inscrever para serem avaliados e – se aprovados – acessar modelos com menos restrições de segurança cibernética: o Trusted Access for Cyber da OpenAI e o programa de verificação cibernética da Anthropic.
Estas barreiras de proteção têm sido amplamente suspeitadas, especialmente por investigadores cujo trabalho é encontrar vulnerabilidades desconhecidas em sistemas e conceber formas de as explorar antes que os criminosos o façam.
Durante uma recente aparição em um podcast de segurança cibernética, Mark Dowd, um conhecido pesquisador de segurança, disse que “não é muito confortável para mim que essas grandes empresas aleatórias estejam tomando decisões arbitrárias sobre o que é seguro e o que não é”.
Dowd passou décadas a encontrar e a vender “dias zero” – falhas de software anteriormente desconhecidas e as explorações que tiram partido delas – aos governos ocidentais, em vez de as reportar aos fabricantes de software para que fossem corrigidas. Os governos pagam um prémio pelas vulnerabilidades precisamente porque permanecem abertas, o que é útil para operações de inteligência.
Dowd admitiu que seu trabalho pode torná-lo tendencioso, mas ele não está sozinho. Várias pessoas que trabalham em segurança cibernética ofensiva – elas investigam proativamente os sistemas em busca de pontos fracos – descreveram ao TechCrunch como usam ferramentas de IA e lidam com suas barreiras de proteção.
Chris Anley, cientista-chefe do gigante de consultoria de segurança NCC Group, disse que pedir a um modelo de IA para tentar explorar um bug é um passo fundamental para confirmar que é uma vulnerabilidade real que vale a pena consertar. Mas se uma barreira de proteção leva o modelo a se recusar a responder à pergunta abertamente, a barreira de proteção prejudica os defensores, disse ele.
“É aqui que entra toda a parte ofensiva versus defensiva e de proteção, porque ‘consertar este código’ como um prompt é um mecanismo essencial para defesa, mas também um roteiro para encontrar vulnerabilidades críticas na base de código”, disse Anley. “Portanto, ao mesmo tempo, a mesma ferramenta é tanto uma ferramenta ofensiva quanto uma ferramenta defensiva, e as duas não podem ser desfeitas.”
É “como um martelo”, continuou ele. “Você não pode construir uma casa sem um martelo. É definitivamente uma ferramenta, mas também é irredutivelmente uma arma.”
Quando ele e seus colegas se deparam com esse obstáculo, às vezes recorrem a modelos de IA de código aberto que não possuem nenhuma proteção.
Paolo Stagno, diretor de tecnologia da CrowdFense, uma empresa conhecida que desenvolve, adquire e vende vulnerabilidades desconhecidas para agências governamentais, concordou com Dowd, dizendo que as empresas de IA “tratam essencialmente os clientes como crianças que precisam de babá” com seus programas e proteções controlados.
Stagno disse que ele e seus colegas deveriam usar modelos de fronteira – mas apenas para engenharia reversa. Eles evitam usar IA para ajudar a encontrar vulnerabilidades ou criar explorações, disse ele, porque alimentar esse trabalho em um modelo baseado em nuvem corre o risco de vazar dados confidenciais de vulnerabilidade ou de serem absorvidos em futuras execuções de treinamento. Para essa etapa, disse ele, eles usam modelos de código aberto executados localmente, pois não dependem do compartilhamento de dados fora do modelo.
Giuseppe Cali, um pesquisador de segurança que encontra zero-days e desenvolve exploits, disse que as proteções não estão impedindo seu trabalho. Isso porque ele não usa IA para trabalhos ofensivos; em vez disso, ele o utiliza para engenharia reversa inicial, para entender o código que está analisando e para construir ferramentas de suporte. Para isso, disse ele, as ferramentas de IA podem acelerar o processo e permitir que ele se concentre na descoberta de vulnerabilidades.
“Eu ainda quero ser o dono da descoberta de bugs e do armamento e isso não mudaria se todas as barreiras de proteção fossem levantadas amanhã”, disse Cali. “Tenho inveja dos meus bugs e gosto demais deste jogo para deixar as modelos jogarem para mim.”
Um pesquisador de uma fabricante de componentes para smartphones, que falou sob condição de anonimato porque não está autorizado a falar com a imprensa, disse que seu empregador não faz parte do programa CVP da Anthropic e, como resultado, suas ferramentas são pouco úteis para encontrar vulnerabilidades porque as proteções são muito rígidas.
“Se pegar vento, estamos fazendo algo relacionado à segurança, ele simplesmente para e não pode ser usado”, disse a pessoa.
Chris Thompson – executivo-chefe de segurança cibernética da RemoteThreat e fundador da Offensive AI Con, um evento ofensivo de segurança e focado em IA – disse que em sua experiência usando os modelos de IA de fronteira, as proteções podem ser inconsistentes e funcionar de maneira diferente a cada dia. Isso é verdade mesmo dentro dos limites mais flexíveis dos programas examinados da Anthropic e da OpenAI.
“Acho que o impacto prático é que você gasta muito tempo negociando com o modelo em vez de trabalhar no programa de segurança principal”, disse Thompson. “Em vez de analisar uma vulnerabilidade e raciocinar sobre a capacidade de exploração, você está tentando descobrir por que está obtendo resultados inconsistentes ou por que os modelos estão higienizando excessivamente a saída.”
Como consequência, os pesquisadores confiam ou são empurrados para modelos chineses de código aberto como o GLM – modelos que podem ser baixados gratuitamente e podem ser executados localmente sem verificação ou restrições de uso – disse Thompson.
“Há estes investigadores responsáveis que estão a ser afastados dos sistemas governados pelos EUA para sistemas de propriedade estrangeira”, disse ele. “Acho que é mais prejudicial do que bom ter essas grades de proteção no lugar.”
Em vez de restringir ainda mais as restrições, Thompson pediu que os laboratórios de fronteira de IA abrissem seus programas, fornecessem acesso responsável e também responsabilizassem aqueles que abusam de suas ferramentas. Caso contrário, ele teme, os defensores perderão a corrida pela IA.
“Há uma grande tempestade chegando. Há uma grande onda de ataques que acontecerão em velocidade e escala como nunca antes”, disse Thompson. “Mas as mesmas empresas de consultoria de segurança e pesquisadores legítimos que estão tentando fazer a diferença estão sendo sufocadas neste momento.”
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.