A Anthropic disse esta semana que limitou o lançamento de seu mais novo modelo, apelidado de Mythos, porque é muito capaz de encontrar explorações de segurança em softwares nos quais usuários de todo o mundo confiam.
Em vez de divulgar o Mythos ao público, o laboratório de fronteira irá compartilhá-lo com um grupo de grandes empresas e organizações que operam infraestruturas online críticas, desde Amazon Web Services até JPMorgan Chase. A OpenAI está considerando um plano semelhante para sua próxima ferramenta de segurança cibernética. A ideia ostensiva é permitir que essas grandes empresas se antecipem aos malfeitores que poderiam aproveitar LLMs avançados para penetrar em software seguro.
Mas a palavra “e” na frase acima é uma dica de que pode haver mais nesta estratégia de lançamento do que segurança cibernética – ou o hype das capacidades do modelo.
Dan Lahav, CEO do laboratório de segurança cibernética de IA Irregular, disse ao TechCrunch em março, antes do lançamento do Mythos, que embora a descoberta de vulnerabilidades por ferramentas de IA seja importante, o valor específico de qualquer fraqueza para um invasor depende de muitos fatores, incluindo como eles podem ser usados em combinação.
“A pergunta que sempre tenho em mente”, disse Lahav, “é se eles encontraram algo que pode ser explorado de uma forma muito significativa, seja individualmente ou como parte de uma cadeia?”
A Anthropic diz que a Mythos é capaz de explorar vulnerabilidades muito mais do que seu modelo anterior, o Opus. Mas não está claro se o Mythos é realmente o modelo de segurança cibernética. Aisle, uma startup de segurança cibernética de IA, disse que foi capaz de replicar muito do que a Anthropic diz que a Mythos realizou usando modelos menores e de peso aberto. A equipe de Aisle argumenta que esses resultados mostram que não existe um modelo único de aprendizagem profunda para a segurança cibernética, mas depende da tarefa em questão.
Dado que o Opus já era visto como um divisor de águas para a segurança cibernética, há outra razão pela qual os laboratórios de fronteira podem querer limitar seus lançamentos às grandes organizações: ele cria um volante para contratos de grandes empresas, ao mesmo tempo que torna mais difícil para os concorrentes copiarem seus modelos usando destilação, uma técnica que aproveita modelos de fronteira para treinar novos LLMs de forma barata.
“Esta é uma cobertura de marketing para o fato de que os modelos de ponta agora são controlados por acordos empresariais e não estão mais disponíveis para pequenos laboratórios destilarem”, sugeriu David Crawshaw, engenheiro de software e CEO da startup exe.dev, em uma postagem na mídia social. “Quando você e eu pudermos usar o Mythos, haverá uma nova rotação de ponta que será apenas empresarial. Essa esteira ajuda a manter o fluxo de dólares empresariais (que é a maior parte dos dólares), relegando as empresas de destilação para o segundo lugar”, disse Crawshaw.
Essa análise está de acordo com o que estamos vendo no ecossistema de IA: uma corrida entre laboratórios de fronteira que desenvolvem os modelos maiores e mais capazes, e empresas como a Aisle, que dependem de vários modelos e veem LLMs de código aberto, muitas vezes da China e muitas vezes supostamente desenvolvidos por meio de destilação, como um caminho para a vantagem econômica.
Os laboratórios de fronteira têm adotado uma linha mais dura em relação à destilação este ano, com a Anthropic revelando publicamente o que diz serem tentativas de empresas chinesas de copiar seus modelos, e três laboratórios líderes – Anthropic, Google e OpenAI – se unindo para identificar destiladores e bloqueá-los, de acordo com um relatório da Bloomberg.
A destilação é uma ameaça ao modelo de negócios dos laboratórios de fronteira porque elimina as vantagens proporcionadas pelo uso de grandes quantidades de capital em escala. Bloquear a destilação, então, já é um esforço que vale a pena, mas a abordagem de liberação seletiva para fazê-lo também dá aos laboratórios uma maneira de diferenciar suas ofertas empresariais à medida que a categoria se torna a chave para uma implantação lucrativa.
Ainda não se sabe se o Mythos ou qualquer novo modelo ameaça verdadeiramente a segurança da Internet, e uma implementação cuidadosa da tecnologia é um caminho responsável a seguir.
A Anthropic não respondeu às nossas perguntas sobre se a decisão também se relaciona com questões de destilação até o momento, mas a empresa pode ter encontrado uma abordagem inteligente para proteger a Internet – e seus resultados financeiros.
