O consultor científico da Casa Branca, Michael Kratsios, disse que a Moonshot, a empresa chinesa por trás do Kimi K3, o maior LLM de peso aberto disponível, construiu seu modelo copiando o Fable LLM da Anthropic enquanto usava chips que não são liberados para exportação para a China.
“A destilação industrial secreta em grande escala destinada a roubar tecnologia proprietária dos EUA e minar a pesquisa americana é inaceitável”, escreveu Kratsios, em meio a discussões sobre a proibição de modelos chineses de peso aberto que perturbaram o setor de IA. Moonshot não respondeu às perguntas sobre seu processo de treinamento e Kratsios não compartilhou mais detalhes sobre as fontes de sua confiança.
O tweet de Kratsios ecoou comentários do secretário do Tesouro, Scott Bessent, de que “estamos a encontrar marcas de água dos nossos grandes modelos linguísticos dos EUA em muitos dos modelos chineses, e isso é inaceitável”. Não está claro em que consistem essas marcas d’água e o Departamento do Tesouro não respondeu a uma pergunta.
No entanto, os especialistas estão céticos de que a destilação – o processo de consultar um LLM para determinar seu funcionamento interno e copiar suas capacidades – seja responsável pelos recursos avançados que o Kimi K3 exibe.
“Não acho que você consiga um modelo tão forte e tão rápido na esteira do Fable fazendo estritamente destilação”, disse Braden Hancock, pesquisador do Laude Institute e cofundador do Snorkel AI, ao TechCrunch. “Francamente, não há tempo, certo? O Fable só está disponível publicamente desde 1º de julho. Você não pode destilar tantos dados, treinar um modelo e liberá-lo em duas semanas.”
“Sou da opinião de que a destilação tem se tornado cada vez menos impactante ao longo do tempo, à medida que os modelos chineses se aproximam da fronteira e o regime de treinamento muda para (aprendizado por reforço)”, disse Nathan Lambert, pesquisador de IA do Allen Institute for AI, em um podcast lançado ontem. “(Se) fosse o caso, todos seriam facilmente capazes de alcançar um GLM ou um K3 usando seus dados para destilação. Mas não vimos, ou não veremos isso, apenas com o ajuste fino supervisionado.”
A realização da destilação exige que um laboratório consulte sistematicamente seu modelo de destino para gerar dados que possam ser usados no pós-treinamento. Às vezes, isso envolve explicitamente pedir ao modelo que articule sua cadeia de pensamento para entender como ele resolve problemas. Outras vezes, os prompts e respostas de um modelo são usados para treinar um novo modelo em um processo chamado ajuste fino supervisionado, ou SFT.
É esse processo de ajuste fino que pode resultar em um modelo aparentemente criado por um terceiro que afirma ser Claude. O ajuste fino é onde, na opinião de Lambert, o “modelo adquire suas maneiras”.
Mas Lambert diz que os benefícios do SFT estão a tornar-se menos importantes à medida que os modelos se tornam mais complexos. Destilar capacidades semelhantes às do Fable provavelmente exigiria técnicas de aprendizagem por reforço. Em muitos casos, isso significa fazer com que um agente do modelo maior avalie as respostas do modelo menor e faça ajustes com base na nota.
As técnicas mais avançadas também requerem infra-estruturas mais significativas. Grandes execuções de aprendizado por reforço podem exigir dezenas de milhões de agentes. Usar a API de um laboratório de fronteira para fazer isso “seria extremamente caro e provavelmente seria um gargalo de tempo porque esses modelos são muito lentos e, para ser franco, podem nem mesmo proporcionar um aumento de desempenho”.
Parece provável que os modelos de fronteira anteriores possam ter contribuído para Kimi; A Anthropic acusou publicamente Moonshot, DeepSeek e MiniMax de destilar sistematicamente seus modelos no início deste ano. A Anthropic disse que descobriu milhões de trocas entre seus modelos e usuários identificados nessas empresas por meio de endereços IP e outros metadados. Essas consultas eram “distintas dos padrões de uso normais, refletindo a extração deliberada de capacidade, em vez do uso legítimo”. A Anthropic não respondeu às perguntas do TechCrunch sobre a destilação Fable.
No entanto, a destilação é vista como comum entre as empresas de IA, não apenas na China. Elon Musk testou no início deste ano que sua empresa SpaceXAI destilou modelos OpenAI para desenvolver Grok, e que a prática era comum na indústria. A linha entre a destilação e o desenvolvimento de conjuntos de dados sintéticos, por exemplo, pode ser bastante confusa.
“(I)em geral, os americanos estão subestimando a experiência técnica dessas equipes chinesas”, disse Hancock. “Um dos fundadores do Moonshot era um estudante de doutorado da CMU. Esses são pesquisadores e engenheiros legítimos que fazem um trabalho sólido. …se os modelos americanos parassem, acho que o progresso da China desaceleraria, mas continuaria. Eles não estão apenas seguindo o exemplo aqui.”
Também é difícil separar a destilação da segunda parte do comentário de Kratsios – que Moonshot obteve chips Nvidia avançados, Grace Blackwell 300s, e também acessou servidores equipados com GB300 na Tailândia. A exportação desses chips para a China está proibida, mas existe um mercado negro, de acordo com Sam Bresnick, pesquisador do Centro de Segurança e Tecnologia Emergente de Georgetown. Em maio, o fundador da Supermicro, uma construtora de servidores dos EUA, foi indiciado por contrabandear chips avançados para a China.
“Sou um defensor do conhecimento das leis do cliente para data centers em todo o mundo”, disse Bresnick. “Se você está permitindo que uma empresa conduza grandes treinamentos em seu hardware de última geração, é necessário que haja um mecanismo de relatório sobre quem é essa empresa e o que ela está fazendo.”
O Departamento de Comércio do presidente Joe Biden propôs regras federais de conhecimento do cliente para data centers em 2024, mas nenhum progresso adicional parece ter sido feito sob Donald Trump. Os exportadores que enviam chips avançados para o exterior, no entanto, devem garantir que sejam usados apenas para fins aprovados.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.