PrismML está de volta ao noticiário hoje, depois que o CEO da startup de IA disse à CNBC que a Apple está de olho na tecnologia da empresa. A empresa também lançou seu modelo Bonsai 27B que, segundo ela, funciona em iPhone, iPad e Mac.
O PrismML ganhou as manchetes pela primeira vez na semana passada, quando o The Information relatou sobre a startup de IA.
Esse relatório incluiu menção à realização de reuniões do PrismML com a Apple sobre “maneiras de usar sua tecnologia”.
O relatório também destacou o modelo Bonsai 27B da PrismML, com lançamento previsto para hoje.
Como esperado, o PrismML lançou esse modelo:
Bonsai 27B atinge até 163 tok/s em 1 bit e 134 tok/s em Ternário em uma NVIDIA GeForce RTX 5090. Em um M5 Max, atinge até 87 tok/s em 1 bit e 58 tok/s em Ternário.
Instalar um telefone é uma tarefa mais rigorosa do que os números de armazenamento sugerem. Um telefone nunca expõe toda a sua memória a um aplicativo – um iPhone de 12 GB oferece cerca de 6 GB para o modelo usar no dispositivo, e o modelo compartilha esse orçamento com seu cache KV e ativações. Nenhuma construção convencional de um modelo 27B chega perto de superá-lo. Com cerca de 4 GB, o Bonsai 27B de 1 bit é o primeiro a passar com espaço para trabalhar.
O comunicado de imprensa menciona especificamente a execução nativa do novo modelo em hardware Apple:
O Bonsai 27B roda nativamente em dispositivos Apple (Mac, iPhone, iPad) via MLX e em GPUs NVIDIA via CUDA, por meio de kernels personalizados de baixo bit criados para sua arquitetura de atenção híbrida. Os pesos dos modelos estão disponíveis hoje sob a licença Apache 2.0. Com esta versão, oferecemos uma API de visualização do desenvolvedor gratuita e por tempo limitado para que os desenvolvedores possam testar nosso modelo facilmente.
Enquanto isso, o CEO do PrismML, Babak Hassibi, disse à CNBC que a Apple está interessada na tecnologia do PrismML:
O CEO da PrismML, Babak Hassibi, disse à CNBC que a Apple e outras empresas têm avaliado os modelos da startup e medido sua velocidade, eficiência energética e desempenho nos dispositivos.
“Eles estão realmente avaliando nossa tecnologia agora”, disse Hassibi sobre a Apple.
Ele conhecia as discussões desde muito cedo e disse que ainda não está claro aonde elas irão levar, mas que “as coisas estão progredindo bem”.
A Apple não respondeu imediatamente a um pedido de comentário.
Você pode aprender mais sobre o modelo Bonsai 27B do PrismML aqui e ler o artigo da CNBC na íntegra aqui.
A opinião de 9to5Mac
Vale separar duas coisas aqui. Deixaremos para os especialistas em IA avaliar as reivindicações e a tecnologia do PrismML.
Quanto à conexão com a Apple, está claro que a startup de IA está promovendo a comunicação com a Apple como uma forma de gerar buzz em torno de seu novo lançamento.
Geralmente, é aconselhável manter quaisquer discussões sérias entre as startups e a Apple de maneira mais silenciosa. Caso contrário, cria-se um ambiente para um forte cepticismo.
De qualquer forma, o PrismML conseguiu chamar a atenção do The Information e da CNBC em torno de seu último lançamento. Missão de curto prazo cumprida.
FTC: Usamos links de afiliados automotivos para geração de renda. Mais.