Uptime Industries Competições em uma infraestrutura de IA local com um dispositivo portátil “AI-in-a-Box” chamado Lemony AI.
Do tamanho de um sanduíche, a Citroenonie AI pode supostamente executar um grande modelo de linguagem (LLM), agentes de IA e fluxos de trabalho de IA em um cruzamento. Cada tipo de limão requer apenas 65 watts de potência, o equivalente a carregar um laptop e pode ser empilhado e conectado para formar aglomerados de IA maiores.
Sascha Buehrle, co-fundadora e CEO da Uptime, disse ao TechCrunch que todo nó pode suportar um LLM até 75 bilhões de parâmetros em tamanho e host modelos de código aberto ou versões desfavorecidas de modelos fechados. Em um cluster de nós semelhantes a limão, cada dispositivo pode executar um modelo diferente.
O Uptime é lançado com parcerias com a IBM e a JetBrains para oferecer a seus clientes mais facilmente acessando os modelos de IA, incluindo os modelos fechados da IBM.
Como a maioria das startups técnicas, a idéia de Lemony IA surgiu de um projeto paralelo: co-fundadores do tempo de atividade, Buehrle e Ivan Kuleseshov, tentaram descobrir se eles poderiam distribuir modelos de linguagem sobre os microcomputadores do Raspberry Pi e, embora isso não estivesse originalmente relacionado ao AI-P gerativo.
Quando eles perceberam que a execução de modelos em dispositivos locais poderia provar a chave para desbloquear mais aceitação da IA por organizações-por exemplo, empresas que não desejam usar modelos baseados em nuvem para construir seu próprio dispositivo. Eles pensaram que se tornaram pequenos com a ênfase nos dados que a privacidade poderia obter, as empresas poderiam trazer a IA mais rapidamente.
“Temos que construir algo pequeno que possa facilmente entrar nas equipes e que (o fazem) não precisam de um princípio de tomada de decisão em toda a organização de soluções generativas de IA em local nas equipes de negócios”, disse Buehrle. Clusters de dispositivos pequenos e poderosos podem ajudar o sistema a crescer de acordo com as necessidades de um cliente, acrescentou.
A empresa diz que já viu uma forte questão de negócios em indústrias fortemente regulamentadas, como finanças, assistência médica e direitos.
“Tudo fica na sua caixa”, disse Buehrle. “Então, seus documentos, seus arquivos, seus eilos E – os modelos estão hospedados na caixa, os agentes são executados localmente na caixa e nada sai da caixa”.
Até agora, o tempo de atividade coletou US $ 2 milhões em uma rodada de financiamento de sementes liderada por verdadeiros empreendimentos, com a participação de empresas de ex -alunos, jetbrains e alguns investidores da Engel. A empresa usará os fundos para desenvolver ainda mais seus dispositivos.
A startup diz que o plano é agora obter o software desenvolvido para seus computadores micro AI, a Lemony OS, para trabalhar no hardware de outras empresas, como o NVIDIA DGX Spark. Ele também deseja expandir o software de seu foco atual com um usuário para um que pode ser usado pelas equipes.
A Lemony AI custa US $ 499 por mês para usar e é acessível por um máximo de cinco usuários.
