Todos os olhos da IA podem estar no GPT-5 nesta semana, o mais novo modelo de idioma do OpenAI. Mas, olhando além do hype (e da decepção), houve um grande anúncio do OpenAI nesta semana: o GPT-ROSS, um novo modelo de IA que você pode executar localmente em seu próprio dispositivo. Deixei funcionar no meu laptop e no meu iMac, embora não tenha tanta certeza de que recomendo que você faça o mesmo.
Qual é o problema com o GPT-ROSS?
O GPTs é, assim como o GPT-5, um modelo de IA. Em contraste com o mais recente e melhor LLM do Openai, no entanto, o GPT-OSS é o ‘peso aberto’. Isso permite que os desenvolvedores ajustem o modelo e ajustem -os aos seus casos de uso específicos. No entanto, é diferente do código aberto: o OpenAI deveria ter incluído o código subjacente para o modelo e os dados nos quais o modelo foi treinado. Em vez disso, a empresa simplesmente fornece aos desenvolvedores acesso aos ‘pesos’ ou, em outras palavras, os controles de como o modelo entende as relações entre os dados.
Eu não sou um desenvolvedor, então não posso me beneficiar dessa vantagem. O que posso fazer com o GPT-ROSS que não posso fazer com o GPT-5, o modelo é realizado localmente no meu Mac. A grande vantagem lá, pelo menos para um usuário em geral como eu, é que eu posso executar um LLM sem uma conexão com a Internet. Isso pode tornar isso a maneira mais privada para usar um modelo OpenAI, dado a empresa que todos os dados que eu gero quando uso o ChatGPT.
O modelo vem de duas formas: GPT-20B e GPT-OSS-120B. Este último é de longe o LLM mais poderoso e foi projetado como tal para ser executado em máquinas com pelo menos 80 GB de memória do sistema. Não tenho computadores com quase essa quantidade de RAM, então não há 120b para mim. Felizmente, o mínimo de memória de GPT-20B é de 16 GB: é exatamente quanto a memória meu M1-IMAC tem e dois gigabytes menores que o meu M3 Pro MacBook Pro.
Instale o GPT-Oss em um Mac
A instalação do GPT-OSS é surpreendentemente fácil em um Mac: você só precisa de um programa com o nome Ollama, com o qual você pode correr localmente para o LLMS em sua máquina. Depois de baixar o Ollama para o seu Mac, abra -o. O aplicativo se parece essencialmente com qualquer outro chatbot que você possa ter usado antes, apenas você pode escolher entre vários LLMs diferentes para baixar para sua máquina primeiro. Clique no seletor de modelo ao lado do botão de remessa e pesquise “GPT-ROSS: 20B”. Escolha e envie uma mensagem que você deseja ativar um download. Na minha experiência, você precisa de pouco mais de 12 GB para o download.
Como alternativa, você pode usar o aplicativo de terminal do seu Mac para baixar o LLM, executando a seguinte tarefa: Ollama Run Gpt-Oss: 20b. Depois que o download estiver concluído, você estará pronto para ir.
Realize o GPTs no meu Macs
Com o GPT-OSS-20B nos dois Macs, eu estava pronto para colocá-los à prova. Parei quase todos os meus programas ativos para colocar o maior número possível de recursos para executar o modelo. Os únicos aplicativos ativos eram obviamente Ollama, mas também o monitor de atividades, para que eu pudesse ficar de olho em quão difícil meus Macs eram.
Comecei com um simples: “O que é 2+2?” Depois que voltei às duas palavras -chave, vi sinos de bate -papo processando a solicitação, como se Ollama digitasse. Eu também podia ver que a memória de ambas as minhas máquinas foi empurrada para o máximo.
Ollama para o meu MacBook pensou 5,9 segundos sobre o pedido para escrever: “O usuário pergunta:” O que é 2+2 “. É uma pergunta aritmética simples. A resposta é 4. Deve responder. Não é necessário mais elaboração, mas pode experimentar qualquer necessidade de contexto extra”. Então ele respondeu à pergunta. Todo o processo levou cerca de 12 segundos. Meu iMac, por outro lado, pensou em escrever por quase 60 segundos: “O usuário pergunta:” O que é 2+2 “. É uma pergunta aritmética simples. A resposta é 4. Deve responder. Não é necessário mais elaboração, mas pode responder educadamente. Não há necessidade de contexto extra”. Demorou um total de cerca de 90 segundos depois de responder à pergunta. É muito tempo para descobrir a resposta para 2+2.
Então eu tentei algo que eu tinha visto GPT-5 com: “Quanto BS em mirtilo?” Novamente, meu MacBook começou a gerar uma resposta muito mais rápida que o meu iMac, o que não é inesperado. Embora ainda fosse lento, veio com um ritmo razoável com texto, enquanto meu iMac teve problemas para remover cada palavra. O MacBook levou cerca de 90 segundos, enquanto meu iMac levou cerca de 4 minutos e 10 segundos. Ambos os programas podem responder corretamente que existem de fato dois Bs em mirtilos.
Eventualmente, eu perguntei quem era o primeiro rei da Inglaterra. Embora eu não esteja familiarizado com essa parte da história inglesa, presumi que essa seria uma resposta simples. Mas, aparentemente, é complicado, então realmente fez o modelo pensar. Meu MacBook Pro precisa de dois minutos para responder completamente à pergunta – é Æthelstan ou Alfred, o grande, dependendo de quem você perguntar – enquanto meu iMac durou nada menos que 10 minutos. Para ser sincero, demorou muito tempo para mencionar reis de outros reinos antes da Inglaterra United sob uma bandeira. Pontos por esforço extra.
O que você acha até agora?
GPTs em comparação com chatgpt
Esses três testes simples mostram que o chip M3 Pro do meu MacBook e a RAM extra de 2 GB esmagou o chip M1 do meu iMac com 16 GB de RAM. Mas isso não deve dar muito crédito ao MacBook Pro. Algumas dessas respostas ainda são dolorosamente lentas, especialmente em comparação com a experiência completa do ChatGPT. Foi o que aconteceu quando conecto as mesmas três perguntas ao meu aplicativo ChatGPT, que agora executa o GPT-5.
-
Para a pergunta “O que é 2+2”, Chatgpt respondeu quase imediatamente.
-
Quando perguntado “quanto BS in Blueberry”, Chatgpt respondeu em cerca de 10 segundos. (Parece que o OpenAI resolveu o problema do GPT-5 aqui.)
-
Para a pergunta “quem foi o primeiro rei da Inglaterra”, Chatgpt respondeu em cerca de 6 segundos.
Demorou o osso por mais tempo para pensar que a questão do mirtilo do que considerar a complexa história da família real da Inglaterra.
Provavelmente não vou usar muito o GPT
Eu não sou alguém que usa tanto o chatgpt na minha vida diária, então talvez eu não seja o melhor tópico de teste para essa experiência. Mas, mesmo se eu fosse um usuário ávido do LLM, o GPTs é lentamente lentamente no meu hardware pessoal para eu considerar usá-lo em tempo integral.
Comparado ao meu IMAC, o GPT-ROSS se sente rapidamente no meu MacBook Pro. Mas, comparado ao aplicativo ChatGPT, o GPT-OSS rastreia. Na verdade, existe apenas uma área em que o GPTs brilha acima da experiência completa do ChatGPT: privacidade. Não posso evitar, mas aprecio que, embora seja lento, nenhuma das minhas perguntas é enviada ao Openai, ou a outra pessoa nesse sentido. Todo o processamento é feito localmente no meu Mac, para que eu possa ter certeza de que tudo o que uso para o osso permanece privado.
Isso por si só pode ser um bom motivo para recorrer a Ollama no meu MacBook Pro quando sinto a suspeita de usar a IA. Eu realmente não acho que posso pressionar meu iMac, exceto talvez a experiência de usar a Internet nos anos 90. Mas se sua máquina pessoal é bastante poderosa – digamos, um Mac com um chip profissional ou max e 32 GB de RAM ou mais – esse é talvez o melhor de dois mundos. Eu gostaria de ver como o GPT-20B escala esse tipo de hardware. Por enquanto, tenho que lidar com lento e privado.
Publicação: Ziff Davis, empresa controladora da LifeHacker, iniciou uma ação contra o Openai em abril, que alegou que violava os direitos dos autores de Ziff Davis ao treinar e operar seus sistemas de IA.