Um novo estudo examina o desempenho de grandes modelos de linguagem em uma variedade de contextos médicos, incluindo casos reais de pronto-socorro – onde pelo menos um modelo parecia ser mais preciso do que médicos humanos.
O estudo foi publicado esta semana na revista Science e vem de uma equipe de pesquisa liderada por médicos e cientistas da computação da Harvard Medical School e do Beth Israel Deaconess Medical Center. Os pesquisadores disseram que conduziram uma variedade de experimentos para medir como os modelos da OpenAI se comparam aos médicos humanos.
Numa experiência, os investigadores concentraram-se em 76 pacientes que deram entrada no pronto-socorro de Beth Israel, comparando os diagnósticos oferecidos por dois médicos assistentes com aqueles gerados pelos modelos o1 e 4o da OpenAI. Esses diagnósticos foram avaliados por outros dois médicos assistentes, que não sabiam quais eram de humanos e quais eram de IA.
“Em cada ponto de contato diagnóstico, o1 teve um desempenho nominalmente melhor ou igual ao dos dois médicos assistentes e 4o”, afirmou o estudo, acrescentando que as diferenças “foram especialmente pronunciadas no primeiro ponto de contato diagnóstico (triagem inicial no pronto-socorro), onde há menos informações disponíveis sobre o paciente e maior urgência para tomar a decisão correta”.
No comunicado da Harvard Medical School sobre o estudo, os pesquisadores enfatizam que não “pré-processaram os dados” — os modelos de IA foram apresentados com as mesmas informações que estavam disponíveis nos prontuários eletrônicos no momento de cada diagnóstico.
Com essas informações, o modelo o1 conseguiu oferecer “o diagnóstico exato ou muito próximo” em 67% dos casos de triagem, em comparação com um médico que teve o diagnóstico exato ou próximo em 55% das vezes, e outro que acertou a marca em 50% das vezes.
“Testamos o modelo de IA em praticamente todos os benchmarks e ele eclipsou os modelos anteriores e as linhas de base de nossos médicos”, disse Arjun Manrai, que dirige um laboratório de IA na Harvard Medical School e é um dos principais autores do estudo, no comunicado de imprensa.
Evento Techcrunch
São Francisco, Califórnia
|
13 a 15 de outubro de 2026
Para ser claro, o estudo não afirmou que a IA esteja pronta para tomar decisões reais de vida ou morte na sala de emergência. Em vez disso, afirmou que as descobertas mostram uma “necessidade urgente de ensaios prospectivos para avaliar estas tecnologias em ambientes de cuidados de pacientes do mundo real”.
Os pesquisadores também observaram que estudaram apenas o desempenho dos modelos quando fornecidos com informações baseadas em texto, e que “os estudos existentes sugerem que os modelos básicos atuais são mais limitados no raciocínio sobre entradas não textuais”.
Adam Rodman, um médico de Beth Israel que também é um dos principais autores do estudo, disse ao Guardian que “não existe neste momento uma estrutura formal para a responsabilização” em torno dos diagnósticos de IA, e que os pacientes ainda “querem que os humanos os orientem através de decisões de vida ou morte (e) os orientem através de decisões desafiadoras de tratamento”.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.
