O ChatGPT Health regularmente ignora a necessidade de cuidados médicos urgentes e frequentemente falha em detectar ideação suicida, descobriu um estudo da plataforma de IA, que os especialistas temem que possa “levar a danos desnecessários e morte”.
A OpenAI lançou o recurso “Saúde” do ChatGPT para públicos limitados em janeiro, que promove como uma forma de os usuários “conectarem com segurança registros médicos e aplicativos de bem-estar” para gerar conselhos e respostas de saúde. Mais de 40 milhões de pessoas pedem conselhos relacionados à saúde ao ChatGPT todos os dias.
A primeira avaliação independente de segurança do ChatGPT Health, publicada na edição de fevereiro da revista Nature Medicine, constatou que ele subavaliou mais da metade dos casos que lhe foram apresentados.
O autor principal do estudo, Dr. Ashwin Ramaswamy, disse que “queríamos responder à questão de segurança mais básica; se alguém estiver tendo uma emergência médica real e perguntar ao ChatGPT Health o que fazer, ele dirá para ir ao pronto-socorro?”
Ramaswamy e seus colegas criaram 60 cenários realistas de pacientes, abrangendo condições de saúde, desde doenças leves até emergências. Três médicos independentes analisaram cada cenário e concordaram com o nível de cuidados necessários, com base nas orientações clínicas.
Inscreva-se: e-mail de notícias de última hora da UA
A equipe então pediu conselhos ao ChatGPT Health sobre cada caso sob diferentes condições, incluindo mudança de sexo do paciente, adição de resultados de testes ou comentários de familiares, gerando quase 1.000 respostas.
Compararam então as recomendações da plataforma com as avaliações dos médicos.
Embora tenha tido um bom desempenho em emergências clássicas, como derrames ou reações alérgicas graves, teve dificuldades em outras situações. Num cenário de asma, aconselhou esperar em vez de procurar tratamento de emergência, apesar de a plataforma identificar sinais de alerta precoce de insuficiência respiratória.
Em 51,6% dos casos em que alguém precisava de ir ao hospital imediatamente, a plataforma dizia para ficar em casa ou marcar uma consulta médica de rotina, um resultado que Alex Ruani, investigador doutorado em mitigação de desinformação em saúde da University College London, descreveu como “inacreditavelmente perigoso”.
“Se você estiver com insuficiência respiratória ou cetoacidose diabética, você tem 50/50 de chance de esta IA lhe dizer que não é grande coisa”, disse ela. “O que mais me preocupa é a falsa sensação de segurança que estes sistemas criam. Se alguém for instruído a esperar 48 horas durante um ataque de asma ou uma crise diabética, essa garantia poderá custar-lhe a vida.”
Numa das simulações, oito em cada 10 vezes (84%), a plataforma enviou uma mulher sufocada para uma consulta futura que ela não viveria para ver, disse Ruani. Enquanto isso, 64,8% dos indivíduos completamente seguros foram orientados a procurar atendimento médico imediato, disse Ruani, que não esteve envolvido no estudo.
A plataforma também tinha quase 12 vezes mais probabilidade de minimizar os sintomas porque o “paciente” disse a um “amigo” no cenário que sugeria que não era nada sério.
“É por isso que muitos de nós que estudamos estes sistemas estamos focados no desenvolvimento urgente de padrões de segurança claros e mecanismos de auditoria independentes para reduzir danos evitáveis”, disse Ruani.
Um porta-voz da OpenAI disse que embora a empresa tenha saudado pesquisas independentes que avaliam sistemas de IA na saúde, o estudo não reflete como as pessoas normalmente usam o ChatGPT Health na vida real. O modelo também é continuamente atualizado e refinado, disse o porta-voz.
Ruani disse que embora tenham sido utilizadas simulações criadas pelos pesquisadores, “um risco plausível de dano é suficiente para justificar salvaguardas mais fortes e supervisão independente”.
Ramaswamy, instrutor de urologia da a Escola de Medicina Icahn no Monte Sinai, nos EUA, disse estar particularmente preocupado com a sub-reação da plataforma à ideação suicida.
“Testamos o ChatGPT Health com um paciente de 27 anos que disse estar pensando em tomar muitos comprimidos”, disse ele. Quando o paciente descrevia sozinho seus sintomas, o banner de intervenção em crise vinculado aos serviços de ajuda ao suicídio aparecia sempre.
“Depois adicionamos resultados laboratoriais normais”, disse Ramaswamy. “Mesmo paciente, mesmas palavras, mesma gravidade. O banner desapareceu. Zero em 16 tentativas. Uma proteção de crise que depende de você ter mencionado que seus laboratórios não estão prontos, e é indiscutivelmente mais perigoso do que não ter proteção alguma, porque ninguém pode prever quando ela irá falhar.”
O professor Paul Henman, sociólogo digital e especialista em políticas da Universidade de Queensland, disse; “Este é um artigo muito importante”.
“Se o ChatGPT Health fosse usado por pessoas em casa, isso poderia levar a um número maior de apresentações médicas desnecessárias para condições de baixo nível e à falha das pessoas em obter cuidados médicos urgentes quando necessário, o que poderia levar a danos desnecessários e morte.”
Ele disse que isso também levantou as perspectivas de responsabilidade legal, com uma série de processos legais contra empresas de tecnologia já em andamento em relação ao suicídio e automutilação após o uso de chatbots de IA.
“Não está claro o que a OpenAI pretende alcançar ao criar este produto, como foi treinado, quais proteções introduziu e quais avisos fornece aos usuários”, disse Henman.
“Como não sabemos como o ChatGPT Health foi treinado e qual o contexto que utilizou, não sabemos realmente o que está incorporado em seus modelos.”
