No meio da presença crescente de ferramentas de inteligência artificial em saúde, um novo estudo alertou que os Chatbots de IA são muito vulneráveis a repetir e preparar informações médicas falsas.
Pesquisadores da Escola de Medicina Icahn em Mount Sinai, EUA, revelaram uma necessidade crítica de salvaguardas mais fortes antes que essas ferramentas possam confiar nos cuidados de saúde.
A equipe também demonstrou que um simples aviso de alerta construído de maneira significativa pode reduzir o risco e oferecer um caminho prático à medida que a tecnologia se desenvolve rapidamente.
“O que vimos em toda a linha é que os Chatbots da AI podem ser facilmente enganados por detalhes médicos falsos, se esses erros são intencionais ou não intencionais”, disse o principal autor Mahmud Omar, da Varsity.
“Eles não apenas repetiram as informações de erro, mas muitas vezes foram expandidos e oferecem explicações seguras para condições inexistentes. A parte encorajadora é que um aviso simples e de uma linha aumentou drasticamente para os cortes rápidos dessas alucinações, o que mostra que pequenas medidas de proteção podem fazer uma grande diferença”, gasto.
Para o estudo, detalhado na revista Communications Medicine, a equipe criou cenários fictícios de pacientes, cada um continha um termo médico fabricado, como uma doença composta, sintomas ou testes e os entregou a liderar grandes modelos de idiomas.
Na primeira rodada, os chatbots examinaram os cenários sem orientação extra. Na segunda rodada, os pesquisadores adicionaram uma cautela de uma linha ao prompt e lembraram a IA de que as informações fornecidas podem estar incorretas.
Sem o aviso, o chatbot é preparado rotineiramente sobre os falsos detalhes médicos e certamente gera explicações sobre condições ou tratamentos que não existem. Mas com o prompt extra, esses erros foram significativamente reduzidos.
A equipe planeja aplicar a mesma abordagem aos registros reais e não identificados dos pacientes e testar tarefas mais avançadas de segurança e escolher ferramentas.
Eles esperam que seu método de “termo falso” possa servir como uma ferramenta simples, mas poderosa, para hospitais, desenvolvedores técnicos e autoridades de supervisão para testar os sistemas de IA antes do uso clínico.
Esta história foi tirada de um feed sindicado de terceiros, agências. O meio do dia não aceita nenhuma responsabilidade por sua confiabilidade, confiabilidade, confiabilidade e dados para o texto. O Middle Management/Mid-Day.com se reserva o único direito de alterar, excluir ou excluir (sem aviso prévio) conteúdo após sua avaliação absoluta por algum motivo.
