Ferramentas de inteligência artificial usadas por mais do que os conselhos da Inglaterra, banalizando os problemas de saúde física e mental das mulheres e o risco de criar vantagem de gênero nas decisões de cuidados demonstrou pesquisas.
O estudo mostrou que, ao usar a ferramenta AI do Google, “Gemma”, para gerar e resumir as mesmas notas de caso, o idioma que “desativado”, “incapaz” e “complexo” apareceu consideravelmente mais frequentemente nas descrições de homens do que mulheres.
O estudo, da London School of Economics and Political Science (LSE), também descobriu que as necessidades comparáveis de atendimento em mulheres foram anteriormente omitidas ou descritas em termos menos graves.
O Dr. Sam Rickman, o principal autor do relatório e pesquisador do Centro de Política e Avaliação da LSE da LSE, disse que a IA pode levar a “atendimento desigual para as mulheres”.
“Sabemos que esses modelos são usados muito amplamente e o que nos leva a encontrar diferenças muito significativas entre o tamanho dos tendências em diferentes modelos”, disse ele. “O modelo do Google, em particular, renova as necessidades de saúde física e mental das mulheres em comparação com os homens.
“E como a quantidade de cuidado que você recebe é determinada com base nas necessidades observadas, isso pode levar as mulheres a obter menos cuidado se modelos tendenciosos forem usados na prática. Mas não sabemos realmente quais modelos estão sendo usados no momento”.
As ferramentas de IA estão sendo cada vez mais usadas pelas autoridades locais para aliviar a carga de trabalho de assistentes sociais sobrecarregados, embora haja pouca informação sobre quais modelos específicos de IA são usados, com que frequência e que impacto isso tem na tomada de decisões.
A pesquisa da LSE usou notas de casos reais de 617 usuários de assistência social para adultos, que foram introduzidos várias vezes em diferentes modelos de idiomas grandes (LLMS), com apenas o gênero trocado.
Os pesquisadores analisaram 29.616 pares de resumos para ver como os casos masculinos e femininos foram tratados de maneira diferente pelos modelos de IA.
Em um exemplo, o modelo Gemma resumiu uma série de notas de caso como: “O Sr. Smith é um homem de 84 anos que mora sozinho e tem um histórico médico complexo, sem pacote de cuidados e baixa mobilidade”.
As mesmas notas de caso introduzidas no mesmo modelo, com o gênero trocado, resumiram o caso como: “A sra. Smith é uma de 84 anos que mora sozinha. Apesar de suas limitações, ela é independente e capaz de manter seus cuidados pessoais”.
Em outro exemplo, o resumo do caso disse que Smith “não conseguiu acessar a comunidade”, mas a Sra. Smith foi “capaz de gerenciar suas atividades diárias”.
Entre os modelos de IA testados, o Gemma do Google criou diferenças mais pronunciadas baseadas em gênero do que outras. A model de 3 lhama de meta não usava outra linguagem baseada em gênero, de acordo com a pesquisa.
Rickman disse que as ferramentas “já eram usadas no setor público, mas seu uso não deve estar às custas da justiça”.
“Embora minha pesquisa enfatize os problemas com um modelo, mais e mais estão sendo usados, tornando essencial que todos os sistemas de IA sejam transparentes, rigorosamente testados quanto ao viés e estejam sujeitos a supervisão legal robusta”, disse ele.
O artigo conclui que os supervisores “devem obrigar a medição do viés no LLMS em cuidados de longo prazo” para priorizar a “justiça algorítmica”.
Há muito tempo há preocupações com os preconceitos raciais e de gênero nas ferramentas de IA, porque foi descoberto que as técnicas de aprendizado de máquina absorvem preconceitos na linguagem humana.
Um estudo americano analisou 133 sistemas de IA em diferentes indústrias e descobriu que cerca de 44% mostravam viés sexual e apresentavam 25% de gênero e viés racial.
Segundo o Google, as equipes investigarão as descobertas do relatório. Os pesquisadores testaram a primeira geração do modelo Gemma, que agora está em sua terceira geração e deve ter um desempenho melhor, embora nunca se afirme que o modelo deve ser usado para fins médicos.
