Início Tecnologia A pesquisa em inteligência artificial tem um problema de desleixo, dizem os...

A pesquisa em inteligência artificial tem um problema de desleixo, dizem os acadêmicos: ‘É uma bagunça’

12
0
A pesquisa em inteligência artificial tem um problema de desleixo, dizem os acadêmicos: ‘É uma bagunça’

Uma única pessoa afirma ter sido autora de 113 artigos académicos sobre inteligência artificial este ano, 89 dos quais serão apresentados esta semana numa das principais conferências mundiais sobre IA e aprendizagem automática, o que levantou questões entre os cientistas da computação sobre o estado da investigação em IA.

O autor, Kevin Zhu, recentemente concluiu o bacharelado em ciência da computação na Universidade da Califórnia, Berkeley, e agora dirige a Algoverse, uma empresa de pesquisa e orientação em IA para alunos do ensino médio – muitos dos quais são seus coautores nos artigos. O próprio Zhu se formou no ensino médio em 2018.

Os artigos que publicou nos últimos dois anos abrangem assuntos como a utilização de IA para localizar pastores nómadas na África Subsariana, avaliar lesões cutâneas e traduzir dialectos indonésios. Em seu LinkedIn, ele apregoa a publicação de “mais de 100 artigos de conferências importantes no ano passado”, que foram “citados por OpenAI, Microsoft, Google, Stanford, MIT, Oxford e mais”.

Os artigos de Zhu são um “desastre”, disse Hany Farid, professor de ciência da computação em Berkeley, em entrevista. “Estou bastante convencido de que tudo, de cima a baixo, é apenas vibração de codificação”, disse ele, referindo-se à prática de usar IA para criar software.

Farid chamou a atenção para as prolíficas publicações de Zhu numa publicação recente no LinkedIn, que provocou a discussão de outros casos semelhantes entre investigadores de IA, que afirmaram que a sua nova disciplina popular enfrenta um dilúvio de artigos de investigação de baixa qualidade, alimentados por pressões académicas e, em alguns casos, por ferramentas de IA.

Em resposta a uma pergunta do Guardian, Zhu disse que supervisionou os 131 artigos, que eram “esforços de equipe” administrados por sua empresa, a Algoverse. A empresa cobra US$ 3.325 de estudantes do ensino médio e de graduação por uma experiência seletiva de mentoria on-line de 12 semanas – que envolve ajuda no envio de trabalhos para conferências.

“No mínimo, ajudo a revisar a metodologia e o desenho experimental das propostas, e leio e comento os rascunhos completos dos artigos antes da submissão”, disse ele, acrescentando que projetos em assuntos como linguística, saúde ou educação envolvem “investigadores principais ou mentores com experiência relevante”.

As equipes usaram “ferramentas de produtividade padrão, como gerenciadores de referência, verificação ortográfica e, às vezes, modelos de linguagem para edição ou melhoria da clareza”, disse ele em resposta a uma pergunta sobre se os artigos foram escritos com IA.

Observadores de bots em crise

Os padrões de revisão para a investigação em IA diferem da maioria dos outros campos científicos. A maior parte do trabalho em IA e aprendizado de máquina não passa pelos rigorosos processos de revisão por pares de áreas como química e biologia – em vez disso, os artigos são frequentemente apresentados de forma menos formal em grandes conferências como NeurIPS, um dos principais encontros de aprendizado de máquina e IA do mundo, onde Zhu está programado para apresentar.

O caso de Zhu aponta para uma questão maior na pesquisa de IA, disse Farid. Conferências incluindo NeurIPS estão sendo sobrecarregadas com um número crescente de submissões: NeurIPS apresentou 21.575 artigos este ano, contra menos de 10.000 em 2020. Outra importante conferência de IA, a Conferência Internacional sobre Representações de Aprendizagem (ICLR), relatou um aumento de 70% em suas submissões anuais para a conferência de 2026, quase 20.000 artigos, contra pouco mais de 11.000 para a conferência de 2026. Conferência 2025.

“Os revisores queixam-se da má qualidade dos artigos, suspeitando até que alguns são gerados por IA. Porque é que esta festa académica perdeu o seu sabor?” perguntou o blog de tecnologia chinês 36Kr em uma postagem de novembro sobre o ICLR, observando que a pontuação média que os revisores atribuíram aos artigos diminuiu ano após ano.

Enquanto isso, estudantes e acadêmicos enfrentam uma pressão crescente para publicar publicações e acompanhar seus colegas. É incomum produzir um número de dois dígitos – muito menos o triplo – de artigos acadêmicos de ciência da computação de alta qualidade em um ano, disseram os acadêmicos. Farid diz que, às vezes, seus alunos têm artigos “codificados” para aumentar o número de publicações.

“Tantos jovens querem entrar na IA. Há um frenesim neste momento”, disse Farid.

O NeurIPS analisa os artigos submetidos a ele, mas seu processo é muito mais rápido e menos completo do que a revisão científica padrão, disse Jeffrey Walling, professor associado da Virginia Tech. Este ano, a conferência utilizou um grande número de estudantes de doutorado para examinar artigos, o que um presidente da área NeurIPS disse ter comprometido o processo.

“A realidade é que muitas vezes os árbitros das conferências têm de rever dezenas de artigos num curto período de tempo, e normalmente há pouca ou nenhuma revisão”, disse Walling.

Walling concordou com Farid que muitos artigos estão sendo publicados neste momento, dizendo que encontrou outros autores com mais de 100 publicações em um ano. “Os acadêmicos são recompensados ​​mais pelo volume de publicações do que pela qualidade… Todo mundo adora o mito da superprodutividade”, disse ele.

Na página de perguntas frequentes do Algoverse de Zhu, as respostas discutem como o programa da empresa pode ajudar os candidatos a futuras perspectivas de faculdade ou carreira, dizendo: “As habilidades, realizações e publicações que você obtém aqui são altamente consideradas nos círculos acadêmicos e podem de fato fortalecer sua inscrição ou currículo na faculdade. Isto é especialmente verdadeiro se sua pesquisa for admitida em uma conferência importante – um feito de prestígio mesmo para pesquisadores profissionais.”

Farid diz que agora aconselha os estudantes a não se dedicarem à investigação em IA, devido ao “frenesi” no campo e ao grande volume de trabalho de baixa qualidade realizado por pessoas que esperam melhorar as suas perspectivas de carreira.

pular a promoção do boletim informativo

Um mergulho semanal em como a tecnologia está moldando nossas vidas

Aviso de privacidade: Os boletins informativos podem conter informações sobre instituições de caridade, anúncios online e conteúdo financiado por terceiros. Se você não tiver uma conta, criaremos uma conta de convidado para você em theguardian.com para enviar este boletim informativo. Você pode concluir o registro completo a qualquer momento. Para mais informações sobre como utilizamos os seus dados consulte a nossa Política de Privacidade. Usamos o Google reCaptcha para proteger nosso site e a Política de Privacidade e os Termos de Serviço do Google se aplicam.

“É uma bagunça. Você não consegue acompanhar, não consegue publicar, não consegue fazer um bom trabalho, não consegue ser atencioso”, disse ele.

Inundação de resíduos

Muito trabalho excelente ainda resultou deste processo. Notoriamente, o artigo do Google sobre transformadores, Atenção é tudo que você precisa – a base teórica para os avanços em IA que levaram ao ChatGPT – foi apresentado no NeurIPS em 2017.

Os organizadores do NeurIPS concordam que a conferência está sob pressão. Num comentário ao Guardian, um porta-voz disse que o crescimento da IA ​​como um campo trouxe “um aumento significativo nas submissões de artigos e um maior valor atribuído à aceitação da revisão por pares no NeurIPS”, colocando “uma pressão considerável no nosso sistema de revisão”.

As inscrições de Zhu foram em grande parte para workshops dentro do NeurIPS, que têm um processo de seleção diferente da conferência principal e são frequentemente onde são apresentados trabalhos em início de carreira, disseram os organizadores do NeurIPS. Farid disse que não considera esta uma explicação substantiva para uma pessoa colocar seu nome em mais de 100 jornais.

“Não considero este um argumento convincente para colocar o seu nome em 100 artigos para os quais você não poderia ter contribuído de forma significativa”, disse Farid.

O problema é maior do que uma enxurrada de artigos no NeurIPS. O ICLR usou IA para revisar um grande volume de submissões – resultando em citações aparentemente alucinadas e feedback que era “muito detalhado com muitos marcadores”, de acordo com um artigo recente na Nature.

A sensação de declínio é tão generalizada que encontrar uma solução para a crise já virou assunto de artigos. Um documento de posição de maio de 2025 – uma versão acadêmica baseada em evidências de um artigo de jornal – de autoria de três cientistas da computação sul-coreanos que propôs uma solução para os “desafios sem precedentes com o aumento de submissões de artigos, acompanhados por preocupações crescentes sobre a qualidade da revisão e a responsabilidade do revisor”, ganhou um prêmio por trabalho notável na Conferência Internacional sobre Aprendizado de Máquina de 2025.

Enquanto isso, diz Farid, grandes empresas de tecnologia e pequenas organizações de segurança de IA agora despejam seu trabalho no arXiv, um site antes reservado para pré-impressões pouco visualizadas de trabalhos de matemática e física, inundando a Internet com trabalhos que são apresentados como ciência – mas não estão sujeitos a padrões de revisão.

O custo disso, diz Farid, é que é quase impossível saber o que realmente está acontecendo na IA – para os jornalistas, o público e até mesmo os especialistas na área: “Você não tem chance, nenhuma chance, como leitor médio, de tentar entender o que está acontecendo na literatura científica. Sua relação sinal-ruído é basicamente uma. Mal consigo ir a essas conferências e descobrir o que diabos está acontecendo.”

“O que eu digo aos alunos é que, se o que vocês estão tentando otimizar a publicação de artigos, você sabe, honestamente não é tão difícil de fazer. Basta fazer um trabalho realmente ruim e de baixa qualidade e bombardear conferências com isso. Mas se você quiser fazer um trabalho realmente atencioso e cuidadoso, você está em desvantagem porque está efetivamente desarmado unilateralmente”, disse ele.

Fuente