Inteligência Artificial Enfrenta Desafios no Reconhecimento de Artigos Retratados

Cambridge, EUA — InkDesign News — Pesquisas revelam que ferramentas de inteligência artificial, projetadas para auxiliar trabalhos acadêmicos, não estão conseguindo identificar adequadamente artigos científicos retratados, levantando preocupações sobre a qualidade da informação acessível ao público.

Contexto da pesquisa

A busca por informações científicas confiáveis é um dos principais desafios enfrentados por pesquisadores e pelo público em geral. Com o surgimento de ferramentas de inteligência artificial como ChatGPT e Elicit, tornou-se mais fácil acessar dados complexos. Porém, um levantamento realizado pela MIT Technology Review identificou que diversos desses softwares falharam em eliminar referências a artigos que já haviam sido retratados devido a questões de qualidade ou ética. Yuanxi Fu, pesquisadora de ciência da informação na Universidade de Illinois em Urbana-Champaign, destaca a importância desse problema: “If [a tool is] facing the general public, then using retraction as a kind of quality indicator is very important.”
(“Se [uma ferramenta está] voltada para o público geral, então usar a retratação como um tipo de indicador de qualidade é muito importante.”)

Método e resultados

O estudo de junho da MIT Technology Review analisou diversas ferramentas dedicadas à pesquisa, incluindo Elicit e Ai2 ScholarQA, utilizando perguntas baseadas em artigos já retratados. O desempenho das ferramentas foi alarmante: Elicit referenciou cinco artigos retratados, enquanto Ai2 ScholarQA citou 17, e Consensus, 18, todos sem mencionar suas respectivas retratações. Christian Salem, cofundador da Consensus, reconheceu o problema: “Until recently, we didn’t have great retraction data in our search engine.”
(“Até recentemente, não tínhamos bons dados de retratação em nosso mecanismo de busca.”) Desde então, a empresa começou a usar dados de retratação de várias fontes, resultando em um desempenho melhor em testes subsequentes, onde apenas cinco artigos retratados foram citados.

Implicações e próximos passos

A dificuldade em coletar dados de retratação pode comprometer a credibilidade das ferramentas de inteligência artificial, levando a uma disseminação errônea de informações. Ivan Oransky, cofundador do Retraction Watch, menciona que um banco de dados abrangente de retratações é difícil de ser montado, pois requer muitos recursos: “The reason it’s resource intensive is because someone has to do it all by hand if you want it to be accurate.”
(“A razão pela qual é intensivo em recursos é que alguém precisa fazer isso tudo manualmente se você quiser que seja preciso.”) Portanto, é crucial que as ferramentas de inteligência artificial implementem métodos rigorosos de verificação para garantir que não promovam informações errôneas.

À medida que a inteligência artificial continua a evoluir, o desenvolvimento de abordagens para integrar dados de retratação eficazes será vital para aumentar a confiabilidade das informações e a proteção do conhecimento científico.

Fonte: (MIT Technology Review – Artificial Intelligence)