Estudo aponta que AI carece de humanos em testes de chatbots

São Paulo — InkDesign News — A crescente influência da inteligência artificial (IA) tem gerado discussões acaloradas sobre a eficácia dos modelos de linguagem de grande porte (LLMs) em ambientes práticos, especialmente na área da saúde. Pesquisas recentes destacam não apenas o potencial desses modelos, mas também suas limitações e a importância da interação humana no uso de ferramentas de IA.

Tecnologia e abordagem

Os LLMs, como o GPT-4, são arquiteturas baseadas em deep learning que utilizam grandes volumes de dados para gerar respostas em linguagem natural. Elas têm se mostrado competentes em realizar tarefas complexas, como a aprovação em exames de licenciamento médico. Contudo, um estudo realizado por pesquisadores da Universidade de Oxford revelou que a interação entre usuários e LLMs pode ser subótima, afetando resultados.

Aplicação e desempenho

O estudo envolveu 1.298 participantes que se apresentaram como pacientes a diferentes LLMs, tentando diagnosticar sintomas como pneumonia e resfriados. Embora os LLMs identificassem corretamente condições relevantes em 94,9% das vezes, a taxa de sucesso dos humanos usando essas ferramentas foi de apenas 34,5%. Além disso, uma comparação com um grupo controle que não utilizou LLMs mostrou que este último teve uma taxa de acerto de 76%.

“Por mais que os LLMs consigam passar em testes médicos, a interação humana traz desafios únicos no diagnóstico.”
(“While LLMs could pass medical licensing tests, human interaction brings unique challenges in diagnosis.”)

— Dr. Adam Mahdi, Pesquisador, Universidade de Oxford

Impacto e mercado

As implicações desse estudo são mais amplas, refletindo sobre como as empresas devem adaptar suas implementações de IA. Medir a eficácia de um LLM apenas com testes tradicionais pode oferecer uma falsa sensação de segurança. Os LLMs precisam ser avaliados em interações reais, onde a comunicação humana desempenha um papel crucial na interpretação de prompts.

As limitações destacadas por este estudo sugerem que a adoção de LLMs na saúde deve ser cuidadosamente analisada, com ênfase na qualidade das interações do usuário. O futuro pode demandar um investimento adicional em design e treinamento, focando na experiência do usuário para otimizar o uso de IA em contextos críticos.

As organizações precisam entender que a implementação de IAs não se resume apenas à tecnologia, mas também envolve um entendimento mais profundo de seus usuários e contextos de aplicação.

Fonte: (VentureBeat – AI)