Com o avanço da inteligência artificial (AI) e machine learning, novos estudos aprofundam a compreensão das falhas presentes nos sistemas, revelando as causas das chamadas “alucinações” em modelos de linguagem.
Contexto da pesquisa
Um recente estudo conduzido por pesquisadores da Universidade de Massachusetts explora a natureza das “alucinações” em modelos de linguagem. O documento descreve como grandes modelos de linguagem (LLMs) têm a tendência de gerar informações imprecisas, mesmo quando apresentadas com confiança.
Método proposto
Os pesquisadores usaram análises matemáticas para demonstrar que a falha não é apenas um efeito colateral das limitações de treinamento, mas algo intrínseco ao funcionamento dos modelos. Conforme a pesquisa, o modo como esses modelos preveem palavras com base em probabilidades resulta em uma acumulação de erros. Eles notaram que “a taxa de erro total para gerar frases é pelo menos duas vezes superior à taxa de erro que o mesmo AI teria em perguntas simples de sim/não” (“the total error rate for generating sentences is at least twice as high as the error rate the same AI would have on a simple yes/no question”) — Adam Tauman Kalai, Pesquisador, Universidade de Massachusetts.
Resultados e impacto
Os resultados indicam que a probabilidade de um modelo ‘alucinar’ aumenta proporcionalmente à raridade das informações contidas em seu conjunto de dados de treinamento. Por exemplo, verificou-se que “se 20% dos aniversários de figuras notáveis aparecem apenas uma vez nos dados de treinamento, os modelos base devem errar pelo menos 20% das consultas sobre aniversários” (“if 20% of such people’s birthdays only appear once in training data, then base models should get at least 20% of birthday queries wrong”) — Adam Tauman Kalai, Pesquisador, Universidade de Massachusetts.
Embora soluções possam ser implementadas para mitigar as alucinações, como ajustar os sistemas para considerarem sua própria confiança nas respostas, a aplicação prática pode afetar a experiência do usuário. O desafio reside no custo computacional adicional que esses esclarecimentos exigem, além da resistência dos usuários a modelos que frequentemente informam incertezas.
Futuras aplicações dessa pesquisa incluem melhorias em sistemas críticos que dependem da acuracidade das informações, como logística e diagnósticos médicos, onde a precisão é vital.
Fonte: (TechXplore – Machine Learning & AI)
