São Paulo — InkDesign News —
Um novo estudo investiga como a AI, particularmente o ChatGPT, responde a palavras sem significado através de métodos desenvolvidos em psicologia cognitiva. A pesquisa foi conduzida pelo psicolinguista Michael Vitevitch da Universidade do Kansas.
Contexto da pesquisa
A pesquisa de Vitevitch se concentra em palavras não existentes, usadas para entender como humanos processam e aprendem a linguagem. Seu objetivo era observar como a “caixa-preta” do ChatGPT reagiria a esses desafios linguísticos.
Método proposto
Vitevitch utilizou uma série de palavras sem significado e pediu ao ChatGPT para identificar padrões e criar definições. O modelo, um Large Language Model (LLM), foi testado em diferentes categorias de palavras, incluindo palavras inglesas obsoletas e combinações que soam similares a palavras em espanhol.
Resultados e impacto
Dos 52 termos extintos analisados, o ChatGPT forneceu 36 definições corretas. Para 11 palavras, afirmou não reconhecer os termos. Contudo, em 3 casos, o chatbot utilizou definições de línguas estrangeiras, e em 2, gerou respostas fictícias. “Ele fez um bom número de acertos, mas também criou informações novas, que chamamos de alucinações”, disse Vitevitch.
“Ele fez alucinações em algumas palavras. Dissemos a ele para definir essas palavras extintas, e ele teve um número considerável de acertos.”
(“It did hallucinate on a couple of things. We asked it to define these extinct words. It got a good number of them right.”)— Michael Vitevitch, Professor, Universidade do Kansas
Em outra parte do estudo, ao receber palavras em espanhol, o modelo optou por dar respostas em um idioma diferente de forma que humanos não fariam, mostrando uma diferença significativa na maneira como AI e seres humanos processam a linguagem.
Além disso, o ChatGPT foi solicitado a criar novas palavras, similares às “sniglets” da cultura pop dos anos 1980. Algumas das novas criações incluíram: “prideify,” que se refere a sentir orgulho das conquistas de outra pessoa, e “stumblop,” que significa tropeçar nos próprios pés.
“Meu favorito foi ‘rousrage,’ para a raiva expressa ao ser acordado.”
(“My favorite was ‘rousrage,’ for anger expressed upon being woken up.”)— Michael Vitevitch, Professor, Universidade do Kansas
O objetivo de Vitevitch é esclarecer quando a AI pode auxiliar nas tarefas linguísticas humanas, em vez de simplesmente replicar o que já fazemos com facilidade. As informações sobre a pesquisa podem levar a novas aplicações em literatura, aprendizado de idiomas e na compreensão das limitações do processamento de linguagem da AI.
Fonte: (TechXplore – Machine Learning & AI)
