Contexto da pesquisa
Pesquisadores da Universidade de Oxford e do Allen Institute for AI (Ai2) conduziram um estudo sobre como modelos de linguagem amplos (LLMs) geram padrões de linguagem semelhantes aos humanos. A pesquisa, publicada na Proceedings of the National Academy of Sciences, questiona a visão predominante de que LLMs aprendem a gerar linguagem principalmente por meio de regras gramaticais.
Método proposto
O estudo analisou a capacidade do modelo GPT-J, um LLM de código aberto desenvolvido pela EleutherAI em 2021, para transformar adjetivos em substantivos utilizando os sufixos “-ness” e “-ity”. Para isso, foram gerados 200 adjetivos fictícios, como “cormasive” e “friquish”, os quais o modelo deveria converter.
O LLM baseou suas respostas em semelhanças com palavras reais que encontrou durante seu treinamento.
(“The LLM’s behavior resembled human analogical reasoning.”)— Janet Pierrehumbert, Professora de Modelagem Linguística, Universidade de Oxford
Resultados e impacto
Os resultados mostraram que o GPT-J não utilizava regras, mas sim analogias baseadas em palavras que já conhecia. A pesquisa indicou que o modelo funciona como se tivesse uma “memória” referente a cada palavra encontrada durante o treinamento, tomando decisões linguísticas com base em semelhanças. Isso difere da forma como os humanos formam analogias, que utilizam um dicionário mental, considerando todas as formas de palavras como significativas, independentemente da frequência. O estudo também registrou uma correspondência notável entre as predições do LLM e os padrões estatísticos dos dados de treinamento.
Os achados fornecem uma visão mais clara do funcionamento interno dos LLMs ao gerar linguagem e apoiarão futuros avanços em IA robusta e explicável.
(“This study is a great example of synergy between linguistics and AI as research areas.”)— Dr. Valentin Hofman, Ai2 e Universidade de Washington
Esse tipo de pesquisa pode abrir caminho para aplicações mais efetivas na área de machine learning, com um foco em uma IA que aprende e interage de forma mais semelhante ao ser humano.
Fonte: (TechXplore – Machine Learning & AI)
