São Paulo — InkDesign News —
A pesquisa recente explora as capacidades de machine learning (ML) em decifrar quebra-cabeças, especificamente sudoku, utilizando modelos de linguagem de grande escala (LLMs). O estudo, realizado por cientistas da Computação da Universidade do Colorado Boulder, visa entender a lógica envolvida e a confiabilidade das informações geradas pela IA.
Contexto da pesquisa
A pesquisa foi motivada pela necessidade de avaliar a eficácia de sistemas de IA em tarefas que exigem raciocínio lógico. O sudoku é um exemplo que atraiu a atenção dos pesquisadores, visto que requer seguir regras rigorosas enquanto se preenche uma grade numérica.
Método proposto
Os cientistas desenvolveram cerca de 2.300 quebra-cabeças de sudoku em uma grade de seis por seis, fornecendo esses desafios a uma série de modelos de IA, incluindo o modelo o1 da OpenAI, considerado de ponta em 2023. Este modelo atingiu uma taxa de acerto de aproximadamente 65% nas soluções corretas.
Resultados e impacto
“Para certos tipos de quebra-cabeças de sudoku, a maioria dos LLMs ainda não é suficiente, particularmente na produção de explicações que sejam de alguma forma utilizáveis para humanos”
(“For certain types of sudoku puzzles, most LLMs still fall short, particularly in producing explanations that are in any way usable for humans.”)— Maria Pacheco, Professora Assistente, Departamento de Ciências da Computação
Embora alguns modelos conseguissem resolver quebra-cabeças fáceis, as explicações de suas soluções foram problemáticas, resultando em informações confusas e, em alguns casos, irreais. Um dos modelos, por exemplo, chegou a fornecer uma previsão do tempo ao discutir a resolução de um sudoku.
“Às vezes, as explicações da IA inventavam fatos”
(“Sometimes, the AI explanations made up facts.”)— Ashutosh Trivedi, Professor Associado, Departamento de Ciências da Computação
Os resultados indicam que, embora existam avanços, a confiabilidade das informações geradas continua a ser uma preocupação significativa. Os pesquisadores propõem o desenvolvimento de um sistema de IA capaz não só de resolver quebra-cabeças complexos, mas também de fornecer explicações válidas sobre suas abordagens.
Com aplicações potenciais em áreas críticas, como a preparação de impostos, a compreensão das capacidades de raciocínio de modelos de IA poderia ampliar a eficiência dos sistemas em tarefas cognitivas. As próximas etapas incluem o estudo de outros tipos de quebra-cabeças, como o jogo hitori, para uma melhor compreensão do raciocínio da IA.
Fonte: TechXplore – Machine Learning & AI
