Pesquisadores do MIT e Harvard desenvolveram uma nova metodologia para avaliar quão profundamente os sistemas de machine learning compreendem suas áreas de atuação, focando na habilidade de generalizar conhecimentos.
Contexto da pesquisa
No século 17, o astrônomo Johannes Kepler formulou as leis que descrevem o movimento dos planetas, mas foi Isaac Newton quem, posteriormente, estabeleceu as bases da gravitação universal. Mais recentemente, sistemas de inteligência artificial têm demonstrado habilidades preditivas que lembram as feitas por Kepler, mas carecem de compreensão profunda das leis que governam esses fenômenos.
Método proposto
A pesquisa, conduzida no Laboratório de Sistemas de Informação e Decisão (LIDS) do MIT e na Universidade de Harvard, introduziu uma nova métrica chamada “induções de viés”. Esse método mede como bem um sistema de AI pode aproximar condições do mundo real, baseado nas inferências derivadas de grandes volumes de dados. Exemplos clássicos foram usados, desde modelos simples de redes unidimensionais até sistemas mais complexos como o jogo Othello.
Resultados e impacto
Os pesquisadores descobriram que, embora sistemas de AI consigam recriar modelos realistas em exemplos simples, a capacidade de generalizar e compreender cenários mais complexos apresenta limitações. Em uma comparação utilizando um modelo de rede 1D, os sistemas se saíram bem, mas conforme a complexidade aumentava, a performance decaiu, evidenciando dificuldades em estabelecer modelos do mundo real.
“Precisamos de uma forma de testar se o algoritmo entendeu bem.”
(“We need a way to test for whether it has understood well.”)— Sendhil Mullainathan, Professor, MIT
Com essa nova métrica, os autores esperam avaliar diferentes modelos de AI em processos de descoberta científica, incluindo propriedades de compostos químicos e comportamentos de moléculas de proteínas. Apesar do potencial promissor, os resultados indicam que ainda há um longo caminho a ser percorrido antes que as AI possam realizar generalizações efetivas em contextos mais complexos.
A aplicação de métricas como as induções de viés pode aprimorar a maneira como os modelos são treinados, assegurando uma compreensão mais robusta e aplicável no mundo real, vital para o avanço das tecnologias de machine learning.
Fonte: (TechXplore – Machine Learning & AI)
