Sakana AI desenvolve algoritmo para modelos de inteligência artificial

São Paulo — InkDesign News — Um novo avanço em inteligência artificial (IA) promete revolucionar a forma como os modelos de machine learning são desenvolvidos. O laboratório japonês Sakana AI introduziu uma técnica denominada "Model Merging of Natural Niches" (M2N2), que visa aumentar as capacidades de modelos de IA sem as onerosas etapas de treinamento e ajuste.

Tecnologia e abordagem

O M2N2 representa uma evolução significativa em métodos de fusão de modelos, superando limitações de abordagens anteriores. A técnica permite a integração do conhecimento de vários modelos especializados em um único modelo mais capaz, utilizando um processo de fusão que não depende de ajustes de gradiente. Este método, que apenas requer passes diretos, é computacionalmente mais eficiente do que o fine-tuning convencional e evita o problema do “catastrofismo do esquecimento”, onde um modelo perde suas capacidades originais ao aprender uma nova tarefa.

“O modelo M2N2 elimina limites fixos de fusão, permitindo uma combinação mais flexível das parâmetros.”
(“M2N2 eliminates fixed merging boundaries, allowing for a more flexible combination of parameters.”)

— Pesquisadores, Sakana AI

Aplicação e desempenho

O M2N2 foi testado em várias áreas, incluindo classificadores de imagem e grandes modelos de linguagem (LLMs). Em experimentos, a técnica demonstrou capacidade superior, alcançando a maior precisão de teste na base de dados MNIST. Além disso, a fusão de um modelo especialista em matemática com outro voltado para tarefas de navegador resultou em um agente com habilidades robustas em ambas as áreas. A fusão foi realizada com base em um “score de atração”, que prioriza a combinação de modelos complementares.

“Modelos com respostas únicas conferem muito mais força ao resultado da fusão.”
(“Models with unique answers confer much more strength to the fusion outcome.”)

— Pesquisadores, Sakana AI

Impacto e mercado

Para as empresas que já possuem modelos especialistas, a fusão proposta pelo M2N2 oferece novas capacidades híbridas de difícil obtenção de outra forma. Isso permite, por exemplo, que um modelo de linguagem ajustado para vendas adapte seu discurso em tempo real com base em reações de vídeo. A implementação de métodos como o M2N2 pode levar ao que os autores chamam de "fusão de modelos", um ecossistema dinâmico de IA, onde modelos se adaptam continuamente às novas demandas do mercado.

Essa abordagem não vem sem desafios, especialmente em questões de privacidade e segurança no uso de modelos abertos e comerciais. A pesquisa aponta que o verdadeiro obstáculo não é técnico, mas sim organizacional.

Os próximos passos envolvem a expansão da aplicação de M2N2 em outros domínios, solidificando seu papel em um cenário de IA em constante evolução.

Fonte: (VentureBeat – AI)