
São Paulo — InkDesign News — Pesquisadores do Massachusetts Institute of Technology (MIT) estão ganhando atenção renovada pelo desenvolvimento de uma técnica que permite modelos de linguagem de grande porte (LLMs), como os usados no ChatGPT, aprimorarem suas próprias capacidades por meio da geração de dados sintéticos para ajuste fino.
Tecnologia e abordagem
A abordagem, conhecida como SEAL (Self-Adapting LLMs), foi inicialmente descrita em um artigo publicado em junho e, mais recentemente, uma versão atualizada foi lançada, acompanhada de código-fonte em uma plataforma pública. A inovação permite que modelos de linguagem gerem e apliquem suas próprias estratégias de ajuste fino, em contraste com os modelos convencionais que dependem de dados externos fixos e processos de otimização elaborados por humanos. O SEAL equipa os modelos com a capacidade de auto-geração de dados de treinamento, oferecendo um método eficaz para enfrentar o problema da estagnação após o treinamento inicial.
Aplicação e desempenho
O desempenho do SEAL foi testado em dois cenários principais: incorporação de conhecimento e aprendizado de poucos exemplos. Na incorporação de conhecimento, um modelo gerou implicações sintéticas a partir de textos de avaliação, resultando em uma melhoria na precisão de perguntas e respostas, que subiu de 33,5% para 47% em um benchmark conhecido como SQuAD. No cenário de aprendizado de poucos exemplos, a taxa de sucesso para tarefas que requeriam raciocínio a partir de poucos exemplos aumentou de 20% para 72,5% após ajuste fino com RL.
“SEAL representa um passo em direção a modelos que podem melhorar autonomamente ao longo do tempo.”
(“SEAL represents a step toward models that can autonomously improve over time.”)— Jyo Pari, Pesquisador, MIT
Entretanto, o framework enfrenta limitações, incluindo o "esquecimento catastrófico", onde as atualizações podem prejudicar o desempenho em tarefas aprendidas anteriormente. Para mitigar isso, os pesquisadores implementaram uma abordagem de aprendizado por reforço, que tem mostrado ser mais eficaz na preservação do conhecimento previamente adquirido.
Impacto e mercado
As reações da comunidade de inteligência artificial têm sido mistas, com entusiasmo sobre o potencial do SEAL para revolucionar as interfaces de aprendizado contínuo. A técnica pode permitir que sistemas de IA operem em ambientes dinâmicos sem a necessidade de retrainings manuais constantes, ideal para aplicações em áreas que requerem adaptação rápida, como marketing ou assistência virtual em tempo real.
Além disso, a escalabilidade do SEAL se destaca, pois o desempenho dos modelos parece melhorar com o aumento do tamanho do modelo, seguindo a tendência de que modelos maiores geram edições auto-adaptáveis mais úteis. Contudo, o tempo requerido para testar cada auto-edição é significativamente maior do que para tarefas tradicionais de aprendizado por reforço.
As próximas etapas incluem a exploração de variantes do SEAL que não apenas aprendem dados de treinamento, mas também as funções de recompensa em ambientes complexos, ampliando sua aplicabilidade.
Fonte: (VentureBeat – AI)