Modelos de machine learning mostram limites na janela de contexto
São Paulo — InkDesign News — Um novo estudo investiga os limites de capacidade de memória de trabalho em modelos de linguagem (LLMs), mostrando que sua eficácia pode ser prejudicada mesmo antes de atingirem a capacidade total de janela de contexto.
Arquitetura de modelo
O trabalho apresenta um modelo teórico de computação que explica as falhas observadas em LLMs, como a dificuldade em lidar com enredos complexos, identificar buracos de trama e responder perguntas corretamente quando os documentos são semelhantes.
Treinamento e otimização
A pesquisa revela que, embora LLMs como Claude e Gemini 1.5 Pro tenham janelas de contexto que variam entre 200K e 2M de tokens, o “conjunto de trabalho” necessário para resolver tarefas complexas pode ser maior do que esses limites. Os modelos tendem a falhar quando precisam rastrear mais de cinco a dez variáveis simultaneamente, resultando em um desempenho semelhante ao de adivinhações aleatórias.
“As tarefas que exigem muito contexto para responder corretamente também requerem que o LLM rastreie muitas informações.” (Tasks that require a lot of context to answer a question correctly also require the LLM to track a lot of information.)— Pesquisador no estudo.
Resultados e métricas
O estudo classifica tarefas em duas categorias principais: aquelas que requerem alta memória de trabalho, chamadas de BAPO-difíceis, e aquelas que não exigem tanto, as BAPO-fáceis. Exemplos de tarefas BAPO-difíceis incluem a “acessibilidade em grafos” e a “classificação de opiniões”, enquanto tarefas mais simples, como encontrar o valor mínimo ou máximo em uma lista, são consideradas BAPO-fáceis.
Se tarefas não se encaixam nessas categorias, os pesquisadores sugerem usar métodos de decomposição para reduzir a carga de memória de trabalho. “Se a sua tarefa precisa de muita memória de trabalho e está falhando com frequência, considere decompor seu problema.” (If your task needs a lot of working memory and is failing often, consider decomposing your problem.)— Especialista em inteligência artificial.
Próximos passos em pesquisa
Compreender os limites da memória de trabalho pode orientar melhorias futuras em arquiteturas de LLMs. Novas abordagens em pesquisa focam em tokenização de raciocínio e alternativas para lidar com tarefas BAPO-difíceis. As descobertas destacam a necessidade de considerar a viabilidade das soluções propostas à medida que as demandas dos usuários aumentam.
Para mais informações sobre machine learning, confira nossa seção sobre machine learning e deep learning.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
