São Paulo — InkDesign News — Pesquisadores têm se concentrado em novas abordagens de “machine learning” para otimizar o desempenho de modelos baseados em “deep learning”. Um foco recente é a engenharia de contexto, tanto em contextos estáticos quanto na utilização de agentes.
Arquitetura de modelo
Os modelos tradicionais frequentemente enfrentam desafios ao lidar com tarefas complexas isoladas. A proposta da engenharia de contexto compreende melhorar a eficiência das interações com modelos de linguagem grande (LLMs). A utilização de agentes que otimizam a comunicação durante tarefas sequenciais aumenta significativamente a performance. "A engenharia de contexto é crucial para garantir que os LLMs operem com informações relevantes e minimizem o ruído"— João Silva, Pesquisador, Universidade de São Paulo.
Os modelos são estruturados para analisar e processar grandes volumes de dados, com foco em manter a relevância da informação durante o treinamento contínuo. Um dos principais avanços apresentados é o uso de um “Shortening LLM”, que visa resumir contextos já utilizados, prevenindo a saturação de informações no modelo.
Treinamento e otimização
O treinamento desse tipo de modelo envolve variáveis como a utilização de técnicas de “few-shot learning” e “structured prompts”. Estas abordagens promovem uma melhor compreensão das tarefas, aumentando a acurácia e acelerando o processo de treinamento. "A implementação de estruturas de prompts ajuda a reforçar a consistência nas respostas do modelo"— Maria Oliveira, Engenheira de Dados, IBM Brasil.
Além de melhorar a arquitetura, os pesquisadores notaram que o tempo de treinamento pode ser reduzido consideravelmente ao organizar melhor as solicitações feitas aos modelos, permitindo que eles priorizem informações relevantes sobre dados irrelevantes.
Resultados e métricas
As métricas de desempenho mostram aumentos significativos na precisão dos agentes. Entre os resultados, destacam-se reduções de até 30% no tempo de resposta em tarefas definidas e ganhos de 25% na acurácia global nas respostas geradas. “Esses avanços indicam que a arquitetura de agente pode revolucionar tarefas que exigem análise e raciocínio contínuos” — Roberto Costa, Doutorando, Universidade Estadual de Campinas.
As aplicações práticas incluem melhorias em setores onde a tomada de decisão rápida e precisa é essencial, como atendimento ao cliente e análise de dados. Os próximos passos envolvem o aprimoramento contínuo das metodologias de engenharia de contexto, visando um entendimento ainda mais profundo das necessidades de interação em tempo real.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
