Prompt learning otimiza sistemas de LLM com feedback em inglês

São Paulo — InkDesign News —

A nova abordagem de “Prompt Learning” (PL) visa otimizar a interação com modelos de machine learning ao utilizar feedback em linguagem natural. A técnica se destaca por permitir melhorias pelo uso de explicações em inglês, conforme revelado em estudos recentes.

Arquitetura de modelo

A técnica de Prompt Learning é inspirada no trabalho da equipe de Jim Fan da NVIDIA, que explorou o conceito em sua pesquisa sobre agentes autônomos. O sistema é projetado para operar continuamente, incorporando feedback direto nas instruções do prompt, ao invés de realizar ajustes nas weights tradicionais, que requerem grandes quantidades de exemplos. Essa abordagem tem como objetivo resolver problemas complexos que não se traduzem facilmente em métricas quantitativas.

“O termo de erro em inglês permite um feedback que é utilizado diretamente para ajustar instruções.”
(“The English error term allows for English feedback that is used directly to tune instructions.”)

— Autor da pesquisa

Treinamento e otimização

O Prompt Learning difere significativamente da otimização de prompt convencional, pois não depende de valores numéricos para propagar os erros. Em vez disso, utiliza explicações textuais que informam como corrigir falhas especificamente. O sistema é capaz de realizar ajustes significativos com uma fração do número de exemplos rotulados que seriam necessários por técnicas tradicionais, como as baseadas em gradient descent.

“A aprendizagem por prompt pode realizar mudanças poderosas usando exemplos individuais.”
(“Prompt learning allows you to make powerful changes using individual examples.”)

— Especialista em IA

Resultados e métricas

Os experimentos mostraram que o Prompt Learning foi capaz de melhorar o desempenho significativamente, mesmo quando confrontado com regras sutis no conjunto de dados testado — alcançando uma precisão de 100% em múltiplas iterações. Os dados coletados revelam que as abordagens de ajuste tradicionais enfrentam dificuldades ao tentar integrar feedback complexo em atualizações de modelo.

“Nos testes, a técnica identificou e abordou a maioria das regras latentes no intervalo de 5-25 regras.”
(“In testing, the technique was able to uncover and address the majority of latent rules within the 5-25 ruleset range.”)

— Analista de pesquisa

Esses resultados destacam a eficácia do Prompt Learning para uso prático em aplicações de IA onde o feedback humano é escasso. As implicações futuras dessa pesquisa poderão transformar a forma como modelos de deep learning são ajustados, favorecendo uma adaptação que priorize a inteligência coletiva e a interação contínua com usuários.

Fonte: (Towards Data Science – AI, ML & Deep Learning)