São Paulo — InkDesign News — Um novo paradigma em raciocínio para modelos de linguagem foi apresentado por pesquisadores que exploram técnicas de “machine learning”. O método, chamado PENCIL, promete resolver problemas complexos utilizando uma abordagem de geração e eliminação de pensamentos.
Arquitetura de modelo
O PENCIL, diferentemente do tradicional Chain-of-Thought (CoT), não apenas gera pensamentos, mas também permite a exclusão de pensamentos intermediários que não são mais necessários. O modelo utiliza três tokens especiais — [CALL], [SEP] e [RETURN] — para implementar essa erasure, reduzindo assim o comprimento do contexto necessário para chegadas a soluções. Essa abordagem oferece eficiência incrível, permitindo que modelos de linguagem pensem de forma mais profunda e por mais tempo.
“As cadeias irão inevitavelmente superar a janela de contexto do modelo” (“chains will inevitably exceed the model’s context windows”) — C. Yang, Pesquisador, Universidade. PENCIL visa contornar essa limitação que os modelos enfrentam ao lidar com problemas complexos, especialmente em tarefas NP-difíceis, onde passos adicionais de raciocínio se tornam exponenciais.
Treinamento e otimização
Em comparação com o CoT, que calcula a perda com base em todo o histórico anterior, o PENCIL reduz a sequência considerada após cada iteração de “escrever-apagar”, permitindo uma aprendizagem mais rápida e eficiente. Essa diferença é crucial, pois resulta em maior economia de recursos computacionais, deslocando a carga de processamento para contextos menores e maisotimizados.
“Através do PENCIL, conseguimos manter uma alta taxa de precisão mesmo em problemas de maior escala” (“Through PENCIL, we are able to maintain a high accuracy rate even on larger-scale problems”) — C. Yang, Pesquisador, Universidade. Isso reflete uma melhoria contínua na capacidade de lidar com tarefas complexas sem comprometer a eficiência do modelo.
Resultados e métricas
Os experimentos realizados com tarefas como 3-SAT e Einstein’s Puzzle mostraram que o PENCIL pode resolver problemas de raciocínio complexos com uma precisão superior a 99%, comparado ao CoT, que apresentou uma redução drástica nesta métrica à medida que os problemas aumentavam de tamanho. O PENCIL demonstrou uma economia significativa em termos de comprimento de contexto, reduzindo de 151.192 para 3.335 tokens na resolução de um quebra-cabeça inspirador como o de Einstein.
“Os resultados que obtivemos demonstram eficiência em tempo e espaço que eram anteriormente impensáveis para modelos de linguagem” (“The results we achieved demonstrate efficiency in time and space that were previously unthinkable for language models”) — C. Yang, Pesquisador, Universidade. Essa eficiência faz do PENCIL uma alternativa viável para desafios que tradicionalmente exigiriam uma quantidade exponencial de recursos.
O desenvolvimento e aplicação do PENCIL abrem um novo caminho em pesquisas de inteligência artificial, prometendo modelos com raciocínio mais adaptativo e eficiente. Futuras investigações podem focar em ajustar LLMs para integrar as capacidades de raciocínio baseadas em PENCIL, potencializando o desempenho em tarefas de complexidade crescente.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
