Retrieval Augmented Classificação melhora modelagem de texto com conhecimento externo

São Paulo — InkDesign News —
Um novo método híbrido de classificação de texto que combina machine learning tradicional com grandes modelos de linguagem (LLMs) melhora significativamente a acurácia de tarefas complexas, unindo a busca por exemplos relevantes e o raciocínio avançado para superar limitações dos modelos convencionais.

Arquitetura de modelo

O projeto propõe uma arquitetura que integra técnicas de Retrieval Augmented Generation (RAG) com o método de few-shot prompting para otimizar a performance de LLMs como classificadores de múltiplas classes. Inicialmente, um banco de dados vetorizado com pares texto-categoria é criado usando ChromaDB e embeddings do modelo “BAAI/bge-small-en-v1.5”. Para cada texto a ser classificado, são recuperados os K vizinhos semanticamente mais próximos, que servem como exemplos para o prompting do LLM. Além disso, a lista de possíveis classes é reduzida dinamicamente para aquelas presentes nos vizinhos mais próximos, garantindo uso eficiente do contexto do modelo.

Treinamento e otimização

A estratégia evita a necessidade de re-treinamento dos modelos, pois a base de conhecimento pode ser atualizada dinamicamente sem impactar o LLM subjacente. O volume de vizinhos usados para few-shot prompting é configurável, balanceando precisão e latência. O sistema utiliza a capacidade de raciocínio dos LLMs para realizar classificações mesmo com poucos dados rotulados, superando limitações típicas de modelos que dependem de grandes bases rotuladas.

“Você deve retornar apenas categorias presentes na lista fornecida. Se nenhuma categoria for relevante, retorne uma lista vazia. Retorne as categorias por probabilidade decrescente e em formato JSON conforme o esquema Pydantic fornecido.”
(“You MUST only return categories that are present in the following list: {ranked_categories}. If none of the allowed categories are relevant, return an empty list. Return the categories by likelihood (more confident to least confident). Output your prediction as a JSON object matching the Pydantic schema: {PredictedCategories.model_json_schema()}.”)

— Desenvolvedores do RAC, artigo original

Resultados e métricas

O método foi testado com a base DBPedia Classes, contendo mais de 200 categorias e 240 mil amostras. A comparação entre um classificador KNN simples, LLM puro e o modelo híbrido RAC demonstrou saltos expressivos em acurácia: 87%, 88% e 96%, respectivamente. Em termos de latência, o modelo simples foi o mais rápido (~24ms), seguido pelo LLM (~600ms) e RAC (~1s), evidenciando um trade-off entre precisão e tempo de resposta. A abordagem híbrida também mostrou robustez multilinguística, classificando corretamente textos em idiomas próximos do inglês sem necessidade de reconfiguração.

“Combinar uma busca KNN com as habilidades de raciocínio de um LLM nos permite ganhar +9 pontos percentuais de acurácia, embora com menor throughput e maior latência.”
(“We note that combining a KNN search with the reasoning abilities of an LLM allows us to gain +9% accuracy points but comes at a cost of a lower throughput and higher latency.”)

— Autores do estudo

Esta técnica de classificação com recuperação pode ser especialmente útil em cenários com dados rotulados escassos ou voláteis, permitindo atualizações rápidas sem re-treinamento. Além disso, facilita a implementação de sistemas multilíngues com menor esforço comparado a modelos tradicionais. Pesquisas futuras podem explorar otimizações para reduzir a latência e escalar para volumes maiores de consultas, além de investir em estratégias para mitigar alucinações dos LLMs.

Fonte: (Towards Data Science – AI, ML & Deep Learning)