
São Paulo — InkDesign News — Pesquisadores têm explorado a criação de pipelines de Recuperação Aumentada por Geração (RAG) utilizando técnicas de deep learning e bibliotecas como LangChain e a API da OpenAI. O objetivo é otimizar o processamento de grandes documentos para gerar respostas relevantes através de *embeddings*.
Arquitetura de modelo
O modelo baseia-se em uma combinação de técnicas de *machine learning*, onde o texto é dividido em chunks para melhor processamento. O uso de *embeddings* facilita a criação de representações vetoriais para pequenos trechos de texto, permitindo que o modelo compreenda melhor o contexto.
“Achunking refere-se ao processo de parsing de um texto em peças menores.”
(“Chunking refers to the process of parsing a text into smaller pieces of text.”)— Autor Desconhecido, Texto Original
Treinamento e otimização
A implementação do RAG envolve a utilização do *RecursiveCharacterTextSplitter* para segmentar textos em *chunks* de tamanho controlado. Este método considera o tamanho do chunk e o overlap entre chunks, parâmetros cruciais que influenciam a qualidade das respostas geradas. Um chunk pequeno demais pode resultar em perda de contexto, enquanto um chunk muito grande pode exceder os limites do modelo escolhido, como o caso de *embeddings* que suportam até 300.000 tokens por solicitação.
“A escolha da abordagem de chunking se adapta ao tamanho e à complexidade dos documentos que alimentamos em nossa pipeline de RAG.”
(“Choosing a chunking approach that fits the size and complexity of the documents we want to feed into our RAG pipeline is crucial for the quality of the responses we’ll be receiving.”)— Autor Desconhecido, Texto Original
Resultados e métricas
Após a segmentação, as respostas geradas demonstraram uma melhoria significativa na relevância e contextualidade, com métricas de acurácia aumentando em relação ao uso de documentos não segmentados. A abordagem de chunking permite que o modelo compreenda melhor as referências intertextuais, especialmente em obras complexas, maximizando o uso de informações nos *embeddings*.
“Por exemplo, vamos considerar que o texto fornecido não atende aos limites de tamanho … será truncado.”
(“If we provide a chunk that is larger than the chunk size limit, in most cases, it will be silently truncated.”)— Autor Desconhecido, Texto Original
As aplicações práticas deste sistema incluem a capacidade de processar textos extensos como *War and Peace* de Tolstói, permitindo que pesquisadores e desenvolvedores aproveitem informações complexas em suas implementações de IA. Os próximos passos envolvem a exploração de metodologias de aprendizado por reforço para otimizar ainda mais a performance de RAG em diferentes domínios.
Fonte: (Towards Data Science – AI, ML & Deep Learning)