São Paulo — InkDesign News — A evolução do machine learning está transformando a forma como as organizações utilizam dados, levando à adoção de novas técnicas como Retrieval-Augmented Generation (RAG). Neste contexto, a governança e adaptabilidade dos dados são cruciais.
Arquitetura de modelo
Os sistemas de RAG combinam a recuperação de dados com algoritmos de geração, permitindo que modelos de linguagem baseados em deep learning melhorem sua acurácia. Este modelo, inicialmente simples, rapidamente demonstrou suas limitações. “RAG não é necessariamente mais seguro”
“RAG is not necessarily safer”
— Dr. Sebastian Gehrmann, Bloomberg
. Limitações em relação ao “contexto” foram observadas, levando ao conceito de context engineering, que amplia o potencial de utilização de dados estruturados e não estruturados.
Treinamento e otimização
O treinamento de modelos RAG se beneficia da integração com gráficos de conhecimento e filtros de entidades. Utilizando bases de dados como Weaviate e Pinecone, os desenvolvedores têm conseguido escalar esses sistemas. A implementação de re-rankers, ou reclassificadores, surgiu como solução para problemas de relevância. “Após trazer os fatos, como decidir o que manter e o que descartar tem um grande impacto”
“after you bring the facts, how do you decide what to keep and what to throw away has a big impact”
— Nikolaos Vasiloglou, RelationalAI
. Esse cuidado é vital, pois informações irrelevantes podem causar a chamada “contaminação do contexto”.
Resultados e métricas
Estudos demonstram que a eficácia dos modelos RAG está atrelada à qualidade dos dados recuperados. O uso de métricas como relevância do contexto e rastreabilidade começa a ganhar destaque. Por exemplo, empresas estão começando a adotar técnicas semânticas, como ontologias e gráficos de conhecimento, para suportar iniciativas de IA. “Precisamos garantir que os agentes possam recuperar diferentes conjuntos de dados em uma empresa”
“We need to ensure agents are able to retrieve different datasets across an enterprise”
— Lance Martin, LangChain
. Isso indica um movimento claro em direção a uma governança de dados mais robusta.
À medida que a pesquisa avança, a aplicação de RAG se reveste de novos desafios e promessas. A integração de gráficos de conhecimento com camadas semânticas será fundamental para a próxima geração de récupération de dados, estabelecendo um padrão mais elevado para a governança de dados em ambientes corporativos.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
