São Paulo — InkDesign News — Pesquisadores de uma nova abordagem em machine learning estão desenvolvendo agentes de conhecimento que acessam dados internos para ajudar funcionários a encontrar informações rapidamente. Esses sistemas utilizam técnicas avançadas de recuperação e geração aumentada (RAG) para otimizar a consulta de informações.
Arquitetura de modelo
A arquitetura do modelo proposto combina um “modelo de linguagem grande“ (LLM) com sistemas de recuperação de informações. O sistema é projetado para acessar uma variedade de fontes de dados, como documentos internos, PDFs e páginas da web. Os dados são processados em fragmentos, permitindo que o modelo busque informações de forma mais eficiente.
Como descrito, “Esse sistema de recuperação faz mais do que uma simples busca por palavras-chave, pois encontra correspondências semelhantes e não apenas exatas.” (This retrieval system is doing more than simple keyword search; it finds similar matches rather than just exact ones.)— Pesquisador, Nome, Instituição.
Treinamento e otimização
O treinamento do modelo envolve otimização de parâmetros para melhorar a precisão e a velocidade de resposta. O uso de “embeddings“ e “vector databases” como Qdrant e Weaviate é fundamental para armazenar e pesquisar dados de forma eficaz. As operações de backend utilizam funções sem servidor para controlar os custos operacionais.
Os tempos de resposta alvo para o sistema variam entre 8 e 13 segundos, conforme apontado pelo estudo. “É preciso tempo e investimento para conectar adequadamente os conteúdos, estruturar as consultas e garantir que o sistema funcione rapidamente.” (It doesn’t take that much time to boot up a framework to run something minimal. What takes time is connecting the content properly, prompting the system, parsing the outputs, and making sure it runs fast enough.)— Pesquisador, Nome, Instituição.
Resultados e métricas
Os custos associados à implementação deste sistema são relativamente baixos, especialmente para pequenas cargas de trabalho. Estima-se que o uso de um agente de conhecimento simples possa resultar em menos de um dólar por dia com acesso frequente. Isso destaca a viabilidade econômica da tecnologia.
Além disso, o modelo demonstrou eficácia em ambientes corporativos, facilitando a busca de informações relevantes e melhorando a tomada de decisões. “Se o conteúdo de origem é de baixa qualidade, é difícil fazer o sistema funcionar bem.” (If the quality of the source information is poor, it’s hard to make the system work well.)— Pesquisador, Nome, Instituição.
As aplicações práticas desta tecnologia incluem suporte ao cliente, treinamento e acesso a informações críticas em ambientes corporativos, com perspectivas promissoras para evolução e aplicações futuras.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
