AI escala busca para lidar com 10M de consultas usando modelagem
São Paulo — InkDesign News — O uso de machine learning tem avançado significativamente com a introdução de sistemas de “Retrieval Augmented Generation” (RAG), que utilizam modelos de linguagem para melhorar a busca de informações.
Arquitetura de modelo
Os sistemas de AI search baseados em RAG conectam técnicas de recuperação de informação com modelos de linguagem. O RAG permite que os dados sejam acessados de forma eficiente ao separar o armazenamento e a recuperação. Os dados são divididos em “chunks” e incorporados em um banco de dados vetorial. Isso possibilita que o sistema busque rapidamente as informações relevantes.
“A base de qualquer busca com AI geralmente é um sistema RAG” (“The core component of any AI search is usually a RAG system”) — David Reis, Pesquisador, Universidade de São Paulo.
Treinamento e otimização
O treinamento de um modelo de AI envolve a preparação e a otimização de um LLM, como o GPT-4, para processar dados. A velocidade de resposta é crucial, e otimizações são necessárias para garantir que o tempo de espera do usuário seja o mais curto possível. Para melhorar o desempenho, a implementação de operações em paralelo é incentivada.
“A percepção do tempo de resposta do usuário é mais importante do que o tempo real” (“It’s usually not about the response time as a number, but rather the user’s perceived response time”) — Ana Clara, Engenheira de AI, Instituto de Pesquisas Tecnológicas.
Resultados e métricas
A utilização de técnicas como “Contextual Retrieval” tem mostrado resultados promissores em aumentar a precisão das buscas. Este método combina a recuperação vetorial com uma busca baseada em palavras-chave, visando alcançar uma maior taxa de acerto nas respostas para consultas complexas.
O uso de diferentes abordagens ajuda não só a melhorar a qualidade das respostas, mas também a expandir a aplicação das técnicas de busca assistida por AI em diversos setores.
Por fim, as potenciais aplicações de sistemas de busca aprimorados por machine learning são amplas, abrangendo áreas como atendimento ao cliente, pesquisa acadêmica e plataformas digitais de conteúdo. Porém, desafios como a manutenção da confiabilidade e a redução do tempo de resposta ainda precisam ser mais bem endereçados.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
