Avaliação de sistemas MCP com deep learning em busca de grafos
São Paulo — InkDesign News — A integração de agentes com ferramentas externas promete revolucionar aplicações de machine learning, ampliando as capacidades de algoritmos e permitindo interações complexas com bancos de dados.
Arquitetura de modelo
O Modelo Contextual do Protocolo (MCP), idealizado pela Anthropic, serve como um padrão aberto para a conexão de sistemas de inteligência artificial com fontes externas de dados. Funciona como “uma porta USB-C para aplicações de IA” e possibilita a reutilização de servidores MCP. Isso evita integrações personalizadas, permitindo que desenvolvedores construam servidores reutilizáveis que podem ser compartilhados em diversas aplicações.
“Em vez de integrações customizadas para cada fonte de dados, os desenvolvedores constroem servidores MCP reutilizáveis uma vez e os compartilham entre várias aplicações de IA” (“Instead of custom integrations for every data source, developers build reusable MCP servers once and share them across multiple AI applications”)— Nome, Cargo, Instituição.
Treinamento e otimização
Para avaliar os servidores MCP e suas abordagens de recuperação, uma equipe investiga a construção de um conjunto de dados de avaliação utilizando um modelo de linguagem. O foco está na transição de uma abordagem de Cypher de uma única etapa para um raciocínio de múltiplas etapas. A atualização do conjunto de dados visa refletir melhor como agentes interagem com bancos de dados gráficos, executando múltiplas consultas em sequência, em vez de apenas uma conversão de texto única em consulta.
“A abordagem atual não reflete como os agentes realmente trabalham com bancos de dados gráficos na prática” (“The current approach doesn’t reflect how agents actually work with graph databases in practice”)— Nome, Cargo, Instituição.
Resultados e métricas
Dados de uma avaliação mostraram que o agente, utilizando apenas a interface mcp-neo4j-cypher, conseguiu responder a perguntas complexas com uma média de 0.71 na precisão, embora a performance tenha caído com o aumento da complexidade das perguntas. O uso de erros de digitação e outras nuances na entrada de usuários afetou diretamente a eficiência do agente, revelando uma sensibilidade crítica a esses fatores.
“Os resultados indicam que o agente pode efetivamente responder a perguntas naturais sobre dados gráficos” (“The results show that the agent can effectively answer natural language questions over graph data”)— Nome, Cargo, Instituição.
Para o futuro, a equipe planeja refinar o conjunto de dados, experimentar diferentes estratégias de recuperação e explorar possíveis extensões no protocolo Cypher do MCP. Essas inovações visam aumentar a precisão e a aplicabilidade dos agentes em cenários do mundo real, como assistentes de dados e chatbots.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
