São Paulo — InkDesign News — A recente evolução na inteligência artificial, especialmente com o lançamento contínuo de novos modelos de linguagem (LLMs), torna desafiador para empresas identificar quais soluções de deep learning adotar para otimizar suas operações e agentes de IA personalizados.
Tecnologia e abordagem
O Raindrop, uma plataforma de observabilidade de aplicações de IA, introduziu um novo recurso chamado Experiments, destinado a facilitar testes A/B específicos para agentes de IA empresariais. Esta ferramenta permite que as empresas analisem o impacto de atualizações em modelos subjacentes, instruções e acessos a ferramentas, oferecendo uma visão detalhada do desempenho em contextos reais. Hylak, co-fundador da Raindrop, afirmou que o Experiments ajuda as equipes a avaliar “como literalmente qualquer coisa mudou”, incluindo o uso de ferramentas e as intenções dos usuários.
Aplicação e desempenho
O Experiments se destaca ao possibilitar rastrear mudanças, como atualizações de modelos ou a introdução de novas ferramentas, e como essas alterações afetam o desempenho dos agentes de IA em milhões de interações. A interface visual do Experiments ilustra claramente quando o desempenho de uma atualização é superior ou inferior ao padrão. Conforme Hylak, “focamos em garantir que métricas como falhas de tarefas e frustrações dos usuários sejam alertas críticos.”
Com um número diário de usuários em torno de 2.000, a plataforma promete resultados estatisticamente significativos, monitorando a adequação do tamanho da amostra e alertando os usuários quando os dados não são suficientes para conclusões válidas.
Impacto e mercado
O Raindrop visa transformar dados de observabilidade em comparações acionáveis, abordando a questão comum de “avaliações passam, agentes falham”. A observação contínua e a análise em tempo real podem ser úteis para identificar problemas, como aumentos em falhas de tarefas ou respostas inesperadas em novos modelos. Hylak descreve a abordagem da Raindrop como um meio de garantir “transparência por trás de cada número agregado”.
A nuvem da Raindrop oferece um recurso de proteção de dados sensíveis, apoiando-se na conformidade SOC 2 e na proteção automática de informações pessoais. O plano Pro, que custa $350 mensais, disponibiliza funcionalidades avançadas, enquanto um plano de entrada está disponível a partir de $65.
No futuro, a Raindrop pretende expandir suas funcionalidades para ajudar equipes a otimizar seus modelos de IA mais rapidamente, possibilitando a criação de sistemas mais robustos e mais eficazes para atender a demandas do mercado.
Fonte: (VentureBeat – AI)
