São Paulo — InkDesign News — A Delphi, uma startup de inteligência artificial de San Francisco, está reinventando a forma como interagimos com chatbots personalizados por meio de uma arquitetura conhecida como "retrieval-augmented generation" (RAG). Esse modelo permite que as interações sejam mais dinâmicas e personalizadas, crucial para a era do deep learning.
Tecnologia e abordagem
A Delphi utiliza uma abordagem RAG, onde o conteúdo é primeiro processado e embutido através de modelos como OpenAI e Anthropic. Esses embeddings são armazenados em uma base de dados vetorial gerenciada, a Pinecone, que possibilita acessar informações relevantes em milissegundos. A arquitetura do Pinecone permite que a empresa mantenha a eficiência necessária para suportar as interações em tempo real, decoupling storage and compute para oferecer escalabilidade horizontal.
Aplicação e desempenho
Com a implementação da Pinecone, a Delphi conseguiu gerenciar mais de 100 milhões de vetores em mais de 12 mil namespaces. Essa estrutura permite a recuperação de dados em menos de 100 milissegundos no percentil 95, atendendo a menos de 30% da meta de latência de um segundo. Isso proporciona uma experiência interativa sem interrupções, mesmo durante picos de tráfego.
“Com a Pinecone, não precisamos pensar se funcionará. Isso libera nossa equipe de engenharia para se concentrar no desempenho da aplicação e em novos recursos.”
(“With Pinecone, we don’t have to think about whether it will work. That frees our engineering team to focus on application performance and product features rather than semantic similarity infrastructure.”)— Samuel Spelsberg, Co-fundador e CTO, Delphi
Impacto e mercado
A abordagem da Delphi oferece não apenas um avanço técnico, mas também estratégico, ao mudar o foco de chatbots como meras ferramentas para potenciais "mentores digitais" em áreas como desenvolvimento profissional e treinamento corporativo. A empresa planeja escalar para milhões de "Mentes Digitais", tornando-se uma referência confiável em seus setores de aplicação.
A colaboração com a Pinecone representa uma vantagem competitiva em um mercado onde eficiência e precisão são críticas. Isso não apenas melhora a capacidade de resposta, mas também garante conformidade e segurança, essencial para setores regulados.
Com a evolução deste sistema, a Delphi demonstra um caminho claro para expandir suas operações. “A confiabilidade nos deu a confiança para escalar”, conclui Spelsberg.
Fonte: (VentureBeat – AI)
