São Paulo — InkDesign News — Uma colaboração entre a empresa de suporte telefônico por inteligência artificial, Phonely, a plataforma de otimização de inferência, Maitai, e a fabricante de chips Groq, resultou em avanços significativos na redução de latências e melhoria da precisão em interações automatizadas. Este desenvolvimento visa enfrentar a preocupação persistente no setor, onde delays sutis podem indicar aos usuários que estão interagindo com uma máquina em vez de um ser humano.
Tecnologia e abordagem
O progresso foi alcançado através da criação de uma arquitetura de hotswapping de modelos de IA chamada "zero-latency LoRA" (Low-Rank Adaptation). Essa abordagem permite que Groq alterne instantaneamente entre diferentes variantes de modelos especializados sem penalidades de desempenho, uma capacidade crítica para aplicações em tempo real. O sistema da Maitai atua como uma camada de orquestração, otimizando continuamente o desempenho dos modelos com base em dados de interação.
“Estamos observando uma demanda crescente de equipes que estão dividindo suas aplicações em cargas de trabalho menores, altamente especializadas.”
(“We’re observing growing demand from teams breaking their applications into smaller, highly specialized workloads.”)— Christian DalSanto, Fundador, Maitai
Aplicação e desempenho
Os resultados do desenvolvimento são impressionantes: o tempo até o primeiro token de resposta caiu em 73,4%, passando de 661 milissegundos para 176 milissegundos, enquanto os tempos de conclusão geral foram reduzidos em 74,6%. A precisão dos modelos aumentou de 81,5% para 99,2%, superando a métrica anterior da GPT-4o de 94,7%.
“Quase 70% das pessoas que ligam para nossa IA não conseguem distinguir entre uma pessoa e um sistema automatizado.”
(“We’ve been seeing about 70%+ of people who call into our AI not being able to distinguish the difference between a person.”)— Will Bodewes, Fundador e CEO, Phonely
Impacto e mercado
Esse avanço representa uma mudança significativa na operação de call centers e na adoção de agentes de IA. Um dos clientes da Phonely irá substituir 350 agentes humanos em um único mês, destacando a eficiência e os custos reduzidos associados ao uso de AI. Essa mudança é particularmente impactante em setores que lidam com grande volume de interações, como seguros e automotivo.
Essas inovações e a capacidade de transição imediata para o sistema da Maitai oferecem uma solução viável para as limitações de latência que dificultavam a adoção generalizada da IA no atendimento ao cliente, com implicações amplas para o futuro das interações automatizadas.
Próximos passos incluem a potencial escalabilidade dessa abordagem, permitindo que mais empresas adotem soluções de IA especiais em diversos segmentos de mercado.
Fonte: (VentureBeat – AI)
