São Paulo — InkDesign News — A TensorZero, uma startup focada em infraestrutura open-source para aplicações de modelos de linguagem em larga escala (LLM), anunciou um financiamento inicial de US$ 7,3 milhões. O investimento foi liderado pela FirstMark e inclui a participação de diversas outras empresas de capital de risco e investidores-anjo.
Tecnologia e abordagem
A TensorZero propõe uma estrutura que integra componentes para a construção de aplicações LLM, visando simplificar a complexidade que muitas empresas enfrentam ao tentar orquestrar sistemas múltiplos. Os fundadores definem sua tecnologia como uma abordagem de "feedback loop de dados e aprendizado", onde as métricas de produção e o feedback humano se transformam em modelos mais inteligentes e eficientes. O cofundador e CTO, Viraj Mehta, destacou que isso se assemelha a um processo decisional de Markov parcialmente observável, onde “você faz muitas chamadas a um modelo de aprendizado de máquina com entradas estruturadas, obtém saídas estruturadas e, eventualmente, recebe algum tipo de recompensa ou feedback”
“LLM applications in their broader context feel like reinforcement learning problems.”
(“As aplicações LLM em seu contexto mais amplo parecem problemas de aprendizado por reforço.”)— Viraj Mehta, CTO, TensorZero
.
Aplicação e desempenho
Uma das chaves do sucesso da TensorZero é seu desempenho. A infraestrutura Rust da plataforma proporciona uma latência de menos de 1 milissegundo enquanto processa mais de 10.000 consultas por segundo, um desempenho significativamente superior a alternativas baseadas em Python. Isso se traduz em uma capacidade de lidar com operações em tempo real sem comprometer o desempenho. De acordo com a equipe técnica, “LiteLLM (Python) a 100 QPS adiciona latência de 25 a 100 vezes superior à nossa gateway em 10.000 QPS”
“LiteLLM (Python) at 100 QPS adds 25-100x+ more P99 latency than our gateway at 10,000 QPS.”
(“LiteLLM (Python) a 100 QPS adiciona latência de 25 a 100x+ maior do que nossa gateway em 10.000 QPS.”)— Fundadores da TensorZero
. Este desempenho é crucial para empresas que buscam escalar aplicações de IA.
Impacto e mercado
O foco da TensorZero em criar uma solução unificada está atraindo bancos e startups de IA, que buscam alternativas a integrações complexas com diversos fornecedores. Estudos indicam que essa unificação pode reduzir custos e melhorar a eficiência operacional em ambientes corporativos. O uso da plataforma já está em destaque em algumas das principais instituições financeiras da Europa, que a utilizam para automação e otimização de processos. Um dos cofundadores, Gabriel Bianconi, afirma que “muitas empresas não se aventuraram a integrar todas essas ferramentas e, mesmo as que o fizeram, acabaram com soluções fragmentadas”
“Most companies didn’t go through the hassle of integrating all these different tools.”
(“A maioria das empresas não passou pelo trabalho de integrar todas essas ferramentas diferentes.”)— Gabriel Bianconi, Cofundador, TensorZero
.
Como próximos passos, a TensorZero pretende expandir sua equipe e acelerar o desenvolvimento de sua infraestrutura open-source, enquanto fortalece sua base de clientes. A abordagem oferece uma alternativa robusta para empresas que lutam para mover aplicações de IA de protótipos para produção, sinalizando um futuro promissor para operações LLM.
Fonte: (VentureBeat – AI)
