Modelos generativos afetam margens de AI em provedores de nuvem
São Paulo — InkDesign News — O panorama da inteligência artificial (IA) está em constante evolução, com empresas adotando modelos de deep learning, incluindo grandes modelos de linguagem (LLM) e abordagens de aprendizado por reforço, para automatizar processos e aumentar a eficiência operacional.
Tecnologia e abordagem
As soluções baseadas em IA nos dias de hoje abrangem desde serviços ao cliente até manutenção de pipelines. Entretanto, com a transição de projetos de fase experimental para produção, as organizações enfrentam custos de nuvem que podem corroer suas margens. O gerenciamento de infraestrutura em nuvens públicas se assemelha ao uso de transporte público, onde a tarifa pode parecer acessível inicialmente, mas os custos podem disparar, especialmente durante picos de demanda de inferência.
“Você faz uma conta, clica em alguns botões e tem acesso a servidores. Se precisar de um tamanho de GPU diferente, você desliga e reinicia a instância com as novas especificações, o que leva minutos. Na fase inicial, o foco está em validar ideias rapidamente.”
(“You make an account, click a few buttons, and get access to servers. If you need a different GPU size, you shut down and restart the instance with the new specs, which takes minutes. In the early stages, the focus is on validating ideas quickly.”)— Rohan Sarin, Líder de Produto AI, Speechmatics
Aplicação e desempenho
O aumento dos custos geralmente se torna insustentável quando os modelos de inferência precisam operar 24 horas por dia, especialmente em períodos de alta demanda. Christian Khoury, CEO da EasyAudit AI, mencionou que algumas empresas viram seus gastos com inferência saltar de $5 mil para $50 mil mensalmente, evidenciando a necessidade urgente de uma estratégia otimizada.
“A demanda de inferência é o novo ‘imposto da nuvem’. Aumento exponencial de custos se torna comum à medida que as empresas ainda tentam escalar e garantir a latência necessária.”
(“Inference demand is the new ‘cloud tax.’ Exponential cost increases become common as companies still try to scale and ensure the necessary latency.”)— Christian Khoury, CEO, EasyAudit AI
Impacto e mercado
Empresas estão recorrendo a uma abordagem híbrida, transferindo cargas de trabalho de inferência para servidores dedicados em colocation ou na infraestrutura local, enquanto mantém o treinamento nas nuvens. Este modelo não apenas reduz custos em até 80%, mas também melhora a previsibilidade e controle sobre a capacidade de recursos.
“Temos ajudado equipes a mudar para colocation para inferência, usando servidores GPU dedicados que eles controlam. Não é glamouroso, mas reduz gastos mensais em 60-80%.”
(“We’ve helped teams shift to colocation for inference using dedicated GPU servers that they control. It’s not sexy, but it cuts monthly infra spend by 60–80%.”)— Christian Khoury, CEO, EasyAudit AI
A crescente complexidade na transferência para um modelo híbrido não deve ser um obstáculo. Comumente, empresas gastam menos ao longo do tempo ao investir em hardware próprio ou em estruturas de colocation, ao invés de depender apenas de provedores de nuvem.
Os próximos passos para empresas e startups devem incluir uma avaliação cuidadosa das cargas de trabalho de IA, mantendo um equilíbrio entre investimento em nuvem e recursos locais, para garantir eficiência e redução nos gastos.
Fonte: (VentureBeat – AI)
