Claude models elevam custo de AI em empresas até 30% maior que GPT

São Paulo — InkDesign News —

A inteligência artificial baseada em grandes modelos de linguagem (LLM) segue ganhando complexidade, evidenciando que detalhes técnicos como a tokenização afetam não só a performance, mas também os custos práticos das soluções. Estudos recentes mostram que diferentes famílias de modelos, como a OpenAI e a Anthropic, utilizam tokenizadores distintos, com impacto direto na quantidade de tokens gerados para o mesmo texto de entrada.

Tecnologia e abordagem

Os modelos GPT da OpenAI empregam tokenização via Byte Pair Encoding (BPE), em particular o tokenizer open-source o200k_base, que agrupa pares de caracteres frequentes em tokens. Por outro lado, a Anthropic utiliza um tokenizador próprio, menos acessível e com cerca de 65 mil variações de tokens, inferior aos 100.261 do GPT-4. Essa diferença em tokenização explica variações na contagem de tokens, uma métrica crucial para operações com LLMs.

“A Anthropic emprega um tokenizador único com apenas 65.000 variações de token, em comparação com as 100.261 do GPT-4 da OpenAI.”
(“Anthropic uses a unique tokenizer with only 65,000 token variations, compared to OpenAI’s 100,261 token variations for GPT-4.”)

— Latenode, Análise Técnica

Aplicação e desempenho

Testes comparativos entre o Claude 3.5 Sonnet da Anthropic e o GPT-4o da OpenAI indicam que o primeiro gera 16% a 30% mais tokens para um mesmo input, dependendo do domínio do texto. Em artigos em inglês, o excesso é de 16%; em códigos Python, sobe para 30%; em equações matemáticas, atinge 21%. Esses números evidenciam ineficiências na tokenização da Anthropic, que fragmenta conteúdos técnicos e estruturados em mais tokens.

Essa tokenização excessiva impacta diretamente os custos e a utilização da janela de contexto, mesmo com Anthropic anunciando uma janela maior (200 mil tokens contra 128 mil da OpenAI). Na prática, o uso mais verbose dos tokens pode reduzir o espaço efetivo de contexto disponível.

Impacto e mercado

No âmbito do mercado e custos, apesar do Claude 3.5 Sonnet oferecer preço até 40% menor por token de entrada, o aumento na quantidade de tokens torna a implementação mais cara em comparação ao GPT-4o. O custo prático para empresas que processam grandes volumes de dados pode ser até 20-30% superior. Isso destaca a importância da análise de tokenização para decisões de custo-benefício em implantação de IA.

“Enquanto o custo por token de entrada do Claude 3.5 Sonnet é 40% menor, a tokenização mais verbosa pode elevar o custo total, tornando o uso prático mais caro.”
(“While Claude 3.5 Sonnet’s input token cost is 40% lower, the more verbose tokenization can increase total cost, making practical use more expensive.”)

— Lavanya Gupta, Pesquisadora em IA

Além disso, empresas devem avaliar o tipo de conteúdo a ser processado para escolher a solução mais eficiente. Textos naturais podem apresentar custo semelhante entre os modelos, enquanto conteúdos técnicos demandam maior dedicação à escolha do modelo, dada a maior ineficiência dos tokenizadores específicos.

Os próximos passos envolvem a transparência e otimização na tokenização para equilibrar custo, desempenho e escalabilidade, assim como o desenvolvimento de métricas padronizadas para comparação entre modelos em diferentes domínios. A capacidade de prever com precisão a contagem de tokens é estratégica para o planejamento financeiro e operacional em IA.

Para mais informações técnicas e discussões sobre IA generativa: /tag/inteligencia-artificial/ e /tag/ia-generativa/.

Fonte: (VentureBeat – AI)