São Paulo — InkDesign News — A crescente adoção de modelos de linguagem grandes (LLMs) tem motivado as empresas a explorar mais a fundo a inteligência artificial (IA) e as potencialidades do deep learning. No entanto, as limitações operacionais e os altos custos associados a esses modelos têm levado à avaliação de alternativas mais eficientes.
Tecnologia e abordagem
Recentemente, modelos de linguagem menores e técnicas de destilação têm emergido como soluções viáveis para as empresas que buscam equilibrar desempenho e custo. Exemplos como a família de modelos Gemma e o Phi da Microsoft proporcionam opções mais rápidas e precisas, adequadas a tarefas específicas. Segundo Karthik Ramgopal, engenheiro distinto do LinkedIn, “modelos menores exigem menos computação, memória e têm tempos de inferência mais rápidos, o que se traduz diretamente em menores OPEX e CAPEX” (“Smaller models require less compute, memory and faster inference times, which translates directly into lower infrastructure OPEX and CAPEX”).
Aplicação e desempenho
Com a diversificação de modelos, como os da Anthropic, que oferecem variações que vão do Claude Opus ao Claude Haiku, as empresas podem escolher uma abordagem mais personalizada, visando redução de custos com base nas necessidades específicas de cada tarefa. Esses modelos compactos podem ser utilizados em dispositivos portáteis, como laptops e smartphones, aumentando a acessibilidade. A comparação de custos entre modelos, como o o4-mini da OpenAI e suas versões maiores, também ilustra o potencial de economia, com preços significativamente menores para operações.
“Você deve começar com o maior modelo para ver se o que você está imaginando funciona, pois se não funcionar com o maior, isso não significa que funcionará com os menores”
(“You should start with the biggest model to see if what you’re envisioning even works at all, because if it doesn’t work with the biggest model, it doesn’t mean it would with smaller models.”)— Daniel Hoske, CTO, Cresta
Impacto e mercado
A avaliação do retorno sobre investimento (ROI) das implementações de IA continua sendo um desafio, uma vez que os benefícios podem não ser imediatamente aparentes. A métricas como o custo e a eficiência dos processos são cruciais. Empresas como a Aible reportaram reduções de custos significativas em suas implementações, atingindo até 100 vezes menos gastos em alguns casos. No entanto, é importante salientar que modelos menores podem não ser adequados para tarefas que demandam maior capacidade de compreensão contextual, o que, em algumas situações, pode acarretar em custos adicionais.
Em conclusão, a escolha do modelo adequado deve considerar não apenas o custo, mas também a natureza da tarefa e a complexidade das instruções a serem processadas. O mercado se movimenta para otimizar essas escolhas, reconhecendo que as soluções de IA sempre estarão em evolução.
Fonte: (VentureBeat – AI)
