São Paulo — InkDesign News — A inteligência artificial (IA) tem avançado rapidamente, especialmente com o desenvolvimento de modelos de linguagem de grande escala (LLMs) que incorporam técnicas de deep learning. Esta evolução é marcada pelo aumento da complexidade e dos custos associados ao processamento e à implementação.
Tecnologia e abordagem
Os modelos modernos de IA, como os transformadores, estão agora sendo otimizados para lidar com janelas de contexto mais longas e capacidades de raciocínio aprimoradas. No entanto, essa sofisticação vem acompanhada de um aumento significativo na demanda computacional. O uso eficiente dos recursos se tornou um tema crucial, levando ao surgimento de práticas como a "prompt ops", uma nova estratégia que visa melhorar a eficácia dos prompts utilizados para interagir com esses modelos. Segundo Crawford Del Prete, presidente da IDC, “Prompt engineering é meio que como escrever, a criação real, enquanto prompt ops é como publicar, onde você está evoluindo o conteúdo”.
Aplicação e desempenho
A eficiência no uso dos LLMs é diretamente influenciada pela estrutura e clareza dos prompts. David Emerson, cientista aplicado do Vector Institute, explica que o custo para os usuários depende tanto do número de tokens de entrada quanto dos tokens de saída. Comumente, modelos de raciocínio pesado tendem a fornecer respostas extensas, mesmo em perguntas simples, gerando custos computacionais elevados e desnecessários. Por exemplo, se um usuário pergunta sobre uma operação matemática simples, uma resposta direta pode ser manipulada para evitar longas explicações que consomem mais computação:
“A forma como a pergunta é feita pode reduzir o esforço ou custo para obter a resposta desejada.”
(“The way the question is asked can reduce the effort or cost in getting to the desired answer.”)— David Emerson, Cientista Aplicado, Vector Institute
Impacto e mercado
À medida que as empresas se adaptam a essa nova realidade, a implementação eficiente de arquiteturas de IA se torna cada vez mais essencial. A capacidade de conectar e otimizar SQL (Structured Query Language) com outros processos e fluxos de dados é vital para manter as operações dentro de limites de custo razoáveis. Os primeiros fornecedores de soluções em prompt ops, como QueryPal e TrueLens, estão começando a fornecer feedback em tempo real, permitindo que os usuários ajustem os prompts continuamente.
Os próximos passos na integração desses modelos preveem o aumento da automação, permitindo que agentes de IA possam otimizar, criar e estruturar prompts independentemente, reduzindo a necessidade de intervenção humana. Isso não só facilitará a operação, mas também poderá diminuir custos operacionais a longo prazo, tornando os sistemas mais ágeis e responsivos.
Fonte: (VentureBeat – AI)
