São Paulo — InkDesign News —
A inteligência artificial está transformando a otimização de chips e o treinamento de modelos complexos. Pesquisadores, incluindo a Dra. Anna Mirhoseini do Google, estão utilizando essa tecnologia para aprimorar o design de circuitos eletrônicos e a eficiência dos algoritmos.
Contexto da pesquisa
A busca por soluções mais eficientes nos domínios de inteligência artificial (IA) e machine learning (ML) tem motivado equipes de pesquisa a explorar novas abordagens. A Dra. Mirhoseini e seus colaboradores no Google têm trabalhado em sistemas que otimizam a distribuição de componentes em chips, com foco em aumentar a eficiência. Um projeto anterior, mencionado em um estudo de 2021, resultou em um sistema não-LLM que melhorou o layout de circuitos. Apesar de algumas tentativas de replicação não terem sucesso, a pesquisa foi validada pela revista Nature, e os designs foram empregados em várias gerações de chips personalizados do Google.
Método e resultados
Mirhoseini também aplicou LLMs (Modelos de Linguagem de Grande Escala) à redação de kernels, funções de baixo nível que controlam operações como multiplicação de matrizes. Ela descobriu que LLMs de uso geral, em algumas situações, conseguem produzir kernels que apresentam performance superior aos elaborados por humanos. Como parte de uma estratégia mais ampla, a equipe do Google desenvolveu o sistema AlphaEvolve, que utiliza o Gemini LLM para criar algoritmos. Este sistema foi capaz de modificar a abordagem operacional dos datacenters, resultando em uma economia de 0,7% nos recursos computacionais e aumentando a eficiência no treinamento do Gemini em 1%.
Implicações e próximos passos
Embora melhorias de pequeno percentual possam parecer triviais, no contexto do Google, esses ganhos representam economias significativas em tempo, custo e energia. Matej Balog, um dos líderes do projeto AlphaEvolve, afirmou que a aplicação do sistema em maior escala poderia resultar em ainda mais economias. Além disso, a utilização de LLMs para gerar dados sintéticos em áreas onde faltam informações reais representa uma potencial solução para o problema da escassez de dados. Segundo Mirhoseini, “Você não está mais limitado por dados, pois o modelo pode gerar experiências arbitrariamente”.
“Você não está mais limitado por dados, pois o modelo pode gerar experiências arbitrariamente”
(“You’re not limited by data anymore, because the model can just arbitrarily generate more and more experiences.”)— Anna Mirhoseini, Pesquisadora, Google
Apesar dos avanços no uso de LLMs, a auto-otimização de modelos de linguagem ainda apresenta desafios, uma vez que as estruturas neurais baseadas em transformers, utilizadas atualmente, foram projetadas por pesquisadores humanos. O progresso nessa área pode exigir novas perspectivas e inovações.
Este impulso em direção à automação e ao uso eficiente de recursos pode não apenas revolucionar a maneira como a IA é desenvolvida, mas também moldar o futuro das tecnologias computacionais. A perspectiva de economizar tempo e recursos enquanto se avança na capacidade de treinamento de IA sugere um vasto potencial para aplicações futuras.
Fonte: (MIT Technology Review – Artificial Intelligence)
