São Paulo — InkDesign News — A nova atualização do framework PyTorch trouxe avanços significativos para aprimorar a performance em machine learning e deep learning. A introdução da função torch.compile em versões recentes está transformando a forma como modelos são otimizados.
Arquitetura de modelo
O torch.compile atua como um compilador just-in-time (JIT). Ao ser invocado, ele traça o código Python e converte-o em uma representação de gráfico intermediário (IR) utilizando o TorchDynamo. "O resultado é um gráfico altamente otimizado que reduz a sobrecarga da execução da linguagem Python" — Nome, Cargo, Instituição.
Treinamento e otimização
O treinamento pode ser realizado de forma eficaz em hardware potente como as instâncias Amazon EC2 com GPUs NVIDIA. O torch.compile ajuda a evitar "interrupções" no gráfico, que podem comprometer a performance. "Usar operadores como torch.where em vez de lógica condicional é essencial para manter a integridade do gráfico de compilação" — Nome, Cargo, Instituição.
Os desenvolvedores podem inclusive compilar os otimizadores, o que permite um aumento significativo na taxa de treinamento. Testes mostraram que ao aplicar o torch.compile com a configuração “max-autotune”, é possível alcançar um aumento de até 78% em velocidade em relação ao modo tradicional de execução.
Resultados e métricas
Os resultados dos experimentos demonstraram um throughput médio de 5.54 passos por segundo após a aplicação do torch.compile. Além disso, a pesquisa observou que a inserção de novos elementos no modelo incrementou a complexidade, mas ainda assim se manteve eficientemente gerenciável com as novas técnicas implementadas no framework.
A utilização de técnicas como compile-time caching tem o potencial de reduzir a duração do warmup em até 3,5 vezes, permitindo que os modelos sejam implementados mais rapidamente em ambientes de produção.
Os desenvolvedores encaram um futuro promissor onde as melhores práticas de deep learning podem ser mais facilmente integradas em projetos grandes e complexos.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
