São Paulo — InkDesign News — A análise de consumo de energia em modelos de machine learning revela desafios complexos. Um estudo recente analisou como as transformações logarítmicas podem impactar a modelagem deste tipo de dados.
Arquitetura de modelo
O projeto utilizou dados do Epoch AI para calcular o consumo de energia de diversos modelos de IA. O consumo, medido em kWh, mostrou-se extremamente enviesado à direita, demandando uma abordagem cuidadosa. Ao enfrentar dados assimétricos, a aplicação de transformações logarítmicas é comum para normalizar distribuições e estabilizar variâncias.
“A transformação logarítmica da variável de resposta mostrou uma distribuição muito mais normal.”
(“The distribution of log(Energy) looked much more normal.”)— Nome, Cargo, Instituição
Treinamento e otimização
O autor do estudo se deparou com a questão de modelar a variável log-transformada versus usar uma função de ligação logarítmica. Quatro modelos diferentes foram ajustados: dois com a distribuição Gaussiana e dois com a distribuição Gamma. A comparação entre os modelos foi baseada no critério de informação de Akaike (AIC), onde modelos com variáveis transformadas logaritmicamente apresentaram valores significativamente menores, sugerindo um melhor ajuste.
“A diferença no AIC entre os modelos log-transformados e os de ligação log foi substancial.”
(“The difference in AIC between log-transformed and log-link models was substantial.”)— Nome, Cargo, Instituição
Resultados e métricas
O modelo logarítmico Gamma foi escolhido, mostrando que a quantidade de hardware e o tempo de treinamento influenciam no consumo de energia, embora com pequenos aumentos percentuais. Interações entre variáveis também foram examinadas, levando a insights práticos sobre a eficiência do uso de hardware na treinamento de modelos.
“O uso do log-link permitiu uma melhor captura dos efeitos subjacentes em comparação com a transformação logarítmica.”
(“Using a log link allowed for better captures of the underlying effects compared to the log transformation.”)— Nome, Cargo, Instituição
Esses insights mostram a complexidade das análises em modelos de deep learning, destacando a importância de escolher abordagens adequadas para garantir a precisão dos resultados. Com a contínua evolução de algoritmos, a escolha de técnicas de modelagem torna-se cada vez mais crítica.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
