Modelos de machine learning evitam armadilhas em efeitos fixos e aleatórios

São Paulo — InkDesign News — Um estudo recente explora os efeitos do uso de ferramentas de machine learning em ambientes de desenvolvimento, iluminando como fatores organizacionais impactam a produtividade dos desenvolvedores.

Arquitetura de modelo

O estudo investiga como o uso do Github Copilot pode afetar a produtividade dos programadores, considerando variáveis independentes e dependentes. Ao examinar a relação entre o tempo gasto utilizando a ferramenta e a velocidade de conclusão de tarefas, os pesquisadores identificaram correlações significativas. No entanto, fatores externos, como as características das empresas, influenciam esses resultados.

“É crucial considerar as diferenças organizacionais antes de tirar conclusões sobre a eficácia do Copilot.”
(“It’s essential to consider organizational differences before drawing conclusions about Copilot’s effectiveness.”)

— Analista em Tecnologia, Universidade de São Paulo

Treinamento e otimização

Os pesquisadores aplicaram Modelos Lineares Generalizados (GLM) para entender as variáveis que impactam o consumo de energia durante o treinamento de modelos de inteligência artificial. A análise incluiu fatores como tempo de treinamento e quantidade de hardware. Ao comparar modelos com e sem efeitos aleatórios das organizações, eles descobriram que incluir esses efeitos ajudou a explicar variações não observadas, mas também obscureceu a importância de outros parâmetros.

“A inclusão de variações organizacionais teve um impacto considerável nas outras variáveis do modelo.”
(“The inclusion of organizational variations had a considerable impact on other model variables.”)

— Pesquisador de Dados, Laboratório de Inteligência Artificial, UFABC

Resultados e métricas

Os resultados indicaram que o modelo que incluiu efeitos aleatórios apresentou um AIC de 300.38, melhor que o modelo sem esses efeitos. No entanto, a significância das variáveis se diluiu, gerando um alerta sobre a interpretação de resultados. É preciso estar atento, pois a presença de efeitos aleatórios pode interferir na análise de outros fatores importantes.

O estudo sublinha a necessidade de um entendimento cuidadoso das interações entre variáveis numa pesquisa de machine learning e deep learning, especialmente quando se considera como particularidades de organizações podem influenciar resultados.

Com esses insights, futuras pesquisas poderão se concentrar em refinar modelos, evitando a absorção de significância por efeitos aleatórios, e potencialmente aumentar a acurácia de suas previsões em ambientes de desenvolvimento.

Fonte: (Towards Data Science – AI, ML & Deep Learning)