Modelos de machine learning precisam de calibração e métricas
São Paulo — InkDesign News — O uso de machine learning está revolucionando a maneira como analisamos e prevemos resultados no esporte, principalmente nas partidas de futebol. Este artigo explora as métricas de avaliação mais importantes para modelos preditivos, passando por métodos tanto de classificação quanto de regressão.
Arquitetura de modelo
Modelos de machine learning são projetados para fazer previsões, mas a precisão não é a única métrica que devemos considerar. No caso de tarefas de classificação e regressão, dois tipos de modelos são utilizados: a regressão logística para prever se um jogador marcará um gol e o Gradient Boosting Regressor para prever quantos gols um jogador pode marcar.
Existem diferentes abordagens a depender do tipo de problema a ser resolvido. Enquanto a acurácia pode ser útil em tarefas de classificação, em problemas de regressão, é fundamental considerar outras métricas que capturam melhor a performance dos modelos.
“Precisamos fazer mais do que meramente alcançar uma boa acurácia.”
(“Building predictive models goes far beyond simply achieving ‘good accuracy.’”)— Autor, Especialista em Machine Learning
Treinamento e otimização
Os modelos são treinados com dados que incluem fatores como desempenho anterior, condições do jogo e estatísticas dos jogadores. Isso requer uma abordagem cuidadosa na pré-processamento dos dados. A combinação de normalização e seleção de features eficazes pode influenciar diretamente os resultados.
Durante os testes, um modelo de classificação obteve uma acurácia de 92,43%, mas ao examinarmos a métrica ROC-AUC, resultou em 0,7585, o que indica que a classificação não é equilibrada devido à quantidade reduzida de jogadores que marcam gols.
“Nesse tipo de dado, a acurácia muitas vezes engana sobre a verdadeira capacidade do modelo.”
(“Too many data science projects stop at accuracy, which is often misleading.”)— Autor, Especialista em Machine Learning
Resultados e métricas
As avaliações de desempenho não devem se limitar a métricas como RMSE (Root Mean Square Error). Outras métricas, como R² e RMSLE (Root Mean Squared Logarithmic Error), oferecem uma perspectiva mais clara sobre a eficácia do modelo. Um R² próximo de 0,0557 sugere baixa capacidade de previsão, indicando que o modelo não é confiável.
A taxa de erro de 0,19684 em RMSLE mostra que, apesar de um desempenho razoável, a maioria das previsões ainda se concentra em um pequeno número de gols. As métricas devem ser adaptadas às necessidades específicas do problema em questão.
Para aplicações práticas, essas métricas são essenciais para informar decisões estratégicas, como em análises de performances de jogadores. Com isso, a pesquisa neste campo está longe de ser encerrada.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
