São Paulo — InkDesign News — A análise das variações em métricas-chave utilizando machine learning e abordagens estatísticas é essencial para entender alterações em produtos digitais. Este artigo explora frameworks para decompor mudanças em métricas simples e compostas, com aplicações em deep learning para detecção automatizada de causas raiz.
Arquitetura de modelo
Ao monitorar métricas, é comum observar mudanças súbitas, como quedas na taxa de conversão ou crescimento constante da receita. O artigo apresenta uma arquitetura analítica que utiliza funções para segmentar e quantificar o impacto das alterações em métricas simples, como receita total, e métricas compostas, tais como taxa de conversão. As métricas simples são agregadas diretamente, enquanto as compostas exigem uma decomposição considerando a variação tanto na conversão quanto na composição de segmentos.
“O alicerce da Análise de Causa Raiz geralmente é fatiar e manipular os dados. Normalmente, identificar quais segmentos impulsionam a mudança já oferece uma pista para encontrar as causas principais.”
(“The cornerstone of Root Cause Analysis is usually slicing and dicing the data. Most often, figuring out what segments are driving the change will give you a clue to the root causes.”)— Miptgirl, Analista de Dados
Treinamento e otimização
A implementação prática envolve a criação de funções para calcular diferenças absolutas e relativas, impacto percentual dos segmentos e normalizações para identificar anomalias. Para métricas simples, a função calculate_simple_growth_metrics processa dados segmentados por país e tipo de cliente para apontar áreas de queda ou crescimento. Para métricas de razão, a função calculate_conversion_effects decompõe a variação em alterações internas de segmento e mudanças na composição da base.
Visualizações como gráficos paralelos, scatter plots e diagramas de cascata auxiliam na interpretação e permitem detectar padrões incomuns, como exemplificado por um cenário de Simpson’s paradox, onde a análise aprofundada revela que a queda em uma métrica geral pode mascarar melhorias dentro de segmentos individuais.
“Esse efeito contra-intuitivo é chamado paradoxo de Simpson… Quando adicionaram a variável departamento como explicativa, os dados mostraram um viés pequeno, mas significativo, a favor das mulheres.”
(“This counterintuitive effect is called Simpson’s paradox… When they added department as a confounder, the data actually showed a small but significant bias in favour of women.”)— Estudo Berkeley, 1973
Resultados e métricas
O framework permite analisar múltiplos cenários, demonstrando desde quedas uniformes de receita até desvios localizados em determinado país e cliente. No caso de métricas compostas, destaca-se a importância de separar o impacto da alteração na taxa de conversão do efeito da mudança na composição da base de usuários. Os cálculos revelam, por exemplo, que o crescimento do segmento de novos clientes com conversão inferior pode diminuir a taxa geral, mesmo com aumento local da conversão.
A precisão das estimativas, embora não exata na soma dos efeitos, é suficiente para informar decisões estratégicas e direcionar investigações detalhadas. Combinando essas análises e visualizações, os times de produto podem rapidamente identificar os principais motores por trás das variações das métricas.
“O framework sugerido foi bastante útil. Conseguimos rapidamente identificar o que está ocorrendo com as métricas.”
(“The suggested framework has been quite helpful. We were able to quickly figure out what’s going on with the metrics.”)— Miptgirl, Especialista em Análise de Dados
Este conjunto analítico é um avanço prático para equipes que integram machine learning ao seu monitoramento de produtos, possibilitando a construção futura de agentes baseados em LLM (Modelos Linguísticos de Grande Escala) que automatizam análise e sumarização dos resultados em linguagem natural.
Confira mais sobre machine learning e deep learning em nossos artigos em machine learning e deep learning.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
