São Paulo — InkDesign News — O avanço de machine learning e deep learning tem impactado cada vez mais os setores tecnológicos, mas novos desafios surgem à medida que modelos entram em produção, como mudanças inesperadas em dados ou falhas na integração de APIs.
Arquitetura de modelo
Construir um sistema de machine learning eficaz requer uma arquitetura robusta. O trabalho inicial de um engenheiro de modelos destaca a importância de arquiteturas que favoreçam a estabilidade. Quando um modelo não performa como esperado, muitos tendem a pensar que o problema reside na arquitetura do próprio modelo.
“A culpa raramente é do modelo em si; geralmente, é uma mudança no esquema de uma tabela upstream, um renomeação de API que ninguém lhe contou ou uma base de conhecimento que não foi atualizada há tempos.”
(“Most AI/ML issues aren’t actually AI problems—they’re downstream consequences of upstream design decisions.”)— Autor, Engenheiro de Machine Learning
Treinamento e otimização
Um aspecto crucial é a formação da equipe sobre como evitar soluções reativas se faz necessária. Para isso, facilmente muitos profissionais implementam correções rápidas que, embora eficazes em curto prazo, criam novas camadas de complexidade. O conceito de attribution flip test é uma abordagem prática que pode ser utilizada para conduzir análises de falhas.
“Quando você vê alguém correndo atrás de um ônibus, você pensa ‘ele deve ter habilidades de gerenciamento de tempo ruins’ ou ‘o ônibus provavelmente chegou mais cedo do que programado’?”
(“Most people instinctively choose the former – we tend to blame the individual rather than question the circumstances.”)— Autor, Engenheiro de Machine Learning
Resultados e métricas
O aprimoramento das métricas de desempenho e da acurácia é uma prioridade para as equipes de engenharia. Um exemplo disso é a ocorrência de falhas de aprendizado em tempo real que não se manifestam abertamente. As empresas costumam detectar essas exceções apenas após uma análise aprofundada dos fluxos de dados.
“Uma abordagem proativa na construção de sistemas de machine learning é pensar sistematicamente sobre situações que permitem falhas.”
(“The upstream mentality tells you to think systematically about situations that enable failures.”)— Autor, Engenheiro de Machine Learning
Em síntese, as abordagens que enfatizam a prevenção, como a mapeação da linhagem de dados e a avaliação de riscos em dependências upstream, são essenciais para aumentar a confiabilidade dos modelos e reduzir a dívida técnica. O foco deve ser em estabelecer contratos de dados e implementar monitorações adequadas, garantindo assim um ciclo contínuo de melhoria.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
