Ferramenta automatizada detecta erros silenciosos em deep learning

São Paulo — InkDesign News —

A nova ferramenta TrainCheck, desenvolvida na Universidade de Michigan, oferece um método inovador para detectar erros silenciosos durante o treinamento de modelos de machine learning, melhorando a confiabilidade e eficiência em inteligência artificial.

Contexto da pesquisa

Erros silenciosos, que não causam falhas óbvias no treinamento, podem degradar silenciosamente a performance dos modelos de IA, gerando desperdício de recursos. Modelos de linguagem grande (LLMs) e redes neurais de visão computacional são particularmente afetados por esse problema, pois o custo do treinamento é elevado. A implementação do TrainCheck se faz necessária em um cenário onde falhas não detectadas podem comprometer meses de trabalho.

Método proposto

O TrainCheck utiliza invariantes de treinamento, ou regras que permanecem constantes durante o processo de aprendizado, para monitorar ativamente o treinamento e alertar os desenvolvedores sobre desvios. Esse método se afasta das abordagens tradicionais que utilizam métricas de alto nível, como perda, precisão e normas de gradiente, que podem ser ruidosas e difíceis de interpretar.

“Com o desenvolvimento do TrainCheck, nosso objetivo é capacitar desenvolvedores com melhores ferramentas para lidar com erros silenciosos, permitindo sistemas de IA mais robustos.”
(“By developing TrainCheck, we aim to empower developers with better tools to address silent errors, ultimately enabling more robust AI systems.”)

— Ryan Huang, Professor Associado de Ciência da Computação e Engenharia, Universidade de Michigan

Resultados e impacto

Nos testes realizados, o TrainCheck conseguiu identificar 18 dos 20 erros silenciosos reais, superando métodos anteriores que detectaram apenas dois. De acordo com os diagnósticos, em 10 casos, as notificações de violação encontraram a causa raiz, enquanto os outros oito ficaram próximos à raiz do problema. As abordagens tradicionais forneceram dicas diagnósticas apenas para um erro.

“Ficamos impressionados com o desempenho do TrainCheck ao lidar com questões do mundo real usando sua abordagem baseada em invariantes.”
(“We were impressed by how well TrainCheck performed in handling real-world issues using its principled invariant-based approach.”)

— Yuxuan Jiang, Estudante de doutorado em Ciência da Computação e Engenharia, Universidade de Michigan

Os resultados promissores indicam que o TrainCheck pode ser integrado a diversos frameworks de machine learning, oferecendo uma ferramenta proativa para evitar erros silenciosos, minimizando assim o desperdício de recursos e aprimorando a acurácia do modelo. Futuros desenvolvimentos podem adaptar o TrainCheck para fornecer suporte adicional em depuração e expandir a abordagem de validação contínua para outras áreas computacionais, como sistemas distribuídos, onde erros silenciosos são comuns.

Fonte: (TechXplore – Machine Learning & AI)