AWS Step Functions pausam pipelines de machine learning para revisão humana

São Paulo — InkDesign News — Em um mundo onde a automação é cada vez mais essencial, integrar a revisão humana em fluxos de trabalho de machine learning se torna necessário, especialmente em decisões críticas.

Arquitetura de modelo

A implementação de um sistema de aprovação manual em fluxos de trabalho de machine learning pode ser feita utilizando ferramentas como AWS Step Functions, Slack, e AWS Lambda. Essa arquitetura permite pausar a execução para a revisão humana, garantindo que processos sensíveis, como a promoção de modelos ou aprovação de dados, sejam supervisionados de maneira cuidadosa.

“A automação leva você até 90% do caminho, mas o último passo crítico muitas vezes precisa de julgamento humano.”
(“Automation gets you 90% of the way — but that critical last step often needs human judgment.”)

— Autor Original

Além disso, a utilização de um sistema de notificação via SNS para envio de mensagens de aprovação ao Slack permite uma interação direta e rápida com os responsáveis pela aprovação. Quando uma fase necessita de aprovação, um fluxo de trabalho é acionado, e um Lambda com a função WaitForTaskToken pausa a execução até que uma decisão seja tomada.

Treinamento e otimização

A estrutura permite que árvores de decisão complexas sejam revisadas, minimizando riscos de erro humano em produção. É crucial configurar um tempo limite para a reanálise, evitando que fluxos de trabalho se atasquem indevidamente.

“Sempre utilize timeouts: configure um limite tanto para a etapa WaitForTaskToken quanto para toda a função Step.”
(“Always use timeouts: Set a timeout both on the WaitForTaskToken step and on the entire Step Function.”)

— Autor Original

O código em Python utilizado para gerenciar respostas de aprovação e rejeição permite um controle preciso do fluxo, garantindo que as respostas aos eventos sejam tratadas de forma eficiente.

Resultados e métricas

Os testes realizados demonstraram que o sistema respondia adequadamente a diferentes cenários, com percentuais de aprovação e rejeição sendo registrados, o que é vital para análise futura. Além disso, os logs do Slack e métricas do AWS Step Functions confirmaram que o sistema opera conforme o esperado, sem atrasos ou falhas.

“Teste não apenas os caminhos comuns, mas também as situações em que ninguém clica.”
(“I highly recommend testing not just happy paths, but also ‘what if nobody clicks?’”)

— Autor Original

Esse processo de revisão humana é imperativo para a implementação segura de modelos, especialmente em ambientes de produção onde erros podem resultar em custos altos.

O futuro da pesquisa pode focar em implementar sistemas ainda mais dinâmicos que incorporem aprendizado contínuo, permitindo que os modelos se ajustem em tempo real, sem a necessidade de intervenções frequentes.

Fonte: (Towards Data Science – AI, ML & Deep Learning)