AI decision circuits aprimoram certeza em modelos LLM de deep learning
São Paulo — InkDesign News —
A crescente adoção de machine learning em processos críticos evidencia desafios na precisão e confiança das decisões automatizadas. Pesquisadores propõem arquiteturas baseadas em circuitos de decisão AI para melhorar a robustez e reduzir a intervenção humana na validação de classificações automáticas.
Arquitetura de modelo
Uma abordagem inspirada na lógica booleana e circuitos eletrônicos foi aplicada para construir sistemas de decisão robustos com múltiplos agentes autônomos. Usando múltiplos classificadores independentes, validador de esquema e verificadores negativos, os pesquisadores criaram uma arquitetura que integra esses elementos via lógica booleana para garantir maior certeza nas respostas geradas por IAs.
“Agentes de IA podem interagir com o mundo ao redor, escrever artigos, tomar ações em seu nome e facilitar a automação das tarefas mais complexas.”
(“Agents can interact with the world around them, write articles (not this one though), take actions on your behalf, and generally make the difficult part of automating any task easy and approachable.”)— Barney, Pesquisador em IA
O sistema realiza múltiplas análises redundantes e validações cruzadas para detectar erros, similar a circuitos NAND usados em eletrônica digital, que são capazes de realizar qualquer operação lógica e assegurar confiabilidade nos resultados.
Treinamento e otimização
O modelo baseia-se em métricas probabilísticas para quantificar a probabilidade de falhas das análises individuais e conjuntas. Por exemplo, dois agentes com 90% de acurácia têm 10% de probabilidade de falharem individualmente, mas apenas 1% de erro simultâneo para o mesmo dado. Isso permite calcular esperadamente as falhas e o número de intervenções humanas necessárias.
“Se nosso especialista em controle de qualidade rejeitar a primeira análise, confiamos na opinião alternativa. Caso ela também falhe na validação, o caso é encaminhado para revisão humana.”
(“If our quality control expert (validator) rejects the primary analysis, don’t trust it. The system then tries to use the backup opinion instead. If that also fails validation, it flags the case for human review.”)— Barney, Pesquisador em IA
O código em Python implementa estratégias primárias e secundárias de classificação, verificação negativa e validação de esquema para classificação de chamadas em categorias específicas, extraindo múltiplas opiniões e combinando-as para definir níveis de confiança (alto, médio, baixo).
Resultados e métricas
Testes com um conjunto gerado artificialmente de transcrições telefônicas da Companhia de Água da Filadélfia demonstraram eficiência do sistema: 91% de acurácia com modelo único e 87% com o circuito robusto, porém com 92,5% de acurácia nos resultados de alta confiança — que são essenciais para minimizar intervenção humana.
“Sistemas eletrônicos usam circuitos redundantes e mecanismos de votação para prevenir falhas; aplicando essa lógica à IA, podemos reduzir drasticamente os erros e otimizar o uso da revisão humana.”
(“Electronics use redundant circuits and voting mechanisms to prevent errors from causing system failures. In AI systems, this kind of thoughtful combination logic can dramatically reduce error rates while efficiently using human reviewers only where they add the most value.”)— Barney, Pesquisador em IA
Além disso, fórmulas matemáticas permitem calcular o custo operacional envolvendo custos de execução dos parsers, intervenções humanas e erros não detectados, possibilitando decisões informadas sobre melhorias e investimentos em parsers adicionais ou validações aprimoradas.
Implementações futuras podem incluir validadores terciários, análise histórica por similaridade e testes adversariais para aumentar a precisão dos resultados classificados como de alta confiança, elevando a confiabilidade dos sistemas para aplicações sensíveis.
Esta arquitetura pode ser um divisor de águas em ambientes que dependem de machine learning para automação, abrindo caminho para sistemas de IA confiáveis e escaláveis em setores como atendimento ao cliente, saúde e segurança.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
