São Paulo — InkDesign News — A inteligência artificial (IA) está em constante evolução, especialmente no contexto de LLMs (modelos de linguagem de grande escala) e deep learning. Um dos maiores desafios enfrentados atualmente por empresas é a "alucinação", um fenômeno que pode comprometer a precisão das aplicações de IA em cenários críticos.
Tecnologia e abordagem
A Vectara, uma empresa inovadora no campo de IA, introduziu o conceito de "agentes guardian" dentro de seu novo serviço, chamado Vectara Hallucination Corrector. Essa abordagem se diferencia por corrigir automaticamente erros gerados por LLMs, ao invés de apenas identificar e marcar ocorrências de alucinações. Os "agentes guardian" são componentes de software que monitoram e aplicam ações corretivas em fluxos de trabalho de IA, proporcionando ajustes precisos em resposta a outputs incorretos.
A arquitetura deste sistema inclui três componentes principais: um modelo generativo, um modelo de detecção de alucinações e um modelo de correção. Esta estrutura em múltiplas etapas possibilita uma capacidade dinâmica de lidar com falhas nas respostas geradas, melhorando a precisão em processos empresariais.
Aplicação e desempenho
Estudos indicam que a abordagem da Vectara pode reduzir as taxas de alucinação em modelos de linguagem com menos de 7 bilhões de parâmetros para menos de 1%. Como enfatiza Eva Nahari, CPO da Vectara, “alucinações ainda são um problema com LLMs, e como isso pode amplificar o impacto negativo de erros é preocupante para as empresas.”
O modelo foi projetado para fazer ajustes mínimos e precisos em respostas, permitindo que a essência do conteúdo original permaneça intacta. O sistema identifica alucinações em um nível granular, permitindo uma correção contextual que considera a variação linguística e as escolhas criativas presentes em certos tipos de conteúdo, como literatura de ficção científica.
Impacto e mercado
O impacto dessa tecnologia pode ser significativo, especialmente para empresas que dependem de IA para operações críticas. A implementação de "agentes guardian" permite que as organizações adotem sistemas de IA mais robustos sem descartar completamente seu uso em áreas com riscos elevados.
Empresas como a Mayo Clinic estão experimentando abordagens como o "reverse RAG" para limitar alucinações, enquanto a MongoDB busca aprimorar a qualidade de dados e a precisão de embeddings. Isso evidencia uma tendência crescente no setor: a minimização de riscos associados a alucinações em IA.
Com tecnologias de correção de alucinações amadurecendo, as empresas poderão utilizar IA em casos de uso anteriormente restritos, mantendo os padrões de precisão necessários para operações empresariais críticas.
Próximos passos incluem a avaliação dos riscos de alucinações e a consideração da implementação de capacidades corretivas em fluxos de trabalho de alto valor. A manutenção de supervisão humana será crucial para garantir a integridade nas respostas geradas por IA.
Fonte: (VentureBeat – AI)
