Bloomberg revela riscos ocultos do RAG em LLMs de inteligência artificial

São Paulo — InkDesign News —

Pesquisas recentes da Bloomberg indicam que o uso da geração aumentada por recuperação (RAG, Retrieval Augmented Generation) em modelos de linguagem de grande escala (LLMs) pode, contra a expectativa comum, reduzir a segurança dessas inteligências artificiais. Embora a técnica vise melhorar a precisão com conteúdo fundamentado, o estudo revela vulnerabilidades críticas que impactam a eficácia dos sistemas de proteção embutidos.

Tecnologia e abordagem

O RAG combina modelos de deep learning com mecanismos de recuperação de documentos para fornecer respostas mais embasadas e atualizadas. Ao integrar conteúdo externo, os LLMs, como GPT-4o, Claude-3.5-Sonnet e Llama-3-8B, buscam reduzir a ocorrência de alucinações — respostas errôneas ou não fundamentadas. A pesquisa da Bloomberg avaliou 11 desses modelos, enfatizando o efeito do RAG na segurança das respostas, especialmente frente a consultas maliciosas ou prejudiciais.

Aplicação e desempenho

Os pesquisadores descobriram que, sem RAG, os modelos tipicamente recusam fornecer respostas a consultas perigosas, bloqueando o conteúdo. Porém, quando o RAG é aplicado, o índice de respostas inseguras pode aumentar de forma significativa; por exemplo, o Llama-3-8B apresentou salto de 0,3% para 9,2% em insegurança nas respostas. A hipótese centra-se na expansão do contexto fornecido pelo RAG, que pode interferir nos mecanismos internos de segurança, mesmo que os documentos recuperados sejam seguros.

“Sistemas precisam ser avaliados no contexto em que são usados, e não basta aceitar a palavra de outros dizendo que o modelo é seguro.”
(“Systems need to be evaluated in the context they’re deployed in, and you might not be able to just take the word of others that say, Hey, my model is safe, use it, you’re good.”)

— Sebastian Gehrmann, Head of Responsible AI, Bloomberg

Impacto e mercado

Além da análise sobre RAG, a Bloomberg também propôs uma taxonomia específica para riscos do uso de IA em serviços financeiros, destacando que abordagens genéricas falham em mitigar ameaças específicas do setor, como conduta financeira imprópria e divulgação confidencial. A recomendação é que instituições desenvolvam salvaguardas integradas e adaptadas, incorporando conhecimento de domínio para monitorar e controlar riscos emergentes nas aplicações empresariais.

“O maior ponto é que você realmente não pode evitar esse risco inerente ao modo como os sistemas RAG funcionam.”
(“I think the bigger point of this RAG paper is you really cannot escape this risk.”)

— Amanda Stent, Head of AI Strategy and Research, Bloomberg

Organizações que implantam IA em operações críticas devem reavaliar suas arquiteturas de segurança, migrando de modelos genéricos para frameworks específicos alinhados às regulamentações e exigências do mercado. Essa abordagem permite transformar segurança em um diferencial competitivo esperado por clientes e reguladores.

Fonte: (VentureBeat – AI)