São Paulo — InkDesign News — Um novo relatório da HiddenLayer revela uma vulnerabilidade preocupante nas medidas de segurança dos Modelos de Linguagem de Grande Escala (LLMs). A OpenAI lançou recentemente seu framework de segurança Guardrails em 6 de outubro, parte da nova ferramenta AgentKit, para ajudar desenvolvedores a construir e proteger agentes de IA.
Incidente e vulnerabilidade
A pesquisa da HiddenLayer identificou que a implementação do Guardrails pode ser burlada quase imediatamente após seu lançamento. A principal falha encontrada é que a mesma modelagem utilizada para gerar respostas é a mesma empregada como verificador de segurança, resultando em uma situação em que ambas podem ser enganadas pelo mesmo vetor de ataque. Os pesquisadores conseguiram desativar os principais detectores de segurança, indicando que essa configuração é “inherentemente falha” (“inherently flawed”). Utilizando uma técnica simples, demonstraram como convencem o sistema a gerar respostas prejudiciais e realizar injeções de prompts ocultas sem acionar alarmes. Um exemplo foi encontrado em um teste em que, mesmo com 95% de confiança do detector de que o prompt era uma jailbreak, manipularam a pontuação de confiança do juiz de IA.
Impacto e resposta
As consequências desse tipo de vulnerabilidade geram uma sensação falsa de segurança. À medida que as organizações confiam cada vez mais nos LLMs para tarefas críticas, depender do próprio modelo para verificar seu comportamento torna-se um risco de segurança. Os pesquisadores também identificaram ataques indiretos de injeção de prompts que podem expor dados confidenciais do usuário. Em um caso separado, um exploit identificado como ShadowLeak, descoberto em setembro de 2025, foi capaz de enganar outro agente da OpenAI, resultando na exposição de dados privados dos usuários retirados de emails aparentemente normais.
A vulnerabilidade demonstrada exige uma camada de proteção separada e testes constantes por especialistas em segurança para identificar pontos fracos.
— HiddenLayer, Pesquisa
Mitigações recomendadas
Como resposta a essas vulnerabilidades e ao Blitz do Guardrails, é essencial que organizações implementem patches que abordem essas falhas. Além disso, recomenda-se a adoção de boas práticas, como a revisão regular dos mecanismos de segurança e a realização de testes de penetração para descobrir possíveis brechas. O uso de uma arquitetura de segurança em camadas e a validação de entradas são fundamentais para mitigar riscos.
A segurança do IA deve incluir diversas camadas de proteção e avaliações contínuas para garantir que as brechas sejam rapidamente identificadas e corrigidas.
— Especialista em Segurança, Anônimo
O panorama de segurança ainda apresenta riscos residuais, enfatizando a necessidade de respostas proativas para os desafios que a tecnologia de IA enfrenta, visando fortalecer a confiabilidade e a segurança dos sistemas.
Fonte: (Hack Read – Segurança Cibernética)
