São Paulo — InkDesign News — Uma nova vulnerabilidade cibernética, identificada como “Man in the Prompt”, está permitindo que agentes maliciosos explorem extensões de navegador comuns para injetar instruções prejudiciais em ferramentas de IA generativa como ChatGPT e Google Gemini. Este achado crítico foi revelado em um relatório de inteligência de ameaças da empresa de segurança cibernética LayerX.
Incidente e vulnerabilidade
O exploit “Man in the Prompt” se baseia em como a maioria das ferramentas de IA opera dentro dos navegadores web. Os campos de entrada de prompt fazem parte da estrutura da página web, conhecida como DOM (Document Object Model). Isso significa que qualquer extensão de navegador com acesso básico ao DOM pode ler ou alterar o que os usuários digitam nos prompts de IA, mesmo sem permissões especiais. A LayerX demonstrou que o ataque foi testado em todos os principais LLMs (Modelos de Linguagem de Grande Escala), com provas de conceito apresentadas para o ChatGPT e o Google Gemini.
Impacto e resposta
Os atacantes podem usar extensões comprometidas ou maliciosas para manipular a entrada do usuário na IA, injetar instruções ocultas, extrair dados sensíveis das respostas de IA ou de toda a sessão e até induzir o modelo a revelar informações confidenciais. A LayerX obteve sucesso em injetar prompts e extrair respostas do ChatGPT, reduzindo a visibilidade do histórico de conversas para evitar detecções. Para o Google Gemini, um extensão comprometida poderia acessar e exfiltrar dados sensíveis, incluindo emails e contatos, mesmo com a barra lateral do Gemini fechada.
“A exploração foi testada em todos os principais LLMs, com demonstrações de prova de conceito fornecidas para o ChatGPT e o Google Gemini.”
(“The exploit has been tested on all top commercial LLMs, with proof-of-concept demos provided for ChatGPT and Google Gemini.”)— LayerX
Mitigações recomendadas
Devido ao modo como o ataque opera, ferramentas de segurança tradicionais como sistemas de Prevenção de Perda de Dados (DLP) geralmente não possuem visibilidade necessária. LayerX recomenda que as organizações adaptem suas estratégias de segurança para monitorar o comportamento dentro do navegador. Isso inclui monitorar interações no DOM com ferramentas de IA, bloquear extensões arriscadas com base em seu comportamento, e prevenir em tempo real a manipulação de prompts e exfiltração de dados.
“A pressão para integrar IA generativa é real, mas essa rápida adoção está testando severamente a infraestrutura de segurança construída na era anterior à IA.”
(“The pressure to integrate generative AI is real, but this rapid adoption is severely testing the security infrastructure built in the pre-GenAI era.”)— Mayank Kumar, Engenheiro de IA, DeepTempo
O risco associado a essas vulnerabilidades destaca a necessidade de repensar a segurança em interfaces onde dados proprietários, ferramentas de IA e integrações de terceiros se encontram. A implementação de uma abordagem de monitoramento em várias camadas, aliando conscientização sobre aplicativos com uma estreita supervisão da rede, é essencial para mitigar essa nova onda de ameaças cibernéticas impulsionadas por IA.
Fonte: (Hack Read – Segurança Cibernética)
