São Paulo — InkDesign News — Pesquisadores de segurança cibernética da Trail of Bits revelaram uma vulnerabilidade crítica em sistemas de inteligência artificial, que permite que comandos ocultos em imagens sejam utilizados para roubo de dados em plataformas, como a Gemini, por meio de um ataque denominado “imagem scaling”.
Incidente e vulnerabilidade
A vulnerabilidade descoberta permite que atacantes escondam instruções em imagens de alta resolução que parecem normais aos olhos humanos. Quando essas imagens são processadas por modelos de IA, o AI frequentemente redimensiona as imagens, momento em que as instruções ocultas se tornam legíveis. Este ataque, uma forma de injeção de prompt, pode manipular a IA sem que o usuário tenha ciência da execução de comandos dentro desses arquivos visuais. A Trail of Bits demonstrou o ataque em várias interfaces de sistemas de IA, incluindo o CLI do Gemini e o Google Assistant.
“A exploração dessa fraqueza pode permitir acesso não autorizado a sistemas, com consequências potencialmente severas para a privacidade dos usuários.”
(“Exploitation of this weakness can allow unauthorized access to systems, with potentially severe consequences for user privacy.”)— Pesquisadores, Trail of Bits
Impacto e resposta
A eficácia do ataque foi comprovada em um caso específico onde uma imagem maliciosa provocou o Gemini a acessar o Google Calendar do usuário, enviando detalhes a um atacante sem qualquer confirmação anterior do usuário. Essa abordagem levanta questões sérias sobre a segurança das interações dos usuários com assistentes digitais e serviços de IA, especialmente em relação à proteção de informações sensíveis.
Mitigações recomendadas
Para neutralizar essa nova ameaça, os pesquisadores sugerem a implementação de algumas medidas de segurança, como a criação de uma ferramenta chamada Anamorpher, que ajuda a testar a eficácia de sistemas contra este tipo de ataque. Além disso, é fundamental que as aplicações de IA não executem ações sensíveis automaticamente quando comandos são escondidos dentro de imagens. É imprescindível que o usuário receba uma prévia de como a imagem será visualizada pelo modelo de IA e que haja permissão explícita para qualquer compartilhamento de dados.
“As melhores práticas incluem sempre solicitar autorização do usuário antes de realizar qualquer operação que envolva dados sensíveis.”
(“Best practices include always requesting user authorization before performing any operation involving sensitive data.”)— Pesquisadores, Trail of Bits
A descoberta dessa vulnerabilidade destaca os riscos residuais associados ao uso de modelos de IA. À medida que as tecnologias avançam, é vital que os sistemas de segurança se adaptem para mitigar vulnerabilidades emergentes e garantir a proteção dos dados dos usuários.
Fonte: (Hack Read – Segurança Cibernética)
