São Paulo — InkDesign News — Pesquisadores da Pangea Labs identificaram uma nova vulnerabilidade de cibersegurança, chamada LegalPwn, que explora falhas em ferramentas de IA generativa, permitindo que malwares sejam erroneamente classificados como códigos seguros.
Incidente e vulnerabilidade
A técnica LegalPwn manipula modelos de IA utilizando engenharia social, escondendo códigos maliciosos em textos legais. Durante os testes, foi constatado que doze modelos de IA foram vulneráveis a esse tipo de ataque, que pode ser considerado uma forma de injeção de prompt. O exploit se baseia em inserir instruções maliciosas em estruturas legais, como isenções de responsabilidade e mandatos de conformidade, levando os modelos a ignorar a detecção de ameaças reais. Em um caso prático, a interface de linha de comando Gemini CLI do Google foi induzida a sugerir a execução de um shell reverso, enquanto o GitHub Copilot confundiu um código malicioso com um simples calculador dentro de um aviso de copyright.
Impacto e resposta
O impacto dessa vulnerabilidade é significativo, já que afeta ferramentas utilizadas por milhões de desenvolvedores diariamente. A pesquisa mostrou que, mesmo com prompts de segurança, os modelos de IA falharam em identificar códigos maliciosos. A análise humana, por outro lado, foi capaz de detectar corretamente essas ameaças, evidenciando uma lacuna crítica nos sistemas automatizados. O perímetro de defesa das organizações que adotam essas tecnologias é, assim, comprometido, uma vez que dependem da eficácia desses sistemas para evitar ataques.
“A análise humana consistentemente e corretamente identificou o código malicioso, enquanto os modelos de IA falharam quando o malware estava envolto em textos de aparência legal.”
(“Human security analysts consistently and correctly identified the malicious code, while AI models failed to do so when the malware was wrapped in legal-looking text.”)— Pangea Labs
Mitigações recomendadas
Para mitigar esses riscos, a Pangea Labs recomenda que organizações implementem um processo de revisão com supervisão humana para todas as decisões de segurança assistidas por IA. É essencial adotar guardrails de IA que detectem tentativas de injeção de prompt e evitar fluxos de trabalho totalmente automatizados em ambientes de produção. Além disso, a atualização contínua dos sistemas de segurança e a formação de equipes em práticas de defesa cibernética são fundamentais para assegurar a integridade das operações.
“As organizações não devem confiar exclusivamente na análise de segurança automatizada, enfatizando a necessidade de supervisão humana.”
(“Organizations should not rely solely on automated AI security analysis, emphasizing the need for human supervision.”)— Pangea Labs
Os riscos residuais associados ao LegalPwn ressaltam a importância de uma abordagem proativa na segurança cibernética. À medida que as organizações avançam na adoção de tecnologias de IA, a necessidade de fortalecer as defesas contra ataques complexos se torna mais crítica.
Fonte: (Hack Read – Segurança Cibernética)
