Protocolos de IA ajudam agentes a lidar com a vida cotidiana
São Paulo — InkDesign News — Pesquisadores e desenvolvedores buscam soluções para minimizar os riscos associados ao uso de inteligência artificial em aplicações de chatbots e agentes, diante das vulnerabilidades que podem emergir ao longo do tempo.
Contexto da pesquisa
O estudo das vulnerabilidades em sistemas de inteligência artificial é uma área em crescimento, especialmente com o aumento do uso de agentes que interagem com o mundo em nome de usuários. Recentemente, pesquisadores têm se debruçado sobre a necessidade de protocolos de segurança, como o MCP (Model Communication Protocol) e A2A (Agent-to-Agent), que ainda não incorporam um design de segurança robusto. Zhaorun Chen, estudante de doutorado da Universidade de Chicago, destaca a falta de salvaguardas: “Basicamente, não tem projeto de segurança” (“Basically, it does not have any security design.”).
Método e resultados
Um exemplo preocupante é o ataque conhecido como injeção de prompt indireto, que pode ser realizado em agentes de IA que gerenciam e enviam e-mails. No cenário investigado, um e-mail foi estruturado de forma a desviar o funcionamento do modelo de IA. Tal vulnerabilidade possibilita que o agente tenha acesso a documentos privados do usuário, podendo enviá-los a um atacante. A pesquisa enfatiza a necessidade de padronização de protocolos de segurança, inspirado em modelos como o HTTPS, com o intuito de mitigar essas ameaças.
Implicações e próximos passos
A implementação de designs de segurança em protocolos como MCP e A2A poderia potencialmente permitir um tratamento mais eficaz de ataques contra os agentes de IA, facilitando a identificação de recorrência de falhas. Bruce Schneier, um crítico influente na área de segurança, expressa preocupação quanto à eficácia desses protocolos, afirmando: “Não temos boas respostas sobre como proteger isso” (“We just don’t have good answers on how to secure this stuff.”). Além disso, alguns especialistas propõem um sistema de avaliação semelhante ao Yelp, onde usuários poderiam classificar serviços de agentes de IA, aumentando a transparência e a confiança no setor. Uma rede de protocolos seguros pode auxiliar na navegação pelo crescente número de ferramentas de agentes.
A pesquisa revela um impacto significativo nas práticas de segurança cibernética, levantando questões éticas e a urgência da implementação de soluções proativas para garantir a segurança no uso de inteligência artificial. À medida que essas tecnologias se desenvolvem, o entendimento e a mitigação de suas vulnerabilidades se tornam cruciais.
Fonte: (MIT Technology Review – Artificial Intelligence)
