São Paulo — InkDesign News — A crescente adoção de Inteligência Artificial (IA) nas operações de segurança cibernética está trazendo riscos significativos, especialmente relacionados a “alucinações” de IA, que podem gerar falsos sinais de ataque e comprometer a eficácia das equipes de segurança.
Vetor de ataque
As alucinações da IA podem ocorrer quando modelos de aprendizado de máquina, como os Modelos de Linguagem de Grande Escala (LLMs), produzem informações incorretas ou enganosas. Esses erros podem induzir as equipes a investigar ameaças inexistentes, levando a uma possível brecha de segurança. Harman Kaur, vice-presidente de IA na Tanium, alerta que “um modelo poderia recomendar uma mudança na defesa da organização que realmente introduza risco, em vez de resolver o problema”
(“a model could recommend a change to the organization’s defenses or environment that actually introduces risk, rather than fix the problem.”)
Impacto e resposta
As repercussões de alucinações de IA são críticas, especialmente no setor de tecnologia operacional (OT), onde falsos alarmes podem resultar em paradas de operações, acarretando custos elevados e complicações significativas. De acordo com Bob Huber, CSO da Tenable, “parte vem do operador também. Se você tiver pessoas inexperientes operando o modelo, ou se o operador tiver uma suposição falsa, há uma chance de começar a alucinar dados”
(“part of it comes down to the operator, too. If you have inexperienced people working with the model, or if the operator themselves has a false assumption, there’s a chance it would start hallucinating data.”)
Análise e recomendações
Para mitigar os riscos associados, as equipes de segurança devem implementar revisões semelhantes às utilizadas em desenvolvimento de software, promovendo a validação de dados de múltiplas fontes. Além disso, é fundamental educar os profissionais sobre o reconhecimento e impacto das alucinações, assim como prever quais modelos são mais adequados para as necessidades específicas da organização. Adotar uma abordagem centrada no humano é essencial, especialmente quando ferramentas de IA recomendam ações críticas.
Com um panorama em constante evolução, a questão da confiabilidade da IA continua sendo uma preocupação central para o setor. A aplicação de governança de dados robusta, juntamente com políticas claras para resultados gerados por IA, é indispensável para gerenciar proativamente os riscos.
Fonte: (Dark Reading – Segurança Cibernética)
