São Paulo — InkDesign News — A segurança na inteligência artificial (IA) tem se tornado um tema central, especialmente no contexto da inferência de modelos de aprendizado profundo (deep learning). Com a crescente adoção de modelos de linguagem (LLM), as empresas enfrentam novos desafios relacionados a vazamentos de dados e manipulação de modelos.
Tecnologia e abordagem
A parceria entre Databricks e Noma Security visa mitigar as vulnerabilidades no estágio de inferência dos modelos AI. Recentemente, a Noma levantou US$ 32 milhões em uma rodada de investimento, destinada a integrar análises de ameaças em tempo real e proteções avançadas diretamente nas rotinas empresariais. As soluções propostas incluem “a integração de análises de ameaças em tempo real e proteções avançadas na camada de inferência” (“embedding real-time threat analytics and advanced inference-layer protections”)— Niv Braun, CEO da Noma Security.
O uso do framework TRiSM (Trust, Risk, and Security Management) da Gartner é crucial, já que mais de 80% dos incidentes de IA não autorizados são provavelmente originados de abusos internos, reforçando a importância de governança e segurança integrada.
Aplicação e desempenho
Os métodos implementados pela Noma incluem testes proativos de segurança, onde a equipe realiza ataques simulados durante a fase de pré-produção. Essa abordagem é fundamental para identificar vulnerabilidades antes que os modelos sejam lançados ao ambiente de produção. “Red teaming é essencial. Nós identificamos vulnerabilidades proativamente antes da produção” (“Red teaming is essential. We proactively uncover vulnerabilities pre-production”)— Niv Braun.
Entre as métricas de desempenho, a Noma implementa medidas que monitoram continuamente a interação dos agentes de IA, além de técnicas de mascaramento para a proteção de dados sensíveis. A infracção de segurança no estágio de inferência pode levar a sérios impactos, como exposição não autorizada de dados e geração de conteúdo prejudicial. A infraestrutura da Databricks, através da arquitetura Lakehouse, combina governança com um ambiente escalável e auditável, buscando abordar riscos de conformidade diretamente durante as operações de IA.
Impacto e mercado
Este enfoque em segurança permite que empresas se sintam mais confiantes ao escalar suas operações de IA. “O número um motivo que faz as empresas hesitarem em adotar IA em larga escala é a segurança” (“The number one reason enterprises hesitate to deploy AI at scale fully is security”)— Niv Braun. A Databricks colabora para fornecer uma proteção robusta contra ameaças emergentes, alinhando-se a padrões como o DASF 2.0 e diretrizes OWASP.
As implicações são estratégicas: as soluções combinadas não só abordam falhas de segurança em tempo real, mas também ajudam as empresas a navegar por normas regulatórias como a Lei de IA da UE. À medida que as organizações adotam IA em maior escala, a prioridade em segurança continua a ser um fator determinante para o sucesso.
A implementação de medidas proativas de segurança pode facilitar uma transição mais segura para a inferência de modelos AI, impulsionando o crescimento e a inovação na área.
Fonte: (VentureBeat – AI)
