São Paulo — InkDesign News — OpenAI apresentou recentemente uma nova funcionalidade denominada “agente do ChatGPT”, que possibilita ao modelo de inteligência artificial (IA) executar tarefas de forma autônoma, como acessar e gerenciar e-mails. Essa inovação ocorre em um contexto de crescente preocupação com a segurança em aplicações de inteligência artificial, especialmente dados sensíveis.
Tecnologia e abordagem
O agente do ChatGPT é uma extensão do modelo de linguagem de grande escala (LLM) da OpenAI, projetado para operar de forma semelhante a um assistente pessoal. Utilizando algoritmos de deep learning, o agente pode logar em contas, redigir e responder e-mails, além de criar e modificar arquivos autonomamente. A implementação deste recurso exigiu profundas revisões na infraestrutura de segurança da OpenAI, considerando os riscos expostos durante testes realizados por uma equipe de red team.
Aplicação e desempenho
Durante os testes, a equipe de red team, composta por 16 pesquisadores de segurança com doutorado, descobriu sete vulnerabilidades significativas que poderiam comprometer o funcionamento do sistema. As estatísticas revelaram que o novo modelo aperfeiçoou a proteção contra ataques em até 95% em certas condições de uso. Contudo, o desempenho do agente foi complexo, com uma diversidade de vulnerabilidades que destacam a necessidade de um monitoramento contínuo de todas as interações e uma resposta rápida a incidentes.
“Isso é um marco em nosso trabalho de preparação. Antes, a preparação era sobre analisar capacidades e planejar salvaguardas. Agora, para modelos futuros, as salvaguardas se tornaram uma exigência operacional.”
(“This is a pivotal moment for our Preparedness work. Before we reached High capability, Preparedness was about analyzing capabilities and planning safeguards. Now, for Agent and future more capable models, Preparedness safeguards have become an operational requirement.”)— Keren Gu, Membro da Equipe de Pesquisa em Segurança, OpenAI
Impacto e mercado
As implicações do agente do ChatGPT são vastas tanto para usuários individuais quanto para empresas, especialmente em setores que lidam com informações sensíveis. A necessidade de um saldo delicado entre rapacidade e segurança se torna mais evidente, visto que a arquitetura do sistema foi projetada para monitorar 100% do tráfego em tempo real e implementar protocolos de remediação ágil que podem corrigir vulnerabilidades em horas. Assim, o mercado de IA está diante de um novo parâmetro de segurança que poderá instigar outras empresas a adotar medidas similares, elevando o padrão considerado aceitável para a eficácia em suas aplicações.
Os próximos passos incluem um constante aprimoramento das características de segurança, além da avaliação contínua das técnicas de mitigação implementadas. O desenvolvimento de métodos que equilibrem a funcionalidade e a segurança será crucial para garantir a confiança dos usuários em sistemas que utilizam IA.
Fonte: (VentureBeat – AI)
