Contexto da pesquisa
Recentemente, OpenAI e Meta anunciaram ajustes nas interações de seus chatbots, focando em como esses sistemas baseados em machine learning (ML) respondem a jovens que expressam sinais de crise emocional ou questões sobre suicídio. Essa mudança visa melhorar o suporte a usuários vulneráveis e representa um avanço significativo em práticas de segurança em IA.
Método proposto
OpenAI implementou novos controles que permitirão aos pais vincular suas contas às de seus filhos adolescentes. Os pais poderão desativar certas funcionalidades e receber notificações em momentos de crise aguda, conforme indicado em um post do blog da empresa. Além disso, os chatbots serão programados para redirecionar conversas à distância e complexas para modelos de IA mais robustos, que têm maior capacidade de oferecer respostas adequadas e seguras.
“É encorajador ver a OpenAI e Meta introduzindo recursos como controles parentais e roteamento de conversas sensíveis para modelos mais capacitados, mas esses são passos incrementais.”
(“it’s encouraging to see OpenAI and Meta introducing features like parental controls and routing sensitive conversations to more capable models, but these are incremental steps.”)— Ryan McBain, Pesquisador Sênior, RAND Corporation
Resultados e impacto
Um estudo da RAND Corporation, publicado na revista Psychiatric Services, identificou inconsistências nas respostas de três chatbots populares às perguntas sobre suicídio, revelando a necessidade de refinamentos em modelos como ChatGPT, Gemini do Google e Claude da Anthropic. Esses dados ressaltam a urgência de estabelecer padrões e testes clínicos independentes que garantam a segurança e eficácia dos chatbots na interação com adolescentes.
As ações desenvolvidas pelas empresas mostram um compromisso crescente com a integridade e segurança no uso da inteligência artificial, especialmente em aplicações que afetam a saúde mental de jovens. O uso de métricas de desempenho e benchmarks para validar essas mudanças será crucial para sua aceitação e eficácia no longo prazo.
Com o aumento do uso de chatbots na vida cotidiana, as iniciativas de OpenAI e Meta podem estabelecer precedentes para a regulação e controle dessa tecnologia em contextos sociais e educacionais. Espera-se que estas melhorias não apenas ajudem na abordagem de crises emocionais, mas também pavimentem o caminho para futuras inovações em segurança digital.
Fonte: (TechXplore – Machine Learning & AI)
