IA apresenta inconsistência em consultas relacionadas a suicídio
Estudos recentes em machine learning e inteligência artificial (AI) lançam luz sobre a capacidade das chatbots em responder a questões sensíveis, como suicídio. Um levantamento revelou inconsistências nas respostas dessas tecnologias, levantando preocupações sobre seu uso na saúde mental.
Contexto da pesquisa
A pesquisa foi conduzida pela RAND Corporation e financiada pelo National Institute of Mental Health. O estudo, publicado na revista Psychiatric Services, destaca a crescente dependência de chatbots para suporte emocional. Ryan McBain, autor principal do estudo, alerta sobre a necessidade de “barreiras de proteção” em interações envolvendo saúde mental.
Método proposto
Os pesquisadores elaboraram 30 questões relacionadas ao suicídio, categorizando-as em diferentes níveis de risco. Questões gerais foram consideradas de baixo risco, enquanto aquelas solicitando métodos específicos foram rotuladas como de alto risco. O estudo não envolveu interações prolongadas, o que poderia simular uma conversa mais natural com os usuários.
Resultados e impacto
O estudo revelou que os chatbots, incluindo ChatGPT da OpenAI, Gemini do Google e Claude da Anthropic, geralmente se abstiveram de responder às perguntas de mais alto risco. McBain observa que “fiquei relativamente satisfeito” com o fato de que os chatbots evitaram as seis perguntas de maior risco, em sua maioria redirecionando os usuários a buscar ajuda profissional.
“É um espaço ambíguo, pois não está claro se eles oferecem tratamento ou apenas companhia.”
(“It’s sort of this gray zone.”)— Ryan McBain, Pesquisador Sênior, RAND Corporation
Entretanto, ao responder questões que deveriam acender um alerta, como aquelas sobre métodos específicos de suicídio, o ChatGPT foi mais permissivo, enquanto o Gemini foi mais conservador, evitando até mesmo perguntas sobre estatísticas básicas.
As limitações desse estudo incluem a não realização de “interações multiturn”, onde respostas consecutivas poderiam explorar mais profundamente os problemas discutidos. Em uma pesquisa independente, investigadores conseguiram induzir chatbots a fornecer informações prejudiciais, como planos detalhados de comportamento autodestrutivo.
O cenário atual exige que desenvolvedores de chatbots equilibrem a segurança dos usuários com a necessidade de fornecer informações úteis. Este desafio será crucial à medida que um número crescente de indivíduos, especialmente jovens, busque apoio emocional em ferramentas digitais.
Os próximos passos incluem a definição de padrões éticos claros e benchmarks de segurança que garantam que os chatbots possam oferecer informações seguras e adequadas sobre saúde mental.
Fonte: (TechXplore – Machine Learning & AI)
