São Paulo — InkDesign News —
Pesquisas recentes em machine learning revelam falhas significativas na detecção de depressão em mídias sociais, destacando a necessidade de rigor metodológico e diversificação de dados para garantir a precisão dos modelos de inteligência artificial (IA).
Contexto da pesquisa
Um estudo conduzido por graduados em ciência da computação da Universidade Northeastern, Yuchen Cao e Xiaorui Shen, analisou como modelos de aprendizado de máquina têm sido utilizados para detectar depressão em plataformas como Twitter e Reddit. A pesquisa foi motivada pelo aumento da utilização dessas ferramentas durante a pandemia de COVID-19.
Método proposto
A equipe examinou 47 estudos publicados após 2010, que empregavam diferentes modelos de aprendizado de máquina, incluindo Máquinas de Vetores de Suporte, Redes Neurais Convolucionais (CNN) e modelos de linguagem como BERT. Durante a análise, destacaram que apenas 28% dos estudos ajustaram adequadamente os hiperparâmetros, enquanto 17% falharam em dividir os dados em conjuntos de treinamento, validação e teste, o que pode levar a overfitting.
“Nosso objetivo era explorar se os modelos de aprendizado de máquina atuais são confiáveis”
(“Our goal was to explore whether current machine learning models are reliable.”)— Yuchen Cao, Engenheiro de Software, Meta
Resultados e impacto
Os resultados apontaram que 90% dos dados utilizados eram de postagens em inglês, principalmente de usuários nos EUA e Europa, limitando a generalização dos achados. Apenas 23% dos estudos abordaram como lidavam com negações e sarcasmo, elementos cruciais para a análise de sentimentos. A falta de transparência na documentação dos modelos, avaliada através da ferramenta PROBAST, também foi uma preocupação, já que muitos estudos não detalharam adequadamente os métodos empregados.
“Existem algumas constantes ou padrões básicos que todos os cientistas da computação conhecem”
(“There are some constants or basic standards, which all computer scientists know.”)— Xiaorui Shen, Engenheiro de Software, Meta
Cao e Shen planejam publicar artigos subsequentes utilizando dados do mundo real para testar modelos e oferecer recomendações sobre aprimoramentos. “Criar um wiki ou um tutorial em papel é importante para ajudar a colaboração”, argumenta Cao.
As conclusões levantam importantes questões sobre a aplicabilidade de modelos de IA em psicologia e a necessidade de uma abordagem mais diversificada e rigorosa para melhorar a eficácia na detecção de condições de saúde mental.
Fonte: (TechXplore – Machine Learning & AI)
