Pesquisadores da Universidade do Texas em Austin exploram o uso de machine learning para moderar discursos de ódio nas redes sociais. A nova abordagem busca equilibrar acurácia e justiça na detecção de conteúdos tóxicos.
Contexto da pesquisa
Com o aumento da incidência de discursos tóxicos em plataformas como Facebook e X (anteriormente Twitter), a moderação de conteúdo se tornou uma tarefa extremamente desafiadora. A pesquisa de Maria De-Arteaga, professora assistente de informação, risco e operações na Texas McCombs, destaca a importância de métodos de IA que não apenas reconheçam discursos prejudiciais, mas que o façam de maneira justa e equitativa. De-Arteaga afirma que “se eu apenas olhar para o desempenho geral, posso pensar que o modelo está indo muito bem, mesmo que sempre me dê a resposta errada para um pequeno grupo” (“If I just look at overall performance, I may say, oh, this model is performing really well, even though it may always give me the wrong answer for a small group”).
A pesquisa utilizou conjuntos de dados de posts em redes sociais já classificados como “tóxicos” e “não tóxicos”, totalizando 114.000 publicações.
(“The researchers used datasets of social media posts already rated ‘toxic’ and ‘nontoxic’ totaling 114,000 posts.”)— Maria De-Arteaga, Professora Assistente, Universidade do Texas em Austin
Método proposto
A equipe de pesquisa fez uso de um modelo de machine learning que emprega uma métrica de justiça chamada Paridade de Acurácia por Grupo (Group Accuracy Parity – GAP). Essa abordagem busca balancear a detecção de discursos tóxicos entre diferentes grupos sociais, assegurando que o modelo não privilegie nenhum grupo em detrimento de outros. De-Arteaga destaca que “medidas diferentes de justiça podem ser relevantes para diferentes partes interessadas” (“different measures of fairness may be relevant for different stakeholders”).
Resultados e impacto
Os resultados mostraram que o modelo conseguiu superar em até 1,5% as melhores abordagens anteriores e se destacou por maximizar simultaneamente a justiça e a acurácia. Contudo, a professora adverte que o GAP não é uma solução universal para todos os casos de justiça. Isso se deve à diversidade de opiniões sobre o que constitui um discurso tóxico, além do fato de que esses padrões evoluem ao longo do tempo.
“Você precisa se preocupar e ter conhecimento que é interdisciplinar. Você realmente precisa levar essas considerações em conta.”
(“You need to care, and you need to have knowledge that is interdisciplinary. You really need to take those considerations into account.”)— Maria De-Arteaga, Professora Assistente, Universidade do Texas em Austin
Com a crescente integração da IA na moderação de conteúdo, o desenvolvimento de algoritmos que levem em conta contextos culturais e sociais se torna essencial. Os pesquisadores disponibilizaram o código do GAP ao público, permitindo que outras instituições possam adaptar suas soluções de moderação de conteúdo. Este trabalho abre o caminho para melhorias contínuas nas aplicações de IA em redes sociais e outras plataformas digitais, refletindo as complexidades da diversidade humana.
Fonte: (TechXplore – Machine Learning & AI)
