Machine Learning e a Dificuldade em Detectar Sarcasmo
Pesquisas científicas mostram que modelos de machine learning, especialmente os de inteligência artificial (AI), ainda apresentam dificuldades em compreender variações linguísticas, como o sarcasmo, em diferentes dialetos do inglês.
Contexto da pesquisa
Recentemente, pesquisadores publicaram um estudo na “Findings of the Association for Computational Linguistics 2025”. O foco foi avaliar a capacidade de modelos de linguagem para detectar sentimentalidade e sarcasmo em inglês australiano, indiano e britânico, considerando as limitações que esses modelos possuem quando treinados predominantemente em inglês americano.
Método proposto
A pesquisa introduziu o BESSTIE, um benchmark que consiste na classificação de sentimentos e sarcasmos em três variedades do inglês. Os pesquisadores coletaram dados de avaliações de locais no Google Maps e postagens no Reddit, utilizando preditores de variedades linguísticas para garantir que os textos representassem com precisão o inglês australiano, indiano ou britânico.
“A partir das variedades lingüísticas, selecionamos textos com mais de 95% de probabilidade de representarem um idioma específico.”
(“We selected texts that were predicted to be greater than 95% probability of a specific language variety.”)— Pesquisador, Instituição
Resultados e impacto
Os resultados indicam que os modelos de linguagem analisados são mais eficazes na detecção de sentimentos do que na identificação de sarcasmo, com performance em australiano e britânico superiores ao inglês indiano. Por exemplo, os modelos identificaram sarcasmo em inglês australiano com precisão de apenas 62%, enquanto que a taxa caiu para 57% para as variedades indianas e britânicas.
“Detectar sarcasmo é desafiador para esses modelos, pois exige uma compreensão contextual mais profunda.”
(“Detecting sarcasm is particularly challenging for these models, as it requires deeper contextual understanding.”)— Pesquisador, Instituição
Essas métricas estão aquém dos resultados prometidos por empresas de tecnologia, onde os modelos reportam uma taxa de acerto superior a 90% para o inglês americano em benchmarks como GLUE.
Com o crescente uso de modelos de linguagem ao redor do mundo, a necessidade de que esses sistemas sejam adaptados para contextos nacionais específicos se torna cada vez mais evidente. A pesquisa atual sugere aplicações futuras em contextos como departamentos de emergência em hospitais, para facilitar a comunicação com pacientes de diferentes níveis de proficiência em inglês.
Fonte: (TechXplore – Machine Learning & AI)
