São Paulo — InkDesign News —
Pesquisas recentes em inteligência artificial (AI) e machine learning (ML) revelam que modelos de linguagem como ChatGPT e Claude 3.5 ainda não conseguem imitar a fala humana de maneira convincente. O estudo foi conduzido por pesquisadores da Universidade de Basel e da Universidade de Neuchâtel, com foco na precisão na imitação de conversas humanas.
Contexto da pesquisa
A pesquisa liderada pelo professor Eric Mayor, e coautoria de Lucas Bietti, analisou a habilidade de vários modelos de linguagem em simular interações humanas autênticas. O trabalho foi publicado na revista Cognitive Science.
Método proposto
Os pesquisadores compararam transcrições de conversas telefônicas humanas com diálogos gerados por modelos de linguagem, incluindo ChatGPT-4 e Vicuna. Essa análise envolveu a identificação de traços de imitação, uso de palavras de preenchimento e a transição entre diferentes fases da conversa. A equipe testou se os ouvintes podiam distinguir entre as interações humanas e aquelas simuladas pelos modelos.
Resultados e impacto
“Modelos de linguagem grandes falam de maneira diferente do que as pessoas falam”
(“Large language models speak differently than people do.”)— Lucas Bietti, Professor Associado, Universidade de Neuchâtel
Os resultados mostraram que, na maioria das vezes, os ouvintes não foram enganados pelos modelos de linguagem. Entre os problemas identificados, destacou-se a “alinhamento exagerado” onde os modelos imitam excessivamente o estilo de fala, algo que os humanos conseguem perceber rapidamente.
Além disso, o uso incorreto de palavras de preenchimento, como “tipo” e “bem”, revelou-se uma falha crítica. Essas palavras desempenham funções sociais essenciais e são prevalentes em conversas cotidianas, mas os modelos têm dificuldades em empregá-las de forma adequada.
“Os modelos de linguagem grandes usam essas pequenas palavras de maneira diferente, e frequentemente incorreta”
(“The large language models use these small words differently, and often incorrectly.”)— Lucas Bietti, Professor Associado, Universidade de Neuchâtel
Embora os pesquisadores reconheçam que o avanço na tecnologia pode reduzir a diferença entre conversas humanas e artificiais, eles alertam que diferenças fundamentais provavelmente permanecerão. O estudo destaca a importância de entender essas limitações à medida que o campo de AI e machine learning avança.
As aplicações práticas desta pesquisa incluem o aprimoramento de assistentes virtuais e sistemas de atendimento ao cliente, onde a imitação autêntica da fala humana pode ser crítica para melhorar a interação com usuários. Assim, o desafio contínuo para os desenvolvedores de modelos de linguagem é criar interações conversacionais que ressoem mais natural e eficientemente com os usuários.
Fonte: (TechXplore – Machine Learning & AI)
