Machine learning melhora acurácia de chatbots na conversa

São Paulo — InkDesign News —

A pesquisa recente explora como a interação com chatbots influencia o desempenho das tecnologias de machine learning e inteligência artificial (IA). A qualidade das respostas dos chatbots é afetada pelo estilo da linguagem usado pelos usuários, revelando implicações significativas para o desenvolvimento futuro dessas ferramentas.

Contexto da pesquisa

Pesquisadores da Amazon, Fulei Zhang e Zhou Yu, investigaram se o estilo de conversa natural, que varia entre interações humanas e com chatbots, influencia a precisão das respostas desses sistemas. A pesquisa analisa o uso de linguagem formal e informal em diferentes contextos.

Método proposto

A equipe comparou milhares de mensagens enviadas para agentes humanos e chatbots, focando em aspectos como gramática, vocabulário e níveis de polidez. Para entender melhor a interação, um modelo de IA chamado Mistral 7B foi treinado com aproximadamente 13.000 chats reais e testado com mais de 1.300 mensagens. Eles também criaram versões informais e formais das mensagens para simular diferentes estilos de comunicação.

Resultados e impacto

Os resultados mostraram que as pessoas eram 14,5% mais polidas e formais em conversas com humanos, enquanto a informalidade aumentava em interações com chatbots. Chatbots que foram treinados em uma variedade de estilos de mensagens tiveram 2,9% mais sucesso em entender a intenção do usuário. No entanto, tentativas de normalizar mensagens informais para um estilo mais formal durante o teste resultaram em uma queda de quase 2% na precisão.

(“Training-time exposure to diverse linguistic variation is more effective than inference-time normalization. Models must learn to interpret diverse communication styles during training, rather than rely on brittle post-hoc transformations that risk semantic distortion.”)

— Fulei Zhang, Pesquisador, Amazon

Os achados podem contribuir significativamente para o aprimoramento da qualidade das respostas de chatbots em contextos do mundo real. As implicações sugerem que futuros desenvolvimentos em IA devem considerar a inclusão de uma gama de estilos de comunicação para otimizar a interação entre humanos e máquinas.

Fonte: (TechXplore – Machine Learning & AI)