Inteligência artificial em negociações: riscos com AIs menos avançadas

São Paulo — InkDesign News — Uma recente pesquisa destaca os riscos associados ao uso de agentes de inteligência artificial (IA) na tomada de decisões financeiras. Um grupo de estudiosos defende que a avaliação desses agentes deve priorizar seus perfis de risco em vez de focar apenas no desempenho máximo.

Contexto da pesquisa

Pesquisadores de várias universidades uniram forças para investigar as fraquezas dos modelos de linguagem em cenários financeiros. Eles reconhecem que as avaliações atuais enfatizam a precisão e métricas de retorno, o que pode encobrir a realidade de suas falhas. O estudo ressalta que uma pequena fraqueza nos sistemas pode expor à riscos sistemáticos, levando a recomendações de testes rigorosos antes da implementação prática de tais agentes.

Método e resultados

A pesquisa sugere que os algoritmos devem ser avaliados sob condições adversas para entender melhor seu comportamento em ambientes reais. Além das métricas de precisão, a equipe propõe uma nova abordagem que considera a segurança nas falhas. “Os agentes de IA devem ser ‘testados sob estresse’ antes de serem utilizados”, afirmam os pesquisadores, sublinhando que até mesmo modelos com alta performance são suscetíveis a quebras em situações de estresse.

“Acho que a IA em assistentes de compras deve ser vista como uma ferramenta útil — e não como substituta para decisões humanas.”
(“I don’t think we are fully ready to delegate our decisions to AI shopping agents.”)

— Pei, Pesquisador

Implicações e próximos passos

A aplicação da IA em ambientes de compras é predominante no setor de e-commerce, com várias ferramentas recomendando produtos. No entanto, a pesquisa enfatiza que, apesar da promessa tecnológica, a automação de negociações de preços em e-commerce B2B, como demonstrado pela Alibaba com seu assistente Accio, ainda não é uma prática comum, devido aos riscos envolvidos. Pesquisadores e profissionais da indústria estão testando táticas como o refinamento de prompts e a utilização de dados financeiros específicos para mitigar esses riscos.

“As pesquisas estão explorando como vários modelos podem se coordenar para validar o trabalho uns dos outros.”
(“This includes coordinating multiple models to double-check each other’s work.”)

— Hancheng Cao, Professor Assistente, Emory University

O potencial de integrar a IA na tomada de decisões financeiras traz à tona questões éticas significativas, além da necessidade de avaliações rigorosas para garantir a segurança dos sistemas. A pesquisa aponta para a necessidade de um equilíbrio na adoção de tecnologia, priorizando o acompanhamento humano nas decisões.

As contribuições dessa pesquisa podem moldar o futuro da inteligência artificial em finanças, estabelecendo um padrão mais seguro e responsável para a implementação de agentes autônomos em cenários críticos.

Fonte: (MIT Technology Review – Artificial Intelligence)