São Paulo — InkDesign News — Uma nova pesquisa realizada por cientistas da Google introduz o conceito de “contexto suficiente”, uma abordagem inovadora para aprimorar sistemas de geração aumentada por recuperação (RAG) em modelos de linguagem de larga escala (LLMs). Essa estratégia visa garantir que um LLM tenha informações necessárias para responder com precisão às consultas.
Tecnologia e abordagem
No estudo, os pesquisadores definem “contexto suficiente” como a capacidade de um LLM de discernir se a informação disponível responde adequadamente a uma consulta. A classificação dos contextos pode ser dividida em duas categorias: Contexto Suficiente, onde todas as informações necessárias estão presentes, e Contexto Insuficiente, onde essas informações são inadequadas, seja por falta de conhecimento especializado, informação incompleta ou contraditória. Essa análise não depende de uma resposta verdadeira pré-estabelecida, o que é crucial em aplicações reais.
“O resultado ideal é que o LLM forneça a resposta correta se o contexto contém informação suficiente.”
(“The ideal outcome is for the LLM to output the correct answer if the provided context contains enough information to answer the question.”)— Pesquisadores da Google
Aplicação e desempenho
Os autores do estudo desenvolveram um “autorater” baseado em LLM para automatizar a rotulagem dos casos de contexto. O modelo Gemini 1.5 Pro, da Google, apresentou os melhores resultados ao classificar a suficiência do contexto, obtendo altas pontuações F1 e precisão. No entanto, os pesquisadores observaram que, mesmo com informações suficientes, os modelos tendiam a “alucinar” com respostas erradas mais frequentemente do que se abstinham de responder quando a informação era insuficiente.
O estudo aponta que um novo “framework de geração seletiva” foi criado, utilizando um modelo de intervenção separado para decidir se o LLM deve gerar uma resposta ou se abster. Essa abordagem melhorou a precisão das respostas em 2–10% para vários modelos, destacando a importância do “contexto suficiente” como um sinal adicional em chamadas de modelos.
Impacto e mercado
As implicações desse estudo são vastas para implementar sistemas RAG em áreas como suporte ao cliente e bases de conhecimento internas. Cyrus Rashtchian, coautor do estudo, sugere que as equipes de desenvolvimento colete um conjunto de dados de pares de consulta-contexto representando exemplos típicos de produção. Com isso, é possível identificar onde as melhorias na recuperação de informações são necessárias.
“Se menos de 80-90% do contexto for suficiente, há espaço considerável para melhorar na parte de recuperação.”
(“If it is less than 80-90%, then there is likely a lot of room to improve on the retrieval.”)— Cyrus Rashtchian, Cientista de Pesquisa Sênior, Google
Conforme os modelos de linguagem continuam a evoluir, a compreensão e implementação do conceito de “contexto suficiente” podem significar a diferença entre respostas precisas e alucinações indesejadas, estabelecendo um novo padrão na confiabilidade de sistemas de IA.
Fonte: (VentureBeat – AI)
