São Paulo — InkDesign News — O uso de machine learning e técnicas de deep learning tem crescido significativamente na extração de dados estruturados e na automação de fluxos de trabalho, revelando novos desafios e soluções.
Arquitetura de modelo
Com a crescente demanda por soluções eficazes, diversas abordagens têm sido testadas. Um dos casos destacados é o uso de Grok e OpenAI em fluxos de trabalho para extração de dados estruturados. Apesar de promissoras, essas abordagens mostraram deficiências, como a omissão de fatos importantes e desalinhamento com esquemas predefinidos.
“A extração de dados estruturados apresentou omissões em lugares aleatórios.”
(“Having developed raw LLM workflows for structured extraction tasks, I have observed several pitfalls in them over time.”)— Autor, Especialista em Machine Learning
Treinamento e otimização
Um desafio significativo foi a necessidade de validações repetidas, que ultrapassaram os limites da API. Alterações nas instruções exigiram um novo aprendizado, frequentemente introduzindo novos problemas. Isso evidenciou a importância de um mecanismo de orquestração capaz de ajustar prompts automaticamente e alinhar saídas aos esquemas desejados.
“A modificação do prompt para garantir a captura de todos os fatos introduzia novos problemas.”
(“Moreover, prompt fine-tuning was a real bottleneck.”)— Autor, Especialista em Machine Learning
Resultados e métricas
Recentemente, foi apresentada a biblioteca LangExtract, que aborda as maiores dificuldades enfrentadas, como alinhamento de esquema e completude de fatos. Esta ferramenta orquestra prompts e saídas entre o usuário e o LLM, gerando resultados muito mais alinhados e facilitando o processamento de grandes volumes de texto.
“LangExtract ajuda a gerenciar a orquestração de prompts e saídas entre o usuário e o LLM.”
(“LangExtract helps manage the above by effectively orchestrating prompts and outputs between the user and the LLM.”)— Autor, Especialista em Machine Learning
Com a implementação do LangExtract, a extração de dados estruturados passou a ser mais eficaz, permitindo que pesquisadores e empresas otimizem seu fluxo de trabalho. As aplicações práticas incluem a extração de dados em tempo real de fontes de notícias, o que pode ser crucial para a análise de tendências no mercado.
Nos próximos passos, é crítico que a pesquisa continue avançando em torno desta tecnologia e explore as possibilidades de integração com outros sistemas de machine learning para aumentar a eficiência e a precisão.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
