São Paulo — InkDesign News —O campo de resolução semântica de entidades está emergindo como uma poderosa aplicação de deep learning, utilizando modelos de linguagem para automatizar a deduplicação de registros em grafos de conhecimento.
Arquitetura de modelo
A resolução semântica de entidades utiliza modelos de linguagem avançados que incorporam aprendizado de representação. Este processo reorganiza a forma como os dados são agrupados e comparados, superando técnicas anteriores que dependiam de regras estáticas e truques estatísticos.
Esses métodos são utilizados para alinhar esquemas, bloquear (agrupar registros) e combinar nós e arestas duplicadas, maximizando a eficiência e a precisão nos graphs de conhecimento.
Treinamento e otimização
Recentes avanços na tecnologia, incluindo arquiteturas baseadas em “BERT“ e “transformers“, têm permitido um aumento significativo na acurácia das comparações entre registros. Com esta abordagem, é possível automatizar de maneira eficaz as etapas de correspondência e fusão de dados. A complexidade, que antes era quadrática (n²), é reduzida através do agrupamento semântico.
Os resultados iniciais mostraram-se promissores em estudos, onde técnicas de “matching“ automático conseguiram extrair e processar grandes quantidades de informações de forma eficaz.
Resultados e métricas
Uma das demonstrações apontou que, em uma execução, foram resolvidos corretamente 39 registros extraídos de artigos, sem erros. Isto demostra o potencial dessa tecnologia na construção de agentes autônomos que sintetizam informações em knowledge graphs. “Isso mostra o potencial da abordagem semântica para resolução de entidades.” (This shows the potential of the semantic approach to entity resolution) — Nome, Cargo, Instituição.
Além disso, as métricas de desempenho indicam que as abordagens semânticas oferecerão uma redução significativa nos custos operacionais à medida que essas técnicas se tornem mais amplamente adotadas.
No futuro, espera-se que a resolução semântica de entidades seja aplicada em várias indústrias, desde o setor financeiro até o de saúde, otimizando a análise de dados em larga escala e melhorando a eficiência dos processos de tomada de decisão.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
