São Paulo — InkDesign News — Recentemente, modelos de inteligência artificial (IA) têm impactado consideravelmente as áreas de machine learning e deep learning, especialmente para dados tabulares, que historicamente enfrentavam dificuldades em sua aplicação.
Arquitetura de modelo
O modelo mais notável para dados tabulares é o TabPFN, desenvolvido pela Prior Labs. Este algoritmo utiliza um modelo de rede neural que combina a inferência bayesiana para realizar previsões. A arquitetura é composta por 12 camadas idênticas, cada uma com dois mecanismos de atenção: atenção de recursos unidimensional e atenção de amostra unidimensional. Isso torna o modelo invariável à ordem dos dados de entrada.
“O TabPFN é um modelo fit-to-prior que usa uma redistribuição da probabilidade, refletindo nossas crenças antes de observar os dados” (“TabPFN is a prior-data fitted network that uses a probability redistribution reflecting our beliefs before observing data”) — N. Hollman, Pesquisador, Prior Labs.
Treinamento e otimização
O modelo é otimizado para datasets pequenos a médios, frequentemente limitados a 10.000 linhas. Os dados são pré-processados para garantir que colunas categóricas contenham elementos apenas como strings. A função `fit` do TabPFN não treina o modelo da maneira clássica, mas utiliza amostras de treinamento para melhorar previsões através do aprendizado em contexto.
“Trabalhar com dados tabulares requer grande atenção ao pré-processamento, pois colunas categóricas devem ter todos os elementos como strings” (“Working with tabular data requires great attention to pre-processing, as categorical columns must have all elements as strings”) — N. Hollman, Pesquisador, Prior Labs.
Resultados e métricas
Os resultados de testes indicam que o TabPFN tem um desempenho promissor comparado a métodos tradicionais de machine learning, como “Gradient Boosting” e “Random Forest”. No entanto, seu desempenho pode ser comprometido em conjuntos de dados maiores, devido a limitações pré-estabelecidas de pré-treinamento.
Além do TabPFN, outros modelos como CARTE e TabuLa-8b exploram diferentes abordagens arquitetônicas, como transformações de tabelas em estruturas de gráfico e o uso de modelos de linguagem, respectivamente. Estas inovações estão contribuindo para um avanço significativo no aprendizado e na previsão de dados tabulares.
“Modelos de IA para dados tabulares ainda precisam evoluir, especialmente em contextos de produção onde grandes volumes de dados são a norma” (“AI models for tabular data still need to evolve, especially in production contexts where large volumes of data are the norm”) — M.J. Kim, Pesquisador, SODA.
Com o desenvolvimento contínuo desses modelos, a expectativa é que aprimorem a eficiência em aplicações do mundo real, facilitando a adoção em setores que lidam com grandes volumes de dados tabulares. O futuro da pesquisa nesse campo promete integrar esses modelos em soluções práticas e escaláveis, abordando as limitações encontradas até agora.
Fonte: (Towards Data Science – AI, ML & Deep Learning)
