Pesquisadores desenvolvem algoritmo de compressão de dados usando LLMs
São Paulo — InkDesign News — Uma nova pesquisa na interseção de machine learning e compressão de dados apresenta um algoritmo de compressão inovador baseado em grandes modelos de linguagem (LLMs), superando métodos clássicos em eficiência.
Contexto da pesquisa
A preservação e transmissão de grandes quantidades de dados é um desafio crescente na era digital. Métodos de compressão de dados são fundamentais para aumentar a eficiência de dispositivos e comunicações, reduzindo a dependência de serviços em nuvem e dispositivos de armazenamento externos. Pesquisadores do Instituto Central de Inteligência Artificial da China, do Laboratório Peng Cheng, da Universidade de Tecnologia de Dalian e da Universidade de Waterloo apresentaram o LMCompress, um novo método de compressão que se destaca entre os algoritmos tradicionais.
Método proposto
O LMCompress utiliza LLMs, como o modelo que sustenta plataformas de IA conversacional, incluindo o ChatGPT. Sediando-se na teoria da comunicação de Claude Shannon, a abordagem se baseia na premissa de que quanto melhor um modelo compreende os dados, mais eficaz é sua capacidade de resumi-los e comprimí-los. “Se você entende os dados a serem comunicados, pode comprimí-los”, afirmou Li, um dos co-autores do estudo.
Resultados e impacto
Os testes demonstraram que o LMCompress duplica as taxas de compressão em comparação com algoritmos clássicos, como bzip para texto e JPEG-2000 para imagens, apresentando um desempenho superior em imagens, vídeos, áudios e textos. “Após 80 anos de pesquisa, melhorar um algoritmo de compressão em 1% já é notável, e conseguimos duplicar as taxas”, disse Li. O algoritmo mostrou resultados significativos em diversos datasets, embora o desempenho em vídeos precise de mais estudos, visto que os dados da equipe da DeepMind sobre vídeo não estavam disponíveis.
Com a eficácia demonstrada do LMCompress, seus criadores acreditam que este método pode revolucionar a forma como dados são comprimidos, tornando-se uma alternativa viável aos métodos clássicos em futuras aplicações. Novas pesquisas estão previstas para utilizar essa metodologia em diferentes contextos, incluindo a detecção de plágio e outras tecnologias comunicativas baseadas na compreensão.
Fonte: (TechXplore – Machine Learning & AI)
