Otimizando e Diminuindo os Custos do Glue!
Potencializando e Aprimorando o Glue de Forma Efetiva!
Em tempo conturbados e de muita incerteza é sempre bom olhar para utilização de cloud de forma mais efetiva afim de otimizar os seus custo e rever estratégias de utilização de suas soluções, para isso levantei os seguintes ponto que podem ser um norte interessante.
Uma das soluções muito utilizada por engenheiros e analistas de dados que estão no cenário AWS para criar fluxos de dados, é utilizar o Glue, um serviço de integração de dados com tecnologia sem servidor que facilita a descoberta, preparação, movimentação e integração de dados de várias fontes para análise, machine learning (ML) e desenvolvimento de aplicações.
Nesse post vamos ver algumas dicas para utilizar o Glue de forma eficiente e efetivo, vamos as dicas:
Faça o upgrade para ultima versão
Utilizando o Gue na verão mais recente podemos utilizar todas suas funcionalidades como o Spark e muito mais.
Otimize o Spark
A forma que a pipeline em Spark é construído vai afetar seu desempenho, é sempre importante entender quais funções e onde de execução seu código ira fazer.
