Atacando o Custo do Databricks!
Databricks Não é Caro, Você que Não está Sabendo Configurar e Usar!
Em minha jornada profissional, me encontro trilhando o caminho de engenheiro de plataforma de dados e recentemente estou tendo a oportunidade de atuar com Databricks, uma plataforma multi-cloud, composta de soluções para engenharia e ciência de dados.
Nessa caminhada na área de dados, observei algumas práticas para melhor gestão do ambiente, evitando situações aonde qualquer execução gere uma conta surreal e onde as soluções de dados criadas com a utilização do Databricks realmente gerem valor e impacto ao negócio.
Os ponto que vou aborda de forma breve nesse texto, refletem apenas minha experiência, estudos e pesquisas sobre, antes de sair aplicando no seu ambiente, peço que sejam verificado as documentações que vou deixar como referência e de forma alguma tome esse texto como uma verdade absoluta!
Vamos à luta! :)
Liberdade tem consequências!
Deixar os usuários criaram infraestrutura a rodo pode desencadear o mau uso, provisionamento de clusters mau dimensionados e altos custo em seu ambiente, parar esse caso pode ser criado uma “police” definindo o ranger de possíveis tipos de clusters, o máximo de DBU a serem utilizadas e muitas…
