Atuação: Híbrido 2x na semana em SP - Shopping Cidade Jardim
Sobre a vaga
O Engenheiro de Dados Databricks será responsável por projetar, implementar e manter pipelines de dados escaláveis na plataforma Databricks. Esta função envolve trabalhar de perto com cientistas de dados, analistas e outras partes interessadas para garantir a qualidade dos dados, otimizar o desempenho e habilitar análises avançadas.
Responsabilidades
Projetar e desenvolver processos ETL e pipelines de dados usando Databricks.
Colaborar com funcionais e analistas para entender os requisitos de dados e entregar soluções.
Otimizar e ajustar clusters Databricks para desempenho e eficiência de custos.
Implementar verificações de qualidade de dados e garantir a integridade dos dados.
Desenvolver e manter documentação para pipelines de dados e processos.
Monitorar e solucionar problemas de pipelines de dados e gargalos de desempenho.
Manter-se atualizado com as últimas tendências e melhores práticas em engenharia de dados e Databricks.
Qualificações
Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada.
Experiência comprovada como Engenheiro de Dados, com foco em Databricks e Spark.
Forte conhecimento em SQL e experiência com bancos de dados relacionais.
Proficiência em linguagens de programação como Python, Scala ou Java.
Experiência com plataformas em nuvem (por exemplo, AWS, Azure, Google Cloud) e seus serviços de dados.
Compreensão dos conceitos e arquitetura de data warehousing.
Excelentes habilidades de resolução de problemas e atenção aos detalhes.
Fortes habilidades de comunicação e capacidade de trabalhar de forma colaborativa em um ambiente de equipe.