Desenvolver e manter pipelines de dados para garantir automação e performance em processos ETL complexos é uma oportunidade inovadora.
Criar e otimizar jobs Spark para ingestão, limpeza, padronização e enriquecimento de dados provenientes de múltiplas fontes é crucial no contexto atual.
* Monitorar, documentar e otimizar a infraestrutura de dados, garantindo governança, escalabilidade, segurança e alto desempenho em ambientes de nuvem e plataformas como Databricks.
* Modelar, integrar e transformar dados complexos utilizando SQL avançado é fundamental para assegurar qualidade e disponibilidade para áreas de negócio e analytics.
Como especialista em engenharia de dados sênior, você desenvolverá soluções eficazes para problemas de integração e transformação de dados. A habilidade de criar pipelines de dados eficientes e escaláveis será essencial para o sucesso do projeto.
O candidato ideal terá experiência comprovada em programação em Python ou R e conhecimento profundo sobre ferramentas de big data como Hadoop, Spark e Databricks.
Você trabalhará em um ambiente de alta tecnologia, colaborando com uma equipe multidisciplinar para implementar soluções inovadoras e eficazes em dados.