Oferta de Emprego:
O nosso cliente está à procura de um profissional para atuar como Engenheiro de Dados. Para trabalhar nessa função, é necessário possuir conhecimentos avançados em programação e experiência com Big Data.
Responsabilidades:
1. Desenvolvimento de Pipelines: Desenvolver e manter pipelines de dados utilizando Spark, PySpark ou Scala no Databricks, garantindo automação e performance em processos ETL de grande volume;
2. Modelagem de Dados: Modelar, integrar e transformar dados complexos utilizando SQL avançado, assegurando qualidade e disponibilidade para áreas de negócios e analytics;
3. Criação e Otimização de Jobs: Criar e otimizar jobs em Spark para ingestão, limpeza, padronização e enriquecimento de dados provenientes de múltiplas fontes;
4. Monitoramento e Documentação: Monitorar, documentar e otimizar a infraestrutura de dados, garantindo governança, escalabilidade, segurança e alto desempenho em ambientes de nuvem e plataformas como Databricks.