O que buscamos:/ Profissional SR com experiência em engenharia de dados, capaz de projetar e desenvolver pipelines escaláveis e robustos em ambientes cloud. A posição exige conhecimento avançado em Azure e Databricks, além de boas práticas de arquitetura lakehouse e governança de dados. Atuação presencial 3 X vezes na região da Faria Lima.
Responsabilidades e Requisitos
Projetar e desenvolver pipelines escaláveis e robustos de ingestão e transformação de dados em Azure e Databricks;
Construir soluções baseadas em arquitetura lakehouse com organização em camadas (bronze, silver, gold);
Garantir performance e escalabilidade de pipelines através de boas práticas de particionamento, caching e paralelismo;
Automatizar processos com foco em reusabilidade, monitoramento e controle de qualidade;
Atuar como referência técnica para o time de engenharia de dados, promovendo boas práticas e padronizações;
Experiência com bases de dados transacionais e análise de requisitos;
Conhecimento em governança de dados;
Domínio de Azure Data Lake Gen2, Azure Data Factory, Key Vault e integração entre serviços Azure;
Proficiência em Spark (PySpark) e Python para desenvolvimento de pipelines e transformação de dados;
Experiência com Git e CI/CD aplicados a pipelines de dados;
Inglês avançado