Oportunidade: Engenheiro de Dados Sênior (Azure Databricks) na UT-TECH
Modelo: PJ ou Cooperado, 100% remoto
🚀 Sobre a Oportunidade
Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para integrar um time de alta performance em um projeto de grande escala e longo prazo. Você será peça-chave na arquitetura e sustentação de uma plataforma de dados robusta, utilizando o que há de mais moderno no ecossistema Azure Databricks.
Buscamos um perfil com sólida experiência em computação distribuída, automação e que queira atuar com governança de dados utilizando Unity Catalog.
💻 Responsabilidades:
* Arquitetura e Sustentação: Projetar, desenvolver e manter pipelines de dados escaláveis utilizando a plataforma Databricks Unity Catalog.
* Engenharia de Dados: Construir pipelines ETL/ELT robustos, realizando a ingestão de diversas fontes e transformando dados para atender a requisitos complexos de negócio.
* Otimização e Performance: Desenvolver e otimizar jobs em Apache Spark para processamento de grandes volumes, focando em eficiência e performance.
* Inovação e Reuso: Criar frameworks e bibliotecas reutilizáveis para acelerar o desenvolvimento e garantir a padronização técnica do time.
* Governança e Qualidade: Implementar padrões de Medallion Architecture e garantir a integridade dos dados através de monitoramento e observabilidade (Datadog/Grafana).
* Colaboração Técnica: Atuar em parceria com times de Produto e Analytics para traduzir necessidades de negócio em soluções técnicas de alto impacto.
✅ Requisitos obrigatórios:
* Experiência Sênior: Sólida trajetória em Engenharia de Dados, com foco em Azure Databricks e Apache Spark.
* Domínio Técnico: Proficiência em Python (PySpark) e SQL (Spark SQL).
* Ecossistema Azure: Experiência prática com Azure Data Lake Storage (ADLS), Azure Data Factory e Azure Key Vault.
* Arquitetura Moderna: Conhecimento em Delta Lake e padrões de arquitetura Medallion (Bronze, Silver, Gold).
* DataOps: Domínio de Git (estratégias de branch e PRs) e fluxos de CI/CD para pipelines de dados.
* Inglês: Avançado/fluente.
⭐O que te destaca:
* Experiência prática com Unity Catalog (Governança e Linhagem).
* Conhecimento em Infraestrutura como Código (Terraform/Terragrunt).
* Certificações Databricks ou Azure Data Engineer Associate.
* Experiência com processamento em tempo real (Structured Streaming / Event Hubs).
📩 Tem o perfil para esse desafio? Candidate-se e venha fazer parte do nosso time!