Desenvolvimento de soluções escaláveis e eficientes para armazenamento e processamento de dados
Sobre a posição:
Ocupamos vaga para Engenheiro de Dados experiente que trabalhe com Databricks, Azure e arquiteturas modernas de dados. Caso tenha experiência em otimização de pipelines de dados e domínio sobre Data Lakehouse e Data Warehouse, esta é uma oportunidade para você.
Responsabilidades:
* Elaborar e refinar pipelines de dados escaláveis e eficientes para atender as necessidades da empresa;
* Disejar e implementar soluções de armazenamento e processamento de dados na nuvem Azure;
* Utilizar Databricks para análise e transformação de dados;
* Asegurar a governança, qualidade e segurança dos dados;
* Colaborar com time de ciência de dados para melhorar fluxos de dados e integrações.
Requisitos:
Experiência sólida com Databricks e Apache Spark;
Conhecimento avançado em Azure Data Services (Azure Data Factory, Azure Data Lake, Synapse Analytics, etc.);
Experiência com linguagens como Python, SQL e Scala;
Familiaridade com ferramentas de ETL e integração de dados;
Conhecimento de arquiteturas Data Lakehouse e Data Warehouse;
Experiência com controle de versionamento de código (Git).
Diferenciais:
Experiência com CI/CD para pipelines de dados;
Conhecimento em Power BI e visualização de dados.