Desenvolver pipelines de dados escaláveis e eficientes é um desafio diário para qualquer equipe de ciência de dados.
Neste papel, você terá a oportunidade de trabalhar com tecnologias modernas como Databricks e Azure para criar soluções inovadoras de armazenamento e processamento de dados.
Responsabilidades:
* Desenvolver pipelines de dados escaláveis e eficientes utilizando Databricks e Apache Spark
* Projetar e implementar soluções de armazenamento e processamento de dados na nuvem Azure
* Trabalhar com Databricks para análise e transformação de dados
* Garantir a governança, qualidade e segurança dos dados
* Colaborar com equipes de ciência de dados e engenharia para melhorar fluxos de dados e integrações
Requisitos:
Experiência sólida em Databricks e Apache Spark
Conhecimento avançado em Azure Data Services (Azure Data Factory, Azure Data Lake, Synapse Analytics, etc.)
Experiência em linguagens como Python, SQL e Scala
Familiaridade com ferramentas de ETL e integração de dados
Conhecimento de arquiteturas data lakehouse e data warehouse
Experiência com controle de versão de código (Git)
Diferenciais:
Experiência com CI/CD para pipelines de dados
Conhecimento em Power BI e visualização de dados
Certificações Microsoft Azure são um plus