Função: Desenvolver e otimizar pipelines de dados escaláveis e eficientes, projetar e implementar soluções de armazenamento e processamento de dados na nuvem Azure.
Responsabilidades:
* Desenvolver pipelines de dados escaláveis e eficientes
* Projetar e implementar soluções de armazenamento e processamento de dados na nuvem Azure
* Trabalhar com Databricks para análise e transformação de dados
* Garantir a governança, qualidade e segurança dos dados
* Colaborar com times de Ciência de Dados e Engenharia para melhorar fluxos de dados e integrações
Requisitos:
* Experiência sólida com Databricks e Apache Spark
* Conhecimento avançado em Azure Data Services (Azure Data Factory, Azure Data Lake, Synapse Analytics, etc.)
* Experiência com linguagens como Python, SQL e Scala
* Familiaridade com ferramentas de ETL e integração de dados
* Conhecimento de arquiteturas Data Lakehouse e Data Warehouse
* Experiência com controle de versionamento de código (Git)