Considerado o especialista mais requisitado no mercado de dados, você é responsável por desenvolver e otimizar pipelines escaláveis e eficientes utilizando as melhores práticas da indústria.
Funções:
* Desenvolver e melhorar pipelines de dados escaláveis e eficientes;
* Projetar e implementar soluções de armazenamento e processamento de dados na nuvem Azure para garantir a governança e segurança dos dados;
* Trabalhar com Databricks para análise e transformação de dados em tempo real;
* Garantir a qualidade e integridade dos dados através de auditorias e testes regulares;
* Colaborar com times de ciência de dados e engenharia para melhorar fluxos de dados e integrações dentro do cenário empresarial atual.
Requisitos:
* Experiência sólida com Databricks e Apache Spark, além de conhecimento avançado em Azure Data Services (Azure Data Factory, Azure Data Lake, Synapse Analytics, etc.);
* Conhecimento profundo das linguagens de programação como Python, SQL e Scala, além de experiência com ferramentas de ETL e integração de dados;
* Familiaridade com arquiteturas de dados modernas, como Data Lakehouse e Data Warehouse, além de controle de versionamento de código (Git).
Diferenciais:
* Experiência com CI/CD para pipelines de dados, com foco em automação e integração contínua;
* Conhecimento em Power BI e visualização de dados para apresentações dinâmicas e interativas;
* Certificações Microsoft Azure são um plus, mas não são obrigatórias.