Resumo
O Engenheiro de Dados Especialista trabalha em equipe multidisciplinar e desenvolve projetos que conectam processos e pessoas para gerar impacto real nos negócios dos clientes.
Descrição das Atividades:
Ingestão, transformação, arquitetura, desenvolvimento e orquestração de pipelines utilizando Databricks. Modelagem de dados, dimensionamento de clusters, desenvolvimento de camada semântica e relatórios em Power BI.
Requisitos:
* Sólido conhecimento em implantação de Databricks, Unity Catalog, DLTs;
* Azure Databricks Serverless;
* ADLS Gen2;
* PySpark;
* Azure Functions, Azure Keyvault, Azure DevOps;
* Dimensionamento de Clusters;
* External Tables,
* SQL (Views, Jobs, CTEs, Procedures);
* Esteiras CI/CD;
* Criação e manutenção de datalakehouses (parquet + delta);