Responsabilidades:
• Desenho e Evolução: Apoiar no desenho, definição de padrões e evolução
de arquiteturas de dados para Produtos de Dados, garantindo soluções
escaláveis, seguras e eficientes em custos.
• Modelagem de Dados: Projetar modelos de dados analíticos (modelagem
dimensional, Star Schema, tabelas fato e dimensão) e estruturar as
camadas de curadoria (Medalhão) para atender às demandas de Analytics
e BI.
• Construção de Pipelines: Definir padrões e orientar a construção de
pipelines de ingestão, transformação e integração de dados de ponta a
ponta, com foco em automação, resiliência, escalabilidade,
rastreabilidade e manutenibilidade.
• Ecossistema Azure/Databricks: Implementar soluções utilizando Azure
Synapse (para integrações e serving) e Azure Databricks (para
processamento distribuído).
• Tradução de Negócio: Apoiar os times técnicos e áreas de negócio na
tradução de regras operacionais em estruturas de dados sustentáveis,
métricas e indicadores.
• Observabilidade, Monitoramento e Qualidade de Dados: Definir e
implementar práticas de observabilidade para pipelines, modelos e
produtos de dados, incluindo disponibilidade, performance, volumetria,
latência, frescor, completude, consistência e acurácia dos dados.
Estabelecer SLOs, alertas proativos, data quality checks, garantindo
confiabilidade operacional, rastreabilidade e melhoria contínua dos ativos
de dados.
• Governança e DataOps: Aplicar práticas de governança, linhagem,
catalogação, versionamento, CI/CD, padronização de desenvolvimento e
automação, promovendo segurança, rastreabilidade, reuso e
conformidade dos ativos de dados.
Requisitos:
• Experiência comprovada em Engenharia ou Arquitetura de Dados em
ambientes de nuvem.
• Forte conhecimento em modelagem de dados analítica (Dimensional, Data
Warehouse e ambientes Lakehouse).
• Experiência prática com a arquitetura Medalhão (Bronze, Silver, Gold) e
organização de dados para consumo.
• Domínio de Azure Databricks, Spark e processamento distribuído
(Python/PySpark).
• Domínio de Azure Synapse Analytics e Azure Data Factory para
orquestração e integração de dados.
• SQL avançado com foco em otimização de consultas e tuning.
• Bons conhecimentos em práticas de engenharia de software (Git, esteiras
de CI/CD e automação).
• Noções de governança de dados (controle de acesso, LGPD,
mascaramento e catalogação).
Diferenciais:
• Experiência prévia na arquitetura e entrega de Produtos de Dados (Data
Products) ou conceitos de Data Mesh.
• Vivência com ferramentas da Microsoft Power Platform (Power BI) para
entender a ponta de consumo.
• Conhecimento em Unity Catalog para governança de dados no Databricks.
• Noções de preparação de dados para projetos de IA, Machine Learning ou
LLMs