* Projetar arquiteturas de dados escaláveis em cloud (Azure Fabric, Databricks)
* ● Desenhar pipelines de ingestão em tempo real e batch (Kafka, Event Hubs, Service
* Bus)
* ● Modelar Data Lakehouses com Delta Lake e otimizar particionamento
* ● Definir estratégias de governança e segurança (Purview, RBAC, data lineage)
* ● Migração e Modernização
* ● Converter sistemas legados para plataformas modernas
* ● Traduzir lógica complexa de stored procedures para PySpark/SQL
* ● Validar integridade de dados pós-migração e corrigir discrepâncias
* ● Implementar processos de delta load e CDC (Change Data Capture)
* ● Performance e Qualidade
* ● Otimizar queries e processamentos para grande volume de dados
* ● Estabelecer deduplicação e validação de schemas
* ● Implementar monitoramento e observabilidade (Application Insights)
* ● Documentação e Colaboração
* ● Documentar arquiteturas com diagramas técnicos
* ● Criar mapeamentos DE-PARA entre sistemas legados e novos
* ● Trabalhar com stakeholders de negócio e times de BI/analytics
REQUISITOS TÉCNICOS
● PySpark / Apache Spark (transformações complexas, window functions, joins)
● SQL avançado (CTEs, window functions, otimização)
● Microsoft Fabric e Databricks (Lakehouse, Delta Lake)
● Azure (Event Hubs, Storage, Data Factory, Key Vault)
● Modelagem dimensional e normalização
● Git e CI/CD
REQUISITOS TÉCNICOS DESEJÁVEIS
● Kafka e streaming em tempo reale NRT
● Power BI (Direct Lake, DAX)
● Oracle Siebel ou CRMs enterprise
● Python para automação
● Schemas JSON/Parquet
● Microsoft Purview
OUTROS DIFERENCIAIS
● Experiência com migração de sistemas legados
● Redução de custos operacionais e FinOps
● Certificações Azure (DP-203, AZ-305)