Buscamos um Engenheiro de dados Sênior com sólida experiência em Python para liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes. O profissional irá trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks, unificando dados de pacientes provenientes de múltiplos sistemas de origem.
Responsabilidades
· Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes
· Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes
· Implementar pipelines de processamento de dados no Databricks
· Desenvolver lógicas para matching, deduplicate e golden record de pacientes
· Estabelecer fluxos de qualidade de dados e validação
· Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas
· Implementar rotinas de atualização e sincronização de dados
· Participar de code reviews e mentoria técnica da equipe
· Colaborar com stakeholders de negócios para refinar regras e requisitos
Requisitos Técnicos
Essenciais
· Experiência avançada com Python
· Sólidos conhecimentos em:
o Databricks e Delta Lake
o PySpark para processamento de dados em larga escala
o SQL e modelagem de dados
o ETL/ELT e pipelines de dados
· Experiência com Master Data Management (MDM) ou projetos similares de integração de dados
· Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros
· Experiência com implementação de regras de negócios complexas em código
· Domínio de versionamento Git e metodologias ágeis
· Experiência com boas práticas de desenvolvimento (testes unitários, documentação)
Diferenciais
· Experiência prévia com MDM na área de saúde
· Conhecimento em FHIR ou outros padrões de dados de saúde
· Experiência com Great Expectations para qualidade de dados
· Conhecimento em frameworks de governança de dados
· Experiência com mensageria (Kafka, Event Hubs)
· Familiaridade com ferramentas de CDC (Change Data Capture)
· Conhecimento em observabilidade (Databricks SQL Analytics, Grafana)
· Experiência com APIs RESTful para exposição de dados