Buscamos um profissional experiente para liderar o desenvolvimento de um Master Data Management (MDM) de Pacientes.
O Engenheiro de dados Sênior irá trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks, unificando dados de pacientes provenientes de múltiplos sistemas de origem.
Responsabilidades
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes
* Implementar pipelines de processamento de dados no Databricks
* Desenvolver lógicas para matching, deduplicação e golden record de pacientes
* Estabelecer fluxos de qualidade de dados e validação
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas
* Implementar rotinas de atualização e sincronização de dados
O candidato selecionado deverá ter experiência em Python, Databricks e Delta Lake, além de conhecimento em PySpark, SQL e ETL/ELT.