O Engenheiro de Dados Sênior é uma posição crucial para liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes.
Responsabilidades
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados;
* Participar de code reviews e mentoria técnica da equipe;
* Colaborar com stakeholders de negócios para refinar regras e requisitos;
Para se candidatar, é necessário ter experiência avançada com Python e conhecimentos sólidos em Databricks e Delta Lake, PySpark, SQL e modelagem de dados, ETL/ELT e pipelines de dados. Além disso, é importante ter experiência com Master Data Management (MDM) ou projetos similares de integração de dados, bem como conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros.