Descrição do Cargo:
Nossa equipe está em busca de um Engenheiro de Dados Sênior com experiência avançada em Python para liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes. O profissional irá trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks.
Responsabilidades:
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicação e registro-gold de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados;
* Participar de revisão de código e mentoria técnica da equipe;
* Colaborar com stakeholders de negócios para refinar regras e requisitos.
Tecnologias e Conhecimentos Específicos:
Python; Databricks e Delta Lake; PySpark para processamento de dados em larga escala; SQL e modelagem de dados; ETL/ELT e pipelines de dados; Master Data Management (MDM) ou projetos similares de integração de dados; técnicas de matching, fuzzy matching e deduplicação de registros; implementação de regras de negócios complexas em código;
Nossas Expectativas:
Experiência avançada em Python;
Sólidos conhecimentos em tecnologias como Databricks e Delta Lake, PySpark, SQL e modelagem de dados;
Conhecimento em técnicas de matching, deduplicação de registros;
Experiência em implementação de regras de negócios complexas em código;
Domínio de versionamento Git e metodologias ágeis;
Experiência em boas práticas de desenvolvimento;
Alguns dos diferenciais que podemos oferecer incluem:
Experiência prévia em MDM na área de saúde;
Conhecimento em FHIR ou outros padrões de dados de saúde;
Experiência em Great Expectations para qualidade de dados;
Conhecimento em frameworks de governança de dados;
Experiência em mensageria;
Familiaridade com ferramentas de CDC;
Conhecimento em observabilidade;
Experiência em APIs RESTful para exposição de dados