Uma oportunidade de crescimento profissional em uma equipe focada na inovação e resolução de problemas complexos está à sua espera.
Sobre a Função
Nossa empresa procura um Engenheiro de Dados Sênior com sólida experiência em Python para liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes.
O profissional escolhido trabalhará na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks, unificando dados de pacientes provenientes de múltiplos sistemas de origem.
Responsabilidades
1. Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
2. Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
3. Implementar pipelines de processamento de dados no Databricks;
4. Desenvolver lógicas para matching, deduplicate e golden record de pacientes;
5. Estabelecer fluxos de qualidade de dados e validação;
6. Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
7. Implementar rotinas de atualização e sincronização de dados;
8. Participar de revisão de código e mentoria técnica da equipe;
9. Colaborar com stakeholders de negócios para refinar regras e requisitos;
Requisitos Técnicos
Essenciais
1. Experiência avançada com Python;
2. Sólidos conhecimentos em: Databricks e Delta Lake; PySpark para processamento de dados em larga escala; SQL e modelagem de dados; ETL/ELT e pipelines de dados;
3. Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
4. Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
5. Experiência com implementação de regras de negócios complexas em código;
6. Dominio de versionamento Git e metodologias ágeis;
7. Experiência com boas práticas de desenvolvimento (testes unitários, documentação);
Diferenciais
1. Experiência prévia com MDM na área de saúde;
2. Conhecimento em FHIR ou outros padrões de dados de saúde;
3. Experiência com Great Expectations para qualidade de dados;
4. Conhecimento em frameworks de governança de dados;
5. Experiência com mensageria (Kafka, Event Hubs);
6. Familiaridade com ferramentas de CDC (Change Data Capture);
7. Conhecimento em observabilidade (Databricks SQL Analytics, Grafana);
8. Experiência com APIs RESTful para exposição de dados;