O Engenheiro de Dados Sênior será responsável por liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes.
O profissional irá trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks, unificando dados de pacientes provenientes de múltiplos sistemas de origem.
Aqui estão algumas das responsabilidades e atribuições desse cargo:
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados;
* Participar de code reviews e mentoria técnica da equipe;
* Colaborar com stakeholders de negócios para refinar regras e requisitos;
Ao candidatar-se ao cargo, é importante ter:
* Experiência avançada com Python;
* Sólidos conhecimentos em: Databricks e Delta Lake; PySpark para processamento de dados em larga escala; SQL e modelagem de dados; ETL/ELT e pipelines de dados;
* Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
* Experiência com implementação de regras de negócios complexas em código;
* Domínio de versionamento Git e metodologias ágeis;
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação);
Além disso, é interessante ter experiência prévia com MDM na área de saúde e conhecimento em FHIR ou outros padrões de dados de saúde. Acompanhamento de qualidade de dados utilizando Great Expectations também é uma habilidade valiosa. Conhecimento em frameworks de governança de dados e mensageria (Kafka, Event Hubs) pode ser um diferencial. Além disso, familiaridade com ferramentas de CDC (Change Data Capture) e observabilidade (Databricks SQL Analytics, Grafana) são recursos úteis nesse contexto. Por fim, experiência com APIs RESTful para exposição de dados é algo positivo.
Você se candidata a esse cargo porque...