Informações sobre o Cargo:
O Engenheiro de Dados Sênior é responsável por liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes. Este profissional irá trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks.
Ao assumir este cargo, você estará desafiado a unificar dados de pacientes provenientes de múltiplos sistemas de origem. Para isso, é necessário desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes, especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes.
Também será necessário implementar pipelines de processamento de dados no Databricks, desenvolver lógicas para matching, deduplicação e golden record de pacientes, estabelecer fluxos de qualidade de dados e validação e criar e manter tabelas integradas seguindo as regras de negócios estabelecidas.
Além disso, você precisará implementar rotinas de atualização e sincronização de dados, participar de code reviews e mentoria técnica da equipe e colaborar com stakeholders de negócios para refinar regras e requisitos.
* Responsabilidades:
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicação e golden record de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados;
* Participar de code reviews e mentoria técnica da equipe;
* Colaborar com stakeholders de negócios para refinar regras e requisitos.
Necessários:
Experiência avançada com Python;
Sólidos conhecimentos em Databricks e Delta Lake;
Pyspark para processamento de dados em larga escala;
SQL e modelagem de dados;
ETL/ELT e pipelines de dados.
* Diferenciais:
* Experiência prévia com MDM na área de saúde;
* Conhecimento em FHIR ou outros padrões de dados de saúde;
* Experiência com Great Expectations para qualidade de dados;
* Conhecimento em frameworks de governança de dados;
* Experiência com mensageria (Kafka, Event Hubs);
* Familiaridade com ferramentas de CDC (Change Data Capture);
* Conhecimento em observabilidade (Databricks SQL Analytics, Grafana);
* Experiência com APIs RESTful para exposição de dados.
O candidato ideal para este cargo é aquele que tem habilidades técnicas sólidas, experiência em projetos de integração de dados e capacidade de trabalhar em equipe. Além disso, é fundamental ter uma boa comunicação e capacidade de explicar conceitos complexos de forma clara e concisa.
Se você está procurando por um desafio emocionante e deseja trabalhar em um ambiente dinâmico e inovador, então este cargo pode ser perfeito para você!