Aqui estão algumas responsabilidades do Engenheiro de dados Sênior:
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes.
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes.
* Implementar pipelines de processamento de dados no Databricks.
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes.
* Estabelecer fluxos de qualidade de dados e validação.
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas.
* Implementar rotinas de atualização e sincronização de dados.
* Participar de code reviews e mentoria técnica da equipe.
* Colaborar com stakeholders de negócios para refinar regras e requisitos.
O profissional ideal terá sólida experiência em Python e conhecimentos avançados em tecnologias como Databricks e Delta Lake, PySpark para processamento de dados em larga escala, SQL e modelagem de dados, ETL/ELT e pipelines de dados. Além disso, é importante ter experiência com Master Data Management (MDM) ou projetos similares de integração de dados e conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros.
Esses são apenas alguns dos requisitos mínimos para o cargo. Se você se sente qualificado e está procurando por um desafio emocionante, não hesite em aplicar!
**Requisitos Técnicos:**
* Experiência avançada com Python;
* Sólidos conhecimentos em: Databricks e Delta Lake, PySpark para processamento de dados em larga escala, SQL e modelagem de dados, ETL/ELT e pipelines de dados;
* Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
* Domínio de versionamento Git e metodologias ágeis;
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação).
**Requisitos Diferenciais:**
* Experiência prévia com MDM na área de saúde;
* Conhecimento em FHIR ou outros padrões de dados de saúde;
* Experiência com Great Expectations para qualidade de dados;
* Conhecimento em frameworks de governança de dados;
* Experiência com mensageria (Kafka, Event Hubs);
* Familiaridade com ferramentas de CDC (Change Data Capture);
* Conhecimento em observabilidade (Databricks SQL Analytics, Grafana);
* Experiência com APIs RESTful para exposição de dados.
Também gostaríamos de destacar que este é um cargo de liderança e, portanto, espera-se que o candidato tenha habilidades de liderança e comunicação eficazes.