Se você procura uma oportunidade de crescimento profissional em uma área que valoriza inovação, respeito e autonomia, este cargo pode ser ideal para você.
Descrição do Cargo
O Engenheiro de Dados Sênior irá liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes. Ele trabalhará na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks, unificando dados de pacientes provenientes de múltiplos sistemas de origem.
Responsabilidades
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes
* Implementar pipelines de processamento de dados no Databricks
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes
* Estabelecer fluxos de qualidade de dados e validação
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas
* Implementar rotinas de atualização e sincronização de dados
* Participar de code reviews e mentoria técnica da equipe
* Colaborar com stakeholders de negócios para refinar regras e requisitos
Requisitos Técnicos
O candidato deve ter experiência avançada em Python e sólidos conhecimentos em Databricks e Delta Lake, PySpark para processamento de dados em larga escala, SQL e modelagem de dados, ETL/ELT e pipelines de dados.
Ao mesmo tempo, é necessário ter experiência com Master Data Management (MDM) ou projetos similares de integração de dados e conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros.
Além disso, é esperado domínio de versionamento Git e metodologias ágeis, além de experiência com boas práticas de desenvolvimento (testes unitários, documentação).