Nossa equipe procura por um Engenheiro de dados Sênior com experiência avançada em Python para liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes.
O profissional irá trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks, unificando dados de pacientes provenientes de múltiplos sistemas de origem.
Responsabilidades
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados;
* Participar de code reviews e mentoria técnica da equipe;
* Colaborar com stakeholders de negócios para refinar regras e requisitos.
Requisitos essenciais:
* Experiência avançada com Python;
* Sólidos conhecimentos em: Databricks e Delta Lake, PySpark para processamento de dados em larga escala, SQL e modelagem de dados;
* Experiência com ETL/ELT e pipelines de dados;
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
* Experiência com implementação de regras de negócios complexas em código;
* Domínio de versionamento Git e metodologias ágeis;
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação).
Benefícios:
* Vale Alimentação ou Vale Refeição;
* Desconto em cursos, universidades e instituições de idiomas;
* Academia Stefanini - plataforma com cursos online, gratuitos, atualizados e com certificado;
* Mentoring;
* Auxílio Creche;
* Clube de vantagens para consultas e exames;
* Assistência Médica;
* Assistência Odontológica;
* Clube de vantagens e descontos nos melhores estabelecimentos;
* Clube de viagens;
* Convênio para Pet.
* e muito mais...
O que você precisará ter
* Python avançado;
* Knowledges sólidos em Databricks e Delta Lake;
* Prática em PySpark;
* Conhecimento em SQL;
* Pipeline de dados bem estruturados;
* Técnicas de matching;
* Boas práticas de desenvolvimento;
* Metodologias ágeis;
* Versionamento Git.