Afirmamos a importância de pessoas com experiência avançada em Python, que desejam liderar o desenvolvimento e implementação de soluções inovadoras. Neste contexto, buscamos um profissional para trabalhar na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks.
Com sólida experiência em PySpark para processamento de dados em larga escala, você estará responsável por:
Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes
Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes
Implementar pipelines de processamento de dados no Databricks
Desenvolver lógicas para matching, deduplicate e golden record de pacientes
Estabelecer fluxos de qualidade de dados e validação
Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas
Implementar rotinas de atualização e sincronização de dados
Participar de code reviews e mentoria técnica da equipe
Colaborar com stakeholders de negócios para refinar regras e requisitos
Requisitos Técnicos:
* Experiência avançada com Python
* Sólidos conhecimentos em:
o Databricks e Delta Lake
o PySpark para processamento de dados em larga escala
o SQL e modelagem de dados
o ETL/ELT e pipelines de dados
* Experiência com Master Data Management (MDM) ou projetos similares de integração de dados
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros
* Experiência com implementação de regras de negócios complexas em código
* Domínio de versionamento Git e metodologias ágeis
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação)