Desenvolvedor de Soluções de Dados Avançadas
Na busca contínua por excelência em dados, estamos procurando um profissional experiente em desenvolvimento de soluções de dados avançadas para liderar o desenvolvimento e implementação de um Master Data Management (MDM) de Pacientes. O objetivo é criar uma arquitetura robusta de modelagem de dados que permita a unificação e tratamento de dados de pacientes de múltiplos sistemas de origem.
Responsabilidades:
• Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
• Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
• Implementar pipelines de processamento de dados no Databricks;
• Desenvolver lógicas para matching, deduplicação e criação de registros únicos de pacientes;
• Estabelecer fluxos de qualidade de dados e validação;
• Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
• Implementar rotinas de atualização e sincronização de dados;
• Participar de revisões de código e mentoria técnica da equipe;
• Colaborar com stakeholders de negócios para refinar regras e requisitos;
Requisitos Técnicos:
Essenciais:
• Experiência avançada com Python;
• Sólidos conhecimentos em: Databricks e Delta Lake; PySpark para processamento de dados em larga escala; SQL e modelagem de dados; ETL/ELT e pipelines de dados;
• Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
• Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
• Experiência com implementação de regras de negócios complexas em código;
• Domínio de versionamento Git e metodologias ágeis;
• Experiência com boas práticas de desenvolvimento (testes unitários, documentação);
Diferenciais:
• Experiência prévia com MDM na área de saúde;
• Conhecimento em FHIR ou outros padrões de dados de saúde;
• Experiência com Great Expectations para qualidade de dados;
• Conhecimento em frameworks de governança de dados;
• Experiência com mensageria (Kafka, Event Hubs);
• Familiaridade com ferramentas de CDC (Change Data Capture);
• Conhecimento em observabilidade (Databricks SQL Analytics, Grafana);
• Experiência com APIs RESTful para exposição de dados;