Desenvolver uma arquitetura de dados robusta é fundamental para garantir a unificação e o tratamento confiável dos dados de pacientes. Neste papel, você liderará a modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks.
O objetivo é unificar dados de pacientes provenientes de múltiplos sistemas de origem, garantindo que as informações sejam precisas e atualizadas em tempo real. Para alcançar esse objetivo, você trabalhará na criação de pipelines de processamento de dados no Databricks, desenvolvendo lógicas para matching, deduplicação e registro ouro de pacientes. Além disso, estabelecerá fluxos de qualidade de dados e validação para garantir a integridade dos dados.
Outra responsabilidade importante será criar e manter tabelas integradas seguindo as regras de negócios estabelecidas, implementar rotinas de atualização e sincronização de dados, e participar de revisões de código e mentoria técnica da equipe. Ao longo desse processo, colaborará com stakeholders de negócios para refinar regras e requisitos.
Experiência avançada com Python é essencial para este papel, bem como sólidos conhecimentos em Databricks e Delta Lake, PySpark para processamento de dados em larga escala, SQL e modelagem de dados, ETL/ELT e pipelines de dados. Além disso, é necessário ter experiência com Master Data Management (MDM) ou projetos similares de integração de dados.
* Requisitos Essenciais: Experiência avançada com Python; Sólidos conhecimentos em: Databricks e Delta Lake; PySpark para processamento de dados em larga escala; SQL e modelagem de dados; ETL/ELT e pipelines de dados.
* Experiência Prévia com MDM na Área de Saúde; Conhecimento em FHIR ou outros padrões de dados de saúde; Experiência com Great Expectations para qualidade de dados; Conhecimento em frameworks de governança de dados; Experiência com mensageria (Kafka, Event Hubs); Familiaridade com ferramentas de CDC (Change Data Capture); Conhecimento em observabilidade (Databricks SQL Analytics, Grafana); Experiência com APIs RESTful para exposição de dados.
Benefícios: Vale alimentação ou vale refeição; Desconto em cursos, universidades e instituições de idiomas; Academia Stefanini - plataforma com cursos online, gratuitos, atualizados e com certificado; Mentoring; Auxílio creche; Clube de vantagens para consultas e exames; Assistência médica; Assistência odontológica; Clube de vantagens e descontos nos melhores estabelecimentos; Clube de viagens; Convênio para pet; e muito mais...