O papel do Engenheiro de dados Sênior é liderar o desenvolvimento e implementação de soluções de integração de dados.
Responsável por modelar dados, especificar regras de negócios e implementá-las em ambientes de processamento de grandes conjuntos de dados, como o Databricks. A pessoa busca unificar dados provenientes de múltiplos sistemas de origem, gerando informações valiosas para tomada de decisões.
Responsabilidades
* Desenvolver arquitetura de modelagem de dados do MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicação e registros de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
A equipe trabalha com stakeholders de negócios para refinar regras e requisitos, garantindo que a solução atenda às necessidades da empresa e de seus clientes.
Requisitos Técnicos
* Experiência avançada com Python;
* Sólidos conhecimentos em: Databricks e Delta Lake; PySpark para processamento de dados em larga escala; SQL e modelagem de dados; ETL/ELT e pipelines de dados;
* Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
* Experiência com implementação de regras de negócios complexas em código;
* Domínio de versionamento Git e metodologias ágeis;
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação).
Benefícios
A carreira oferece oportunidades de crescimento profissional e desafios constantes, pois o profissional irá contribuir para uma empresa que busca inovação e respeito. Trabalhar com colaboradores dispostos a aprender e compartilhar conhecimentos pode ser muito gratificante, especialmente quando se está focado em impacto positivo. Além disso, enfrentar problemas complexos e encontrar soluções inovadoras pode ser estimulante e recompensador.