O papel de um Engenheiro de dados Sênior é liderar projetos complexos de integração de dados, garantindo a qualidade e a precisão dos resultados.
Alguns dos principais responsáveis incluem:
* Desenvolver e implementar a arquitetura de modelagem de dados para MDM de Pacientes;
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
* Implementar pipelines de processamento de dados no Databricks;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados.
A pessoa ideal deve ter:
* Experiência avançada com Python;
* Sólidos conhecimentos em Databricks, Delta Lake, PySpark, SQL, ETL/ELT e Master Data Management;
* Domínio de versionamento Git e metodologias ágeis;
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros.
Familiaridade com ferramentas como Great Expectations, observabilidade e mensageria também é uma vantagem. Além disso, uma experiência prévia com MDM na área de saúde pode ser benéfica.
Bons pontos incluem:
* Experiência com implementação de regras de negócios complexas em código;
* Conhecimento em frameworks de governança de dados;
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação).
Essa posição oferece uma oportunidade de contribuir para o crescimento da empresa e trabalhar em um ambiente inovador e desafiador.