O Papel do Engenheiro de Dados Sênior:
">
Na indústria de tecnologia, o papel do engenheiro de dados sênior é crucial para garantir a qualidade e integridade dos dados. Ele é responsável por liderar a equipe de desenvolvimento de soluções de processamento de dados, garantindo que as regras de negócios sejam implementadas corretamente.
">
Um engenheiro de dados sênior com sólida experiência em Python é fundamental para esse processo. Com ele, podemos contar com a expertise necessária para desenvolver e implementar arquiteturas de modelagem de dados robustas, especificar regras de negócios e implementá-las no ambiente Databricks.
">
Aqui estão algumas das principais responsabilidades desse profissional:
">
">
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM de Pacientes;
">
* Especificar e documentar regras de negócios para unificação e tratamento de dados de pacientes;
">
* Implementar pipelines de processamento de dados no Databricks;
">
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes;
">
* Estabelecer fluxos de qualidade de dados e validação;
">
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
">
* Implementar rotinas de atualização e sincronização de dados;
">
* Participar de code reviews e mentoria técnica da equipe;
">
* Colaborar com stakeholders de negócios para refinar regras e requisitos.
">
Requisitos Técnicos
">
Para ocupar esse cargo, você precisará ter:
">
">
* Experiência avançada com Python;
">
* Sólidos conhecimentos em: Databricks e Delta Lake, PySpark para processamento de dados em larga escala, SQL e modelagem de dados, ETL/ELT e pipelines de dados;
">
* Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
">
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
">
* Experiência com implementação de regras de negócios complexas em código;
">
* Domínio de versionamento Git e metodologias ágeis;
">
* Experiência com boas práticas de desenvolvimento (testes unitários, documentação).
">
Diferenciais
">
Se você tiver alguma dessas habilidades adicionais, será um ótimo candidato:
">
">
* Experiência prévia com MDM na área de saúde;
">
* Conhecimento em FHIR ou outros padrões de dados de saúde;
">
* Experiência com Great Expectations para qualidade de dados;
">
* Conhecimento em frameworks de governança de dados;
">
* Experiência com mensageria (Kafka, Event Hubs);
">
* Familiaridade com ferramentas de CDC (Change Data Capture);
">
* Conhecimento em observabilidade (Databricks SQL Analytics, Grafana);
">
* Experiência com APIs RESTful para exposição de dados.
">
Por que trabalhar como Engenheiro de Dados Sênior?
">
Como engenheiro de dados sênior, você terá a oportunidade de liderar equipes, desenvolver soluções inovadoras e trabalhar com tecnologias de ponta. Além disso, você contribuirá diretamente para a transformação digital de nossas organizações.
">
Passos para aplicar
">
Se você está interessado em essa oportunidade, envie seu currículo e uma carta de apresentação explicando porque é o melhor candidato para o cargo. Nós ficaremos ansiosos para conhecer sua proposta!