Na busca por um profissional de alta qualificação, estamos empenhados em encontrar alguém que atue como Engenheiro de Dados Sênior. Nossa missão é liderar o desenvolvimento e implementação de projetos relacionados ao Master Data Management (MDM), com ênfase na modelagem de dados, especificação de regras de negócios e implementação dessas regras e tabelas no ambiente Databricks.
O profissional será responsável por desenvolver e implementar a arquitetura de modelagem de dados do MDM, bem como especificar e documentar regras de negócios para unificação e tratamento de dados. Além disso, será necessário implementar pipelines de processamento de dados no Databricks, desenvolver lógicas para matching, deduplicate e golden record de pacientes, estabelecer fluxos de qualidade de dados e validação, criar e manter tabelas integradas seguindo as regras de negócios estabelecidas e implementar rotinas de atualização e sincronização de dados.
Também será necessário participar de code reviews e mentoria técnica da equipe, colaborar com stakeholders de negócios para refinar regras e requisitos e trabalhar em equipe para alcançar metas.
A experiência anterior com Python, Databricks e Delta Lake é fundamental para este cargo. Além disso, conhecimentos em PySpark para processamento de dados em larga escala, SQL e modelagem de dados são necessários. ETL/ELT e pipelines de dados também são fundamentais para o sucesso nessa função.
No entanto, o candidato ideal deve ter experiência com Master Data Management (MDM) ou projetos similares de integração de dados, conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros, além de experiência com implementação de regras de negócios complexas em código.
Para aqueles que se destacam, há oportunidades adicionais de crescimento e desenvolvimento profissional, incluindo treinamento contínuo e mentorias personalizadas.
Aqui estão algumas das principais responsabilidades desse cargo:
* Desenvolver e implementar a arquitetura de modelagem de dados do MDM;
* Especificar e documentar regras de negócios para unificação e tratamento de dados;
* Implementar pipelines de processamento de dados no Databricks;
* Desenvolver lógicas para matching, deduplicate e golden record de pacientes;
* Estabelecer fluxos de qualidade de dados e validação;
* Criar e manter tabelas integradas seguindo as regras de negócios estabelecidas;
* Implementar rotinas de atualização e sincronização de dados;
* Participar de code reviews e mentoria técnica da equipe;
* Colaborar com stakeholders de negócios para refinar regras e requisitos;
* Trabalhar em equipe para alcançar metas;
Além disso, os candidatos devem ter:
* Experiência avançada com Python;
* Sólidos conhecimentos em Databricks e Delta Lake;
* Conhecimento em PySpark para processamento de dados em larga escala;
* SQL e modelagem de dados;
* ETL/ELT e pipelines de dados;
* Experiência com Master Data Management (MDM) ou projetos similares de integração de dados;
* Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros;
* Experiência com implementação de regras de negócios complexas em código;
Ambiente de trabalho:
Nossa empresa oferece um ambiente de trabalho dinâmico e colaborativo, onde você pode crescer e se desenvolver profissionalmente. Além disso, oferecemos uma variedade de benefícios, incluindo:
* Vale alimentação ou vale refeição;
* Desconto em cursos, universidades e instituições de idiomas;
* Academia Stefanini - plataforma com cursos online, gratuitos, atualizados e com certificado;
* Mentoring;
* Auxílio creche;
* Clube de vantagens para consultas e exames;
* Assistência médica;
* Assistência odontológica;
* Clube de vantagens e descontos nos melhores estabelecimentos;
* Clube de viagens;
* Convênio para pet;
Se você está procurando por uma oportunidade de carreira em uma empresa que valoriza inovação, respeito, autonomia e parceria, então não perca essa chance!