Desenvolvimento de Pipelines de Dados Escaláveis
O profissional atuará com foco na manutenção de pipelines, integridade de dados e apoio à construção de uma base sólida para projetos analíticos e de inteligência de dados.
Ferramentas utilizadas:
* Spark;
* Airflow;
* Hadoop;
Também é necessário ter conhecimento em linguagens como Python ou Scala e SQL.
Responsabilidades
1. Desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis;
2. Implementar processos de Data Care, incluindo monitoramento, limpeza, catalogação, versionamento e reconciliação de dados;
3. Garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade;
4. Trabalhar em conjunto com times de Engenharia, Analytics e Produto para estruturar a coleta e o consumo eficiente de dados;
5. Atuar com data lineage, data catalog e definição de políticas de governança;
6. Monitorar e resolver falhas de ingestão e transformação de dados em tempo hábil;
7. Documentar os processos técnicos em conjunto com arquitetura, processos e padrões de engenharia de dados;
8. Apoiar a implantação de melhores práticas de segurança e compliance de dados;
Conhecimentos Técnicos Requeridos
* Experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala;
* Experiência sólida com ferramentas de engenharia de dados: Spark, Airflow, Hadoop, etc.;
* Forte conhecimento em SQL e linguagens como Python ou Scala;
* Vivência com Data Quality Frameworks e ferramentas de observabilidade de dados;
* Experiência com Data Governance, Data Catalog, Data Lineage.
Vantagens do Emprego
* Assistência médica;
* VR e VA flexível;
* Gympass e Wellz;
* Parceria com o SESC;
* Descontos em restaurantes;
* Descontos em cursos técnicos e de ensino superior;
* Descontos em escolas e plataformas de idiomas.