Aqui está uma descrição detalhada do papel:
Resumo da Função
O profissional será responsável por garantir a qualidade, consistência e integridade dos dados em larga escala. Isso inclui manter pipelines de dados escaláveis e confiáveis, implementar processos de Data Care, realizar testes automatizados e auditorias de integridade.
Responsabilidades
* Desenvolver e manter pipelines de dados escaláveis e confiáveis;
* Implementar processos de Data Care, incluindo monitoramento, limpeza, catalogação, versionamento e reconciliação de dados;
* Garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade;
* Trabalhar em conjunto com times de Engenharia, Analytics e Produto para estruturar a coleta e o consumo eficiente de dados;
* Atuar com data lineage, data catalog e definição de políticas de governança;
* Monitorar e resolver falhas de ingestão e transformação de dados em tempo hábil;
* Documentar os processos técnicos em conjunto com arquitetura, processos e padrões de engenharia de dados;
Conhecimento Técnico Requerido
* Experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala;
* Experiência sólida com ferramentas de engenharia de dados: Spark, Airflow, Hadoop, etc.
* Forte conhecimento em SQL e linguagens como Python ou Scala;
* Vivência com Data Quality Frameworks e ferramentas de observabilidade de dados;
* Experiência com Data Governance, Data Catalog, Data Lineage.
Ambientes de trabalho acolhedores e equipes colaborativas são fundamentais para o sucesso desse profissional. Além disso, oferecemos benefícios impressionantes, incluindo assistência médica, VR e VA flexível, Gympass e Wellz, parceria com o SESC, descontos em restaurantes, cursos técnicos e ensino superior, escolas e plataformas de idiomas!