Desenvolver e manter pipelines de dados escaláveis e confiáveis é um desafio constante em qualquer equipe de tecnologia. Para isso, precisamos de profissionais que possam garantir a qualidade e integridade dos nossos dados.
Aqui, você será responsável por desenvolver, manter e otimizar pipelines de dados, garantindo que eles sejam escaláveis e confiáveis para atender às necessidades da nossa empresa.
Especificações do Cargo
* Responsável por desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis;
* Implementar processos de Data Care, incluindo monitoramento, limpeza, catalogação, versionamento e reconciliação de dados;
* Garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade;
* Trabalhar em conjunto com times de Engenharia, Analytics e Produto para estruturar a coleta e o consumo eficiente de dados;
* Atuar com data lineage, data catalog e definição de políticas de governança;
* Monitorar e resolver falhas de ingestão e transformação de dados em tempo hábil;
* Documentar os processos técnicos em conjunto com arquitetura, processos e padrões de engenharia de dados;
* Apoiar a implantação de melhores práticas de segurança e compliance de dados;
Você trabalhará com ferramentas como Spark, Airflow, Hadoop e linguagens como Python ou Scala, garantindo que os nossos dados estejam sempre atualizados e precisos.
Conhecimento Técnico Requerido
* Experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala;
* Experiência sólida com ferramentas de engenharia de dados, incluindo Spark, Airflow e Hadoop;
* Forte conhecimento em SQL e linguagens como Python ou Scala;
* Vivência com Data Quality Frameworks e ferramentas de observabilidade de dados;
* Experiência com Data Governance, Data Catalog, Data Lineage;
Nossa equipe é apaixonada por inovação e está constantemente melhorando nossos processos e tecnologias. Você terá oportunidades de crescimento e desenvolvimento contínuo em uma cultura colaborativa e inovadora.
Somos uma equipe global e valorizamos a diversidade e inclusão. Nossa missão é proporcionar um ambiente de trabalho seguro e acolhedor para todos.
Caso tenha alguma pergunta ou interesse em saber mais sobre a vaga, entre em contato conosco!