A empresa procura um profissional para desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis. Será responsável por implementar processos de Data Care, garantir a qualidade dos dados por meio de testes automatizados e trabalhar em conjunto com times de Engenharia, Analytics e Produto.
Para isso, é necessário possuir experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala. Além disso, é fundamental conhecer ferramentas de engenharia de dados, como Spark, Airflow e Hadoop.
Responsabilidades:
* Desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis;
* Implementar processos de Data Care, incluindo monitoramento, limpeza, catalogação, versionamento e reconciliação de dados;
* Garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade;
* Trabalhar em conjunto com times de Engenharia, Analytics e Produto para estruturar a coleta e o consumo eficiente de dados;
* Atuar com data lineage, data catalog e definição de políticas de governança;
* Monitorar e resolver falhas de ingestão e transformação de dados em tempo hábil;
* Documentar os processos técnicos em conjunto com arquitetura, processos e padrões de engenharia de dados;
* Apoiar a implantação de melhores práticas de segurança e compliance de dados;
O ideal é ter vivência com Data Quality Frameworks e ferramentas de observabilidade de dados, além de conhecimento em SQL e linguagens como Python ou Scala.
Habilidades e Qualificações:
* Experiência robusta em Data Care;
* Conhecimento em ferramentas de engenharia de dados (Spark, Airflow, Hadoop, etc.);
* Fortemente familiarizado com SQL e linguagens como Python ou Scala;
* Vivência com Data Quality Frameworks e ferramentas de observabilidade de dados;
* Conhecimento em Data Governance, Data Catalog e Data Lineage;
E, claro, você receberá uma variedade de benefícios que vão desde assistência médica até VR e VA flexível!