O papel do Engenheiro de Dados envolve garantir a qualidade e integridade dos dados em larga escala.
Ele deve desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis, implementar processos de Data Care e garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade.
Aqui estão algumas responsabilidades importantes:
* Desenvolver e manter pipelines de dados escaláveis e confiáveis;
* Implementar processos de Data Care, incluindo monitoramento, limpeza, catalogação, versionamento e reconciliação de dados;
* Garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade;
* Trabalhar em conjunto com times de Engenharia, Analytics e Produto para estruturar a coleta e o consumo eficiente de dados;
* Atuar com data lineage, data catalog e definição de políticas de governança;
* Monitorar e resolver falhas de ingestão e transformação de dados em tempo hábil;
* Documentar os processos técnicos em conjunto com arquitetura, processos e padrões de engenharia de dados;
* Apoiar a implantação de melhores práticas de segurança e compliance de dados.
Para desempenhar esse papel, é necessário ter experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala.
Ao lado disso, é importante ter conhecimento técnico avançado em linguagens de programação como Python ou Scala, SQL e ferramentas de engenharia de dados como Spark, Airflow e Hadoop.
Fortemente recomendado também é ter vivência com Data Quality Frameworks e ferramentas de observabilidade de dados, além de experiência com Data Governance, Data Catalog e Data Lineage.
No entanto, não é tudo trabalho. Aqui estão algumas vantagens que você pode aproveitar:
* Assistência médica;
* VR e VA flexível;
* Gympass e Wellz;
* Parceria com o SESC;
* Descontos em restaurantes;
* Descontos em cursos técnicos e de ensino superior;
* Descontos em escolas e plataformas de idiomas.
Nossa equipe valoriza a diversidade e busca profissionais que compartilham esses valores.