A principal responsabilidade do engenheiro de dados é garantir a qualidade, consistência e integridade dos dados em larga escala.
Para isso, o profissional precisará desenvolver e manter pipelines de dados escaláveis e confiáveis, implementar processos de Data Care, incluindo monitoramento, limpeza, catalogação, versionamento e reconciliação de dados, garantir a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade.
Conhecimento Técnico
O engenheiro de dados deve ter experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala. Ele também deve ter conhecimento em SQL e linguagens como Python ou Scala, além de experiência com ferramentas de engenharia de dados como Spark, Airflow e Hadoop.
* Experiência com Data Quality Frameworks;
* Ferramentas de observabilidade de dados;
* Data Governance, Data Catalog, Data Lineage;
Além disso, o engenheiro de dados deve ter habilidades para trabalhar em equipe, documentar processos técnicos e apoiar a implantação de melhores práticas de segurança e compliance de dados.
Vantagens:
* Assistência médica;
* VR e VA flexível;
* Gympass e Wellz;
* Parceria com o SESC;
* Descontos em restaurantes;
* Descontos em cursos técnicos e de ensino superior;
* Descontos em escolas e plataformas de idiomas.