A função de Engenheiro de Dados envolve trabalhar com dados escaláveis e confiáveis, garantindo a qualidade dos dados por meio de testes automatizados, validações e auditorias de integridade.
É responsável por desenvolver, manter e otimizar pipelines de dados, implementar processos de Data Care e trabalhar em conjunto com times de Engenharia, Analytics e Produto para estruturar a coleta e o consumo eficiente de dados.
Além disso, é necessário atuar com data lineage, data catalog e definição de políticas de governança, monitorar e resolver falhas de ingestão e transformação de dados em tempo hábil, documentar os processos técnicos e apoiar a implantação de melhores práticas de segurança e compliance de dados.
Conhecimento Técnico
* Experiência robusta em Data Care, garantindo a qualidade, consistência, integridade e governança dos dados em larga escala.
* Experiência sólida com ferramentas de engenharia de dados: Spark, Airflow, Hadoop, etc.
* Forte conhecimento em SQL e linguagens como Python ou Scala
* Vivência com Data Quality Frameworks e ferramentas de observabilidade de dados
* Experiência com Data Governance, Data Catalog, Data Lineage.