Engenheiro(a) de Dados - Projeto com Data Lake em GCP
Join to apply for the Engenheiro(a) de Dados - Projeto com Data Lake em GCP role at Netvagas.
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar em um projeto estratégico envolvendo a construção e evolução de um Data Lake na Google Cloud Platform (GCP). O profissional será responsável por projetar, desenvolver e manter pipelines de dados escaláveis, garantindo a ingestão, transformação e disponibilização segura e eficiente das informações para consumo analítico.
Responsabilidades
1. Projetar e implementar pipelines de dados em GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub, etc.)
2. Criar e gerenciar estruturas de Data Lake, otimizando o armazenamento e a organização dos dados brutos e processados.
3. Automatizar fluxos de ingestão, limpeza e transformação de dados a partir de diferentes fontes (APIs, bancos relacionais, arquivos, etc.)
4. Garantir a governança, qualidade e segurança dos dados armazenados.
5. Trabalhar em conjunto com arquitetos, analistas e cientistas de dados para viabilizar o consumo das informações.
6. Realizar monitoramento e troubleshooting dos pipelines de dados.
Requisitos
* Experiência prática com GCP, especialmente serviços como BigQuery, Cloud Storage, Dataflow, Pub/Sub e Composer (Airflow).
* Sólida experiência com construção de pipelines de dados (ETL/ELT).
* Domínio de SQL e familiaridade com Python para scripts de transformação.
* Experiência com estruturação de Data Lakes e boas práticas de organização de dados em cloud.
* Conhecimentos de versionamento (Git), CI/CD e controle de acesso baseado em papéis (IAM).
Desejável
* Conhecimento em modelagem de dados (dimensional e/ou data vault).
* Experiência com ferramentas de catalogação de dados e data governance.
* Familiaridade com outras plataformas de nuvem (AWS, Azure) será um diferencial.
#J-18808-Ljbffr