Desenvolvimento de Pipelines de Dados
O engenheiro de dados desenvolverá pipelines robustos, seguros e escaláveis em GCP.
* Arquitetura e Desenvolvimento de Pipelines de Dados:
* Modelagem e Estruturação de Dados:
* Integração de Fontes Diversificadas:
* Gestão de Qualidade e Governança:
* Otimização e Performance:
Responsabilidades
* Arquitetar e desenvolver pipelines de dados escaláveis e seguros;
* Criar modelos dimensionais, operacionais e/ou Data Vault que suportem análises consistentes e de alta performance;
* Implementar integrações entre sistemas corporativos, APIs, arquivos, eventos e fluxos de streaming (Pub/Sub), garantindo confiabilidade e rastreabilidade;
* Aplicar regras de qualidade, catalogação, linage e governança de dados, assegurando conformidade e segurança das informações;
* Monitorar, depurar e otimizar pipelines e consultas, reduzindo custos e garantindo SLA de processamento;
Habilidades e Qualificações Requeridas
* Conhecimento avançado em Pipelines de Dados:
* Experiência em Modelagem de Dados e Estruturação de Dados:
* Compreensão de Integração de Fontes Diversificadas:
* Competências em Gestão de Qualidade e Governança:
* Familiaridade com Otimização e Performance:
Vantagens do Cargo
* Oportunidade de trabalhar em projetos desafiadores e inovadores;
* Ambiente de trabalho colaborativo e estimulante;