Engenheiro de Dados GCP
O Engenheiro de Dados GCP irá trabalhar na construção e otimização de pipelines de dados confiáveis e escaláveis.
Requisitos Principais
1. Projetar, desenvolver e manter pipelines ETL/ELT para ingestão, transformação e entrega de dados estruturados e não estruturados:
* Ingestão, transformação e entrega de dados estruturados;
* Ingestão, transformação e entrega de dados não estruturados.
Responsabilidades Técnicas
2. Implementar frameworks de ingestão de dados a partir de múltiplas fontes:
* Bancos de dados;
* APIs;
* Arquivos;
* Streaming etc.
Garantia da Qualidade dos Dados
3. Garantir qualidade, consistência e confiabilidade dos dados por meio de validação, monitoramento e testes automatizados:
* Validação;
* Monitoramento;
* Testes automatizados.
Desenvolvimento de Soluções
4. Otimizar fluxos de processamento de dados visando custo e performance:
* Otimização do fluxo de processamento de dados;
* Aumento da eficiência.
Colaboração com Equipes
5. Colaborar com Cientistas de Dados, Analistas e áreas de negócio para fornecer datasets limpos, confiáveis e bem documentados:
* Colaboração com equipes;
* Fornecimento de dados.