Descrição do Cargo
O candidato ideal deve ter forte conhecimento em plataformas de nuvem, práticas modernas de engenharia de dados e perfil analítico para garantir o fluxo eficiente de dados na organização.
Responsabilidades Principais:
1. Projetar, desenvolver e manter pipelines ETL/ELT para ingestão, transformação e entrega de dados estruturados e não estruturados.
2. Implementar frameworks de ingestão de dados a partir de múltiplas fontes (bancos de dados, APIs, arquivos, streaming etc).
3. Garantir qualidade, consistência e confiabilidade dos dados por meio de validação, monitoramento e testes automatizados.
4. Otimizar fluxos de processamento de dados visando custo e performance.
5. Colaborar com Cientistas de Dados, Analistas e áreas de negócio para fornecer datasets limpos, confiáveis e bem documentados.
6. Trabalhar com serviços nativos de nuvem (ex.: BigQuery, Dataproc, Dataflow, Databricks, Snowflake) para implementar arquiteturas escaláveis.
7. APLICAR BOAS PRÁTICAS DE CI/CD, VERSIONAMENTO E INFRAESTRUTURA COMO CÓDIGO (IAC) EM PIPELINES DE DADOS.
Conhecimentos Específicos:
* Domínio em SQL, Python e Spark.
* Experiência com plataformas de dados em nuvem (Google Cloud Platform, AWS ou Azure).
* Sólidos conhecimentos em modelagem de dados, data warehouse e arquiteturas lake/lakehouse.
* Vivência com ferramentas de orquestração (Airflow, Cloud Composer, Prefect, Dagster).
* Familiaridade com práticas de DevOps (Git, pipelines CI/CD, Terraform ou similares).