Evolução do Ecossistema de Dados
Uma oportunidade existe para contribuir na expansão da estrutura de dados com base em DeltaLake/Spark/Superset.
Funções:
* Desenvolver e gerenciar pipelines escaláveis em Python;
* Modelar dados, utilizando uma arquitetura distribuída, otimizando custo e desempenho;
* Optimizar consultas, partições, índices e armazenamento (Parquet/Delta);
* Monitorar a saúde e os custos dos pipelines e documentar a arquitetura, fluxos e dicionário de dados;
Habilidades Requeridas:
* SQL avançado e modelagem;
* Python, Spark, Deltalake e Arquitetura Distribuída;
* Desenvolvimento de pipelines em python e Airflow;
* Versionamento com GitHub e CI/CD;
* Métodos ágeis e comunicação clara com públicos técnicos e de negócio;