Resumo
A busca por um profissional qualificado para desenvolver pipelines escaláveis com Python, modelar dados e otimizar consultas é essencial para o sucesso de nossa iniciativa.
Responsabilidades
* Fundamental desempenhar funções como desenvolver e operar pipelines escaláveis;
* Desenvolver modelos de dados com base em arquitetura medalhão, buscando reduzir custos e melhorar a performance;
* Otimizar as consultas, partições, índices e armazenamento (Parquet/Delta);
* Monitorar os custos dos pipelines e documentar a arquitetura, fluxos e dicionário de dados;
Habilidades Requeridas
* Conhecimento avançado em SQL e capacidade de modelagem;
* Domínio em Python, Spark, Deltalake e Arquitetura Medalhão;
* Experiência em desenvolvimento de pipelines em Python e Airflow;
* Uso eficaz do versionamento com GitHub e CI/CD;
* Comunicação eficaz com públicos técnicos e de negócio;