Descrição do Emprego
Desenvolver e manter pipelines de dados em lote utilizando o PySpark, criar e otimizar consultas SQL complexas para fornecer apoio à lógica de negócios e às necessidades de relatórios.
O que Fazer
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS;
Requisitos Técnicos
* Analista de Dados PL qualificado com base sólida em desenvolvimento baseado em SQL;
* Experiência na criação e manutenção de data marts;
* Familiaridade com ferramentas de infraestrutura como código, como o Terraform;
* Compreensão dos padrões ODS (Operacional Data Store) e arquitetura de data lake;
* Experiência com Bitbucket (ou qualquer ferramenta Git semelhante);
* Experiência/compreensão de Jenkins;