Função
Estamos procurando por profissionais talentosos para criar e manter pipelines de dados usando o PySpark, com SQL como a linguagem de codificação principal.
Responsabilidades
* Desenvolver e manter pipelines de dados em lote utilizando o PySpark (focado em SQL);
* Escribir e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios;
* Entender os requisitos de forma autônoma e traduzir para código;
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS.
Habilidades e Qualificações
* Analista de Dados PL qualificado com uma base sólida em desenvolvimento baseado em SQL;
* Experiência na criação e gerenciamento de data marts;
* Exposição ao Airflow ou outras ferramentas de orquestração;
* Familiaridade com ferramentas de infraestrutura como código, como o Terraform;
* Compreensão dos padrões ODS (Operacional Data Store) e arquitetura de data lake;
* Experiência com Bitbucket (ou qualquer ferramenta git semelhante).
Benefícios
* Plano de Saúde subsidiado pela empresa para o titular;
* Opção de inclusão de dependentes no Plano de Saúde com desconto em folha de pagamento;
* Vale Refeição no cartão Flash Benefícios;
* Vale Transporte (opcional);
* Seguro de vida em grupo.
Nossa Cultura
No nosso ambiente de trabalho, valorizamos a autonomia, a colaboração e o crescimento contínuo. Integramos o Bloomberg Gender-Equality Index (GEI) 2021 em termos de diversidade e igualdade de gênero.