Descrição do Cargo
Desenvolver e manter pipelines de dados em lote utilizando o PySpark (focado em SQL) para apoiar as necessidades de relatórios e dar suporte à lógica de negócios.
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake, aprimorando a visibilidade dos conjuntos de dados;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial, otimizando processos de tomada de decisões;
* Colaborar com analistas de negócios para entender as necessidades de dados e melhorar a qualidade das informações;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ou orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS;
Requisitos Técnicos e de Experiência:
* Analista de Dados PL qualificado com uma base sólida em desenvolvimento baseado em SQL e conhecimento em ferramentas de infraestrutura como código;
* Experiência na criação e gerenciamento de data marts, otimizando processos de armazenamento e recuperação de dados;
* Familiaridade com ferramentas de orquestração como o Airflow e ferramentas de infraestrutura como código como o Terraform;
* Compreensão dos padrões ODS (Operational Data Store) e arquitetura de data lake, garantindo a integridade e a consistência dos dados.
Ao fazer parte desta equipe, você terá a oportunidade de desempenhar um papel fundamental na transformação dos dados em insights valiosos para a empresa. Com sua contribuição, ajudará a fortalecer a cultura de dados dentro da organização e a impulsionar crescimento sustentável.