Desenvolvedor de Dados
Estamos em busca de um profissional experiente para integrar nossa equipe.
O candidato ideal terá habilidades avançadas em desenvolvimento de dados utilizando PySpark, SQL e outras ferramentas relevantes. Experiência em modelagem de dados, data warehouses e data marts também é essencial.
Aqui estão algumas das responsabilidades principais do cargo:
* Desenvolver e manter pipelines de dados em lote usando o PySpark (focado em SQL)
* Escrever e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios
* Entender os requisitos de forma autônoma e traduzir para código
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial
* Colaborar com analistas de negócios para entender as necessidades de dados
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS
* Garantar a qualidade, a consistência e o desempenho dos dados em todo o pipeline
Requisitos Técnicos e de Experiência
* Analista de Dados PL qualificado com uma base sólida em desenvolvimento baseado em SQL
* Experiência na criação e gerenciamento de data marts
* Exposição ao Airflow ou outras ferramentas de orquestração
* Familiaridade com ferramentas de infraestrutura como código, como o Terraform
* Compreensão dos padrões ODS (Operacional Data Store) e arquitetura de data lake
* Experiência com Bitbucket (ou qualquer ferramenta git semelhante)
* Experiência/compreensão de Jenkins
Vantagens
Trabalhar em equipe, aprender e se desenvolver
Outras Informações
Se você tem interesse em realizar esse trabalho, envie seu currículo