Descrição do Cargo
Trabalhamos com profissionais proativos que desenvolvem habilidades em equipe. A criação de pipelines de dados em lote usando PySpark e SQL é uma parte importante do nosso trabalho. É preciso otimizar consultas SQL complexas e integrar dados de diversas fontes.
Habilidades e Qualificações
* Desenvolver e manter pipelines de dados em lote usando o PySpark (focado em SQL)
* Escrever e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios
* Entender os requisitos de forma autônoma e traduzir para código
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial
* Colaborar com analistas de negócios para entender as necessidades de dados
* Monitorear e gerenciar trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS