Descrição do Cargo
Desenvolver e manter pipelines de dados em lote usando o PySpark, focado em SQL.
* Escribir e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios;
* Entender os requisitos de forma autônoma e traduzir para código;
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial;
Tais atividades incluem a definição das estruturas dos dados, a criação de métricas relevantes e a implementação de soluções que atendam às necessidades específicas das unidades de negócios;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS.
É responsabilidade do profissional garantir que todos os processos sejam executados de maneira eficiente e segura, minimizando riscos e maximizando a qualidade dos dados.