Carreira em Engenharia de Dados:
*
Desenvolver e manter pipelines de dados em lote usando o PySpark (focado em SQL)
*
Escrever e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios
*
Entender os requisitos de forma autônoma e traduzir para código
*
Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake
*
Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial
*
Colaborar com analistas de negócios para entender as necessidades de dados
*
Monitorar e gerenciar trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS
*
Garantir a qualidade, a consistência e o desempenho dos dados em todo o pipeline
O candidato deve ter conhecimento avançado em desenvolvimento de software, habilidades em linguagens de programação como Python e SQL, além de experiência em integração de sistemas e análise de dados.