Analista de Dados - Desenvolvimento de Pipelines
Buscamos um profissional talentoso para desenvolver e manter pipelines de dados em lote, utilizando PySpark como tecnologia principal. A função exige habilidades avançadas em SQL, para otimizar consultas complexas e suportar a lógica de negócios.
* Desenvolver e manter pipelines de dados em lote com uso intensivo de PySpark;
* Escrever e otimizar consultas SQL complexas para atender às necessidades de relatórios;
* Entender requisitos de forma autônoma e traduzir para código eficaz;
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow.
Competências Esperadas:
* Habilidades avançadas em PySpark e SQL;
* Conhecimento em orquestração de trabalho com Airflow;
* Experiência em integração de dados em diferentes sistemas;
* Capacidade de trabalhar em equipe e colaborar com analistas de negócios.
A empresa oferece um ambiente de trabalho dinâmico e uma oportunidade para crescer e se desenvolver em sua carreira.