Buscamos profissionais motivados para se desafiar em um ambiente que valoriza autonomia e crescimento contínuo. Aqui, você encontrará projetos complexos e oportunidades reais de desenvolvimento.
Responsabilidades:
* Desenvolver e manter pipelines de dados em lote usando o PySpark (focado em SQL).
* Escribir e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios.
* Entender os requisitos de forma autônoma e traduzir para código.
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake.
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial.
* Colaborar com analistas de negócios para entender as necessidades de dados.
* Monitorar e gerenciar trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS.
* Garantir a qualidade, a consistência e o desempenho dos dados em todo o pipeline.
Habilidades e qualificações:
* Experiência em desenvolvimento de pipelines de dados em lote.
* Conhecimento em PySpark e SQL.
* Habilidades em análise de dados e visão geral dos processos de negócios.
Vantagens:
* Ambiente dinâmico e desafiador.
* Oportunidades reais de crescimento e desenvolvimento.
* Acessibilidade a tecnologias avançadas da AWS.
Ouvidos atentos:
* Candidate deve ter experiência em desenvolvimento de pipelines de dados em lote e conhecimento em PySpark e SQL.
* Ao fazer parte desta equipe, você estará contribuindo para o desenvolvimento de soluções inovadoras e ajudando a impulsionar a evolução da empresa.