Buscamos um especialista em inteligência de dados para criar e manter pipelines de dados usando PySpark, com SQL como a linguagem de codificação principal.
Descrição do Cargo
A função consiste na transformação de dados em conjunto com o desenvolvimento de soluções personalizadas para atender às necessidades dos clientes. Desenvolver e manter pipelines de dados em lote utilizando PySpark (focado em SQL) é uma das responsabilidades principais.
Habilidades Específicas
* Escribir e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios;
* Entender os requisitos de forma autônoma e traduzir para código;
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS;
* Garantar a qualidade, a consistência e o desempenho dos dados em todo o pipeline.
Requisitos Técnicos e Experiência
Essa função se concentra na criação e manutenção de pipelines de dados usando o PySpark, com SQL como a linguagem de codificação principal. O candidato deve ter conhecimento sólido em desenvolvimento baseado em SQL e experiência prática em SQL – incluindo junções, agregações, funções de janela e ajuste de desempenho.
Benefícios
* Plano de Saúde subsidiado pela empresa para o titular;
* Opção de inclusão de dependentes no Plano de Saúde com desconto em folha de pagamento;
* Assistência Odontológica (opcional);
* Opção de inclusão de dependentes no Plano de Assistência Odontológica com desconto em folha de pagamento;
* Vale Refeição no cartão Flash Benefícios;
* Vale Transporte (opcional);
* POP - Programa de Orientação Pessoal que visa oferecer suporte emocional e aconselhamento com orientação confidencial nas áreas psicológica, jurídica, financeira, social e pet sem custo para titular e dependentes legais;
* Plataforma de Saúde Wellhub-Gympass (Acesso a mais de 700 academias em todo o Brasil com planos descontado em folha de pagamento).
Outros
Nosso compromisso com a diversidade é um elemento-chave da nossa cultura: Igualdade de oportunidades, respeito pelas pessoas e não discriminação são princípios de atuação para todos os profissionais. Integramos o Bloomberg Gender-Equality Index (GEI) 2021 em termos de diversidade e igualdade de gênero.