Sobre a Vaga:
A Minsait é uma empresa que acredita na tecnologia como força para transformar realidades e gerar impacto positivo. Desenvolvemos soluções que conectam inovação, eficiência e progresso em setores essenciais.
Desafio:
Trabalhar com dados é um desafio constante. Você precisará desenvolver pipelines de dados em lote usando o PySpark, escrever e otimizar consultas SQL complexas, entender os requisitos de forma autônoma e traduzi-los para código, transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake, contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial, colaborar com analistas de negócios para entender as necessidades de dados, monitore e gerencie trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS, garantir a qualidade, a consistência e o desempenho dos dados em todo o pipeline.
Requisitos Técnicos e de Experiência:
* Analista de Dados PL qualificado com base sólida em desenvolvimento baseado em SQL;
* Responsável pela criação e manutenção de pipelines de dados usando o PySpark;
* Experiência na criação e gerenciamento de data marts;
* Exposição ao Airflow ou outras ferramentas de orquestração;
* Familiaridade com ferramentas de infraestrutura como código, como o Terraform;
* Compreensão dos padrões ODS (Operacional Data Store) e arquitetura de data lake;
* Experiência com Bitbucket (ou qualquer ferramenta git semelhante);
* Experiência/compreensão de Jenkins;
* Fluência em inglês;
* Experiência comprovada em SQL, incluindo junções, agregações, funções de janela e ajuste de desempenho;
* Experiência prática com o PySpark, particularmente com o Spark SQL;
* Familiaridade com os serviços de dados da AWS;
* Compreensão de estruturas de modelagem de dados, incluindo a metodologia Kimball;
* Experiência de trabalho com Snowflake ou data warehouses em nuvem semelhantes;
* Conhecimento do Apache Iceberg ou formatos de tabela semelhantes;
* Nível de experiência desejado: Pleno.