A Minsait procura um profissional especializado em dados para trabalhar em projetos desafiadores e contribuir para o desenvolvimento de data marts e conjuntos de dados.
Descrição do Cargo
Transforme o futuro com tecnologia. Nossa empresa acredita na inovação como força transformadora e geradora de impacto positivo. Desenvolvemos soluções que conectam eficiência, progresso e inovação em setores essenciais.
Aqui, você encontra um ambiente que valoriza a autonomia, a colaboração e o crescimento contínuo. Trabalhamos em projetos desafiadores e oferecemos oportunidades reais de desenvolvimento.
Nossos valores incluem inovação, conexão, confiança e antecipação de futuro.
Se você busca desafios com significado, é o seu lugar.
Detalhes do Cargo
* Desenvolver e manter pipelines de dados em lote usando o PySpark (focado em SQL)
* Escribir e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios
* Entender os requisitos de forma autônoma e traduzir para código
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial
* Colaborar com analistas de negócios para entender as necessidades de dados
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS
* Garantir a qualidade, a consistência e o desempenho dos dados em todo o pipeline
Requisitos Técnicos e de Experiência
Profissional experiente em desenvolvimento baseado em SQL, com ênfase na criação e manutenção de pipelines de dados usando o PySpark.
O candidato deve ter uma boa compreensão das estruturas de modelagem de dados e experiência no suporte a datawarehouses e data marts.
Qualificações Preferenciais
* Experiência na criação e gerenciamento de data marts
* Exposição ao Airflow ou outras ferramentas de orquestração
* Familiaridade com ferramentas de infraestrutura como código, como o Terraform
* Compreensão dos padrões ODS (Operational Data Store) e arquitetura de data lake
* Experiência com Bitbucket (ou qualquer ferramenta git semelhante)
* Experiência/compreensão de Jenkins
Habilidades Comportamentais e Competências
Fluência em inglês é um diferencial
Experiência comprovada em SQL – incluindo junções, agregações, funções de janela e ajuste de desempenho
Experiência prática com o PySpark, particularmente com o Spark SQL
Familiaridade com os serviços de dados da AWS (por exemplo, EMR, S3, Glue)
Compreensão de estruturas de modelagem de dados, incluindo a metodologia Kimball
Experiência de trabalho com Snowflake ou data warehouses em nuvem semelhantes
Conhecimento do Apache Iceberg ou formatos de tabela semelhantes (por exemplo, Delta Lake, Hudi)
Nível de Experiência Desejado
Pleno
Benefícios