Desenvolvedor de Dados em Spark
A nossa equipe busca um profissional experiente para realizar a migração de rotinas SAS legadas para o novo ecossistema Data Mesh. Este é um oportunidade incrível para alguém que deseja trabalhar com tecnologias em constante evolução.
Responsabilidades Principais:
* Migrar rotinas SAS para o ecossistema Data Mesh;
* Analisar a malha batch existente via Control-M;
* Realizar a transpilação dos códigos SAS para Spark;
* Criar ambientes de origem e destino (buckets S3, schemas, conexões);
* Desenvolver Glue Jobs robustos;
* Executar processos em produção;
Habilidades e Requisitos:
* Sólido conhecimento em Python e Spark;
* Profundo conhecimento com AWS Glue, S3, Lambda, Step Functions e Athena, Redshift;
* Familiaridade com orquestração de tarefas com Control-M;
* Experiência com versionamento (Git/GitHub) e ambiente Linux;
* Conhecimento de Terraform para infraestrutura como código (IaC);
* Capacidade analítica para entender código legado;