Transformação de Dados em Escala com AWS
O nosso cliente está à procura de um Profissional Engenheiro(a) de Dados para trabalhar no desenvolvimento de pipelines de transformação de dados na nuvem com a tecnologia AWS.
Nesta posição, você terá a oportunidade de trabalhar em projetos desafiadores e contribuir para o crescimento da nossa empresa.
Funções:
* Desenvolver pipelines ETL para transformação entre camadas utilizando PySpark;
* Implementar camadas de armazenamento nos sistemas Amazon S3;
* Configurar Glue Crawlers e Data Catalog para as camadas de armazenamento;
* Realizar orquestração de processos com Step Functions e EventBridge;
* Criar e otimizar consultas analíticas com Amazon Athena;
* Executar testes de performance e validação de formatos de dados para integração com aplicações;
* Automatizar infraestrutura e deploy utilizando GitHub e Terraform.
Competências necessárias:
* Experiência com PySpark e AWS Glue;
Vantagens:
Outras informações:
Ocupante deve ter conhecimento avançado em Python e experiência em desenvolvimento de software. Além disso, é importante ter boas habilidades de comunicação e trabalho em equipe.