Descrição do Cargo
Profissionais responsáveis pela criação de pipelines de transformação de dados atuarão diretamente nos requisitos de negócio, implementando jobs de transformação no Glue com PySpark.
* Desenvolverar jobs ETL no AWS Glue para transformação entre camadas utilizando PySpark;
* Implementar as camadas Bronze, Prata e Ouro no Amazon S3;
* Configurar Glue Crawlers e Data Catalog para as camadas Prata e Ouro;
* Realizar a orquestração de processos com Step Functions e EventBridge;
* Configurar Kinesis Data Streams e Kinesis Firehose para ingestão em tempo real;
* Criar e otimizar consultas analíticas com Amazon Athena;
* Executar testes de performance e validação de formatos de dados para integração com aplicações;
* Automatizar infraestrutura e deploy utilizando GitHub e Terraform;
Requisitos
* Desejável experiência em criação de dashboards no Amazon QuickSight;