Descrição do Cargo:
A missão é desenvolver soluções que conectam inovação e eficiência nos setores essenciais.
Responsabilidades:
1. Desenvolver pipelines de dados em lote usando PySpark (focado em SQL).
2. Escribir consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios.
3. Traduzir requisitos em código.
4. Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake.
5. Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial.
6. Colaborar com analistas de negócios para entender as necessidades de dados.
7. Monitore trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3 e outros serviços da AWS.
Requisitos Técnicos e de Experiência:
* Familiaridade com desenvolvimento baseado em SQL.
* Experiência na criação de data marts.
* Conhecimento das ferramentas de infraestrutura como código, como o Terraform.