Descrição do Cargo
Responsável por desenvolver e manter pipelines de dados em lote com foco em PySpark e SQL. Será necessário escrever e otimizar consultas SQL complexas para atender às necessidades de relatórios e lógica de negócios.
* Desenvolver e manter pipelines de dados em lote;
* Escrever e otimizar consultas SQL complexas;
* Entender os requisitos de forma autônoma e traduzir para código;
* Transformar e integrar dados de diversas fontes;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow.