Desenvolvimento de Pipelines de Dados
O cargo de Analista de Dados envolve desenvolver pipelines de dados em lote com PySpark.
A criação e manutenção desses pipelines é essencial para coletar, transformar e armazenar dados precisos e atualizados. O candidato deverá possuir conhecimento avançado em SQL e habilidades em modelagem de dados.
Entre as responsabilidades do cargo estão:
* Escribir consultas SQL complexas para atender às necessidades de relatórios;
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerencie trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow.