Trabalho como engenheiro de dados
* Desenvolva e mantenha pipelines de dados em lote usando PySpark (focado em SQL)
* Escrita e otimização de consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios
* Entenda os requisitos de forma autônoma e traduzir para código
* Transforme e integre dados de diversas fontes em tabelas Iceberg e Snowflake
* Colabore com analistas de negócios para entender as necessidades de dados
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ou orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS
* Garanta a qualidade, a consistência e o desempenho dos dados em todo o pipeline
O que você precisa saber:
* Experiência em desenvolvimento de pipelines de dados
* Conhecimento em linguagem Python e ferramentas Spark
* Habilidades em resolução de problemas e análise de dados
Vantagens do trabalho:
* Acesso a tecnologias inovadoras
* Oportunidade de colaboração com equipe multidisciplinar
* Crescimento profissional e oportunidades de carreira
Mais informações:
* Tecnologia utilizada: AWS, PySpark, SQL, Airflow
* Serviços utilizados: S3, Glue
* Linguagem de programação: Python