Desenvolver pipelines de dados em lote usando PySpark (focado em SQL) é uma das nossas prioridades.
O candidato deve escrever e otimizar consultas SQL complexas para suportar a lógica de negócios e as necessidades de relatórios.
É responsabilidade do profissional entender os requisitos autonomamente e traduzir para código, transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake.
Além disso, o profissional contribuirá para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial, trabalhará em equipe com analistas de negócios e monitore e gerencie trabalhos de dados em execução no AWS EMR ou questrados pelo Airflow.
Para isso, o profissional precisará ter habilidades sólidas em Python e SQL, além de conhecimento em técnicas de engenharia de dados. O profissional também precisará ser capaz de trabalhar em ambientes de dados escaláveis, como o AWS EMR.
Ao longo do processo, o profissional também precisará desenvolver habilidades em ciência de dados, incluindo machine learning e visão computacional.