Engenheiro de Dados - Construa Soluções Inovadoras
Buscamos um profissional experiente para trabalhar com nossos stakeholders principais, desenvolvendo soluções inovadoras que melhorem o desempenho da empresa.
Responsabilidades:
* Desenvolver e manter pipelines de dados em lote usando PySpark (focado em SQL);
* Escribir e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios;
* Entender os requisitos de forma autônoma e traduzir para código;
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial;
* Colaborar com analistas de negócios para entender as necessidades de dados;
* Monitore e gerenciar trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS;
* Garantir a qualidade, a consistência e o desempenho dos dados em todo o pipeline.
Requisitos Técnicos e de Experiência
Analista de Dados PL qualificado com uma base sólida em desenvolvimento baseado em SQL, experiência na criação e gerenciamento de data marts, exposição ao Airflow ou outras ferramentas de orquestração, familiaridade com ferramentas de infraestrutura como código, compreensão dos padrões ODS (Operacional Data Store) e arquitetura de data lake, experiência com Bitbucket (ou qualquer ferramenta git semelhante), experiência/compreensão de Jenkins, habilidades comportamentais e competências: fluência em inglês é um diferencial, experiência comprovada em SQL – incluindo junções, agregações, funções de janela e ajuste de desempenho, experiência prática com o PySpark, particularmente com o Spark SQL, familiaridade com os serviços de dados da AWS (por exemplo, EMR, S3, Glue), compreensão de estruturas de modelagem de dados, incluindo a metodologia Kimball, experiência de trabalho com Snowflake ou data warehouses em nuvem semelhantes, conhecimento do Apache Iceberg ou formatos de tabela semelhantes (por exemplo, Delta Lake, Hudi).