Transformar o futuro com tecnologia e inovação é um desafio exequível. Desenvolver soluções de dados para conectar empresas e pessoas, promover a eficiência e o progresso em diferentes setores.
Aqui, você encontra um ambiente que valoriza a autonomia, a colaboração e o crescimento contínuo. Trabalhar com projetos desafiadores e oportunidades reais de desenvolvimento são requisitos fundamentais para essa função.
Nossas soluções são baseadas na responsabilidade, diversidade e inovação. Desenvolver pipelines de dados, entender os requisitos autônoma e traduzir para código também é importante nesse cargo.
Detalhes do Cargo:
* Pipeline de Dados: Desenvolver pipelines de dados em lote usando o PySpark (focado em SQL).
* Consultas SQL Complexas: Escrever e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios.
* Entendimento dos Requisitos: Entender os requisitos de forma autônoma e traduzir para código.
* Integração de Dados: Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake.
* Data Mart: Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial.
* Trabalho em Equipe: Colaborar com analistas de negócios para entender as necessidades de dados.
* Gerenciamento de Trabalhos: Montreiar e gerenciar trabalhos de dados em execução no AWS EMR orquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS.
Habilidades Técnicas e Experiência:
* Análise de Dados PL qualificado com uma base sólida em desenvolvimento baseado em SQL.
* Familiaridade com estruturas de modelagem de dados (como modelagem dimensional Kimball) e experiência no suporte a datawarehouses e data marts.
Habilidades Comportamentais e Competências:
* Fluência em inglês é um diferencial.
* Experiência prática com o PySpark, particularmente com o Spark SQL.
* Familiaridade com os serviços de dados da AWS (por exemplo, EMR, S3, Glue).
* Compreensão de estruturas de modelagem de dados, incluindo a metodologia Kimball.
* Experiência de trabalho com Snowflake ou data warehouses em nuvem semelhantes.
* Conhecimento do Apache Iceberg ou formatos de tabela semelhantes (por exemplo, Delta Lake, Hudi).