Descrição do Cargo
Atualmente, estamos procurando por um profissional especializado em desenvolvimento de pipelines de dados que possa criar soluções escaláveis e otimizadas para nossos negócios.
O ideal é alguém com experiência em SQL e PySpark, capaz de desenvolver consultas complexas e transformar dados de diversas fontes em tabelas Iceberg e Snowflake.
Além disso, o candidato deve ser capaz de colaborar com analistas de negócios para entender as necessidades de dados e contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial.
Ao mesmo tempo, é fundamental garantir a qualidade, a consistência e o desempenho dos dados em todo o pipeline.
Se você tem habilidade para gerenciar trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS, então está na hora de se inscrever!
* Desenvolver e manter pipelines de dados em lote utilizando PySpark (focado em SQL)
* Escrever e otimizar consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios
* Entender os requisitos de forma autônoma e traduzir para código
* Transformar e integrar dados de diversas fontes em tabelas Iceberg e Snowflake
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados para consumo comercial
* Colaborar com analistas de negócios para entender as necessidades de dados
* Monitore e gerencie trabalhos de dados em execução no AWS EMR ouquestrados pelo Airflow, aproveitando o S3, o Glue e outros serviços da AWS
Comece agora sua jornada como Engenheiro de Dados e faça parte de uma equipe que valoriza inovação e excelência!
Benefícios:
* Oportunidade de trabalhar em projetos interessantes e desafiadores
* Ambiente de trabalho dinâmico e colaborativo
* Acesso a ferramentas e tecnologias de ponta
* Oportunidade de crescimento profissional e pessoal
Sobre Nós:
Nossa empresa é uma liderança em inovação e tecnologia, sempre procurando por profissionais talentosos para fortalecer nossa equipe.
Faça parte da nossa equipe e junte-se a nós na missão de criar soluções inovadoras e eficazes para nossos clientes!