PowerOfData | Engenheiro de Dados Júnior
1 posição
Buscamos um Engenheiro de Dados para atuar na construção de pipelines de dados, tanto para ingestão de novos dados quanto para construção das camadas do DataLake e na construção de books de variáveis/features store. As atividades serão O profissional atuará em projetos estratégicos com clientes de grande porte, com atuação no formato de alocação dentro do cliente.
Responsabilidades
Construir e manter pipelines de dados distribuídos usando Spark (Python ou Scala / PySpark).
Gerir ingestão de dados e construção de camadas do DataLake.
Desenvolver e migrar books de variáveis/features store.
Automatizar pipelines com Airflow e scripts shell.
Otimizar e debugar jobs distribuídos atuando na migração de sistemas.
Contribuir na definição e melhoria de padrões técnicos para o time.
Comunicar clara e eficazmente com equipes de arquitetura, dados e infraestrutura.
Propor soluções criativas e eficientes para resolução de problemas.
Competências Técnicas
Spark (Python ou Scala) e PySpark.
Airflow (orquestração).
Ambientes AWS, em particular EMR e S3.
Arquitetura de dados em nuvem (AWS, OCI ou GCP).
Versionamento com Git e fluxo GitFlow.
Escrita de código limpo, seguro e testável.
Qualificações
Graduação em graduação (qualquer área).
Experiência em construção de pipelines distribuídos.
Vivência prática em ambientes AWS.
Sólida experiência com orquestração de pipelines.
Capacidade de analisar e otimizar pipelines existentes durante migração.
Boa capacidade de comunicação e proatividade.
#J-18808-Ljbffr