Desenvolvedor de Dados Multicloud
Procuramos por um profissional experiente em projetar, implementar e manter pipelines e arquiteturas de dados em ambiente multicloud. A pessoa ideal deve ter habilidades avançadas em serviços de dados da AWS (S3, Redshift, EMR, Glue, Lambda, Athena) e da GCP (BigQuery, Dataflow, Pub/Sub, Dataproc). Além disso, é fundamental ter conhecimento em Python e experiência comprovada em Pyspark/Spark.
Responsabilidades:
* Projeto, implementação e manutenção de pipelines e arquiteturas de dados em ambiente multicloud;
* Desenvolvimento de integrações e processamentos de dados utilizando Pyspark e Spark;
* Orquestração de workflows de dados complexos com Apache Airflow;
* Criação, manutenção e evolução de pipelines de CI/CD (Jenkins, AWS CodePipeline, Google Cloud Build, etc.);
* Automatização de infraestrutura e recursos de dados com Terraform;
* Desenvolvimento, containerização e gerenciamento de aplicações de dados com Docker e orquestração em Kubernetes.
O candidato ideal deve ter:
Requisitos:
* 6+ anos de experiência em Engenharia de Dados;
* Forte atuação em nuvem (AWS e GCP);
* Experiência avançada em serviços de dados da AWS e da GCP;
* Proficiência avançada em Python e experiência comprovada em Pyspark/Spark;
* Experiência com Apache Airflow;
* Forte experiência em CI/CD;
* Sólido conhecimento em Docker e Kubernetes; Experiência prática com Terraform.
Se você tem paixão por tecnologia e inovação, goste de trabalhar em equipe e busca por desafios, é o momento certo de se juntar a nossa equipe!