Descrição do Cargo
Buscamos profissionais talentosos para desempenhar um papel fundamental em nossa equipe de dados. O cargo envolve a responsabilidade de projetar, implementar e manter pipelines e arquiteturas de dados em ambiente multicloud.
Além disso, você desenvolverá integrações e processamentos de dados utilizando Pyspark e Spark, orquestrará workflows de dados complexos com Apache Airflow e criarão, manterão e evoluirão pipelines de CI/CD. Automatizará infraestrutura e recursos de dados com Terraform e desenvolverá, containerizará e gerenciará aplicações de dados com Docker e orquestração em Kubernetes.
Para tal, é necessário ter uma sólida formação em Engenharia de Dados, com experiência avançada em serviços de dados da AWS e GCP, além de proficiência avançada em Python e experiência comprovada em Pyspark/Spark e outros ferramentas relacionadas.
O nosso plano de carreira é dividido em 4 pilares:
- Carreira Técnica: Você pode seguir a trilha de crescimento técnico, se o seu objetivo for se desenvolver cada vez mais em diferentes tecnologias. Oferecemos diversos treinamentos e certificações.
- Carreira de Liderança: Você pode seguir a trilha e se tornar um líder, desenvolver pessoas, auxiliar na evolução profissional e pessoal e estimular o crescimento para o surgimento de novos talentos.
- Experiência Internacional: Estamos crescendo cada vez mais fora do Brasil e você tem possibilidade de atuar em projetos para outros países, ou diretamente nos países onde a empresa tem sede.
- Empreendedorismo: De funcionário para sócio, Temos o Innovation Hub, a Corporate Venture que investe em ideias de profissionais que tenham sinergia com nosso negócio.
Responsabilidades: Projetar, implementar e manter pipelines e arquiteturas de dados em ambiente multicloud (AWS, GCP e OCI), com foco em AWS e GCP. Desenvolver integrações e processamentos de dados utilizando Pyspark e Spark. Orquestrar workflows de dados complexos com Apache Airflow. Criar, manter e evoluir pipelines de CI/CD (Jenkins, AWS CodePipeline, Google Cloud Build, etc.). Automatizar infraestrutura e recursos de dados com Terraform. Desenvolver, containerizar e gerenciar aplicações de dados com Docker e orquestração em Kubernetes. Atuar ativamente na definição de arquitetura, padrões de desenvolvimento, governança e segurança dos dados.
Requisitos Obrigatórios:
* 6+ anos de experiência em Engenharia de Dados, com forte atuação em nuvem (AWS e GCP).
* Experiência avançada em serviços de dados da AWS (S3, Redshift, EMR, Glue, Lambda, Athena) e da GCP (BigQuery, Dataflow, Pub/Sub, Dataproc).
* Proficiência avançada em Python e experiência comprovada em Pyspark/Spark.
* Experiência com Apache Airflow (criação e manutenção de DAGs). Forte experiência em CI/CD (Jenkins, AWS CodePipeline, Google Cloud Build ou similares).
* Sólido conhecimento em Docker e Kubernetes. Experiência prática com Terraform para automação de infraestrutura.
* Vivência em projetos com Apache Kafka (integração de dados em tempo real).
* Certificações AWS e/ou GCP (Solution Architect, Data Engineer, Data Analytics, Database Specialty, etc.).