Missão
* Assegurar a estabilidade, escalabilidade e governança das plataformas (AWS + GCP)
* Liderar a evolução da arquitetura e apoiar o time na construção de uma operação previsível, automatizada e de alta qualidade.
O que é preciso para fazer parte do time?
* Domínio em arquitetura e engenharia de dados, incluindo:
o Airflow
o Airbyte
o Spark/PySpark
o EMR
o EKS/Kubernetes
o S3/Lake
o Redshift
o BigQuery
o DataFlow
* Experiência com pipelines de dados de alta criticidade, com foco em modularização, automação e confiabilidade.
* Forte conhecimento em boas práticas de versionamento e desenvolvimento: Git, ambientes DEV/STG/PRD, CI/CD, testes e Data Quality.
* Vivência em governança de Data Lakes e Data Warehouses, garantindo reutilização de camadas e evitando duplicidades.
* Capacidade de traduzir regras de negócio complexas em soluções técnicas claras, robustas e escaláveis.
* Experiência atuando como referência técnica, incluindo mentoria e apoio a times de engenharia.
* Ingestão e Orquestração: Airflow, Airbyte, Lambdas, DataFlow, Scheduled Queries.
* Processamento Distribuído: PySpark (forte), Spark SQL, EMR, Dataproc, DLT (desejável).
* Nuvem: AWS (EKS, EMR, Lambda, S3, Redshift), GCP (BigQuery, DataFlow, Composer).
* Infraestrutura como Código & DevOps: Terraform, Docker, Kubernetes, CI/CD.
* Qualidade de Dados & Linhagem: Great Expectations, DataHub ou similares.
* Governança & Segurança: IAM, VPN, segregação de ambientes.
Benefícios
* Oportunidade de trabalhar em projetos desafiadores e inovadores.
* Desenvolvimento profissional contínuo.
* Ambiente de trabalho colaborativo e dinâmico.