Missão e Objetivos:
* Garantir estabilidade, escalabilidade e governança das plataformas.
* Liderar a evolução da arquitetura e apoiar o time na construção de uma operação previsível, automatizada e de alta qualidade.
Requisitos e Qualificações:
* Domínio em arquitetura e engenharia de dados, incluindo Airflow, Airbyte, Spark/PySpark, EMR, EKS/Kubernetes, S3/Lake, Redshift, BigQuery e DataFlow.
* Experiência com pipelines de dados de alta criticidade, com foco em modularização, automação e confiabilidade.
* Forte conhecimento em boas práticas de versionamento e desenvolvimento: Git, ambientes DEV/STG/PRD, CI/CD, testes e Data Quality.
* Vivência em governança de Data Lakes e Data Warehouses, garantindo reutilização de camadas e evitando duplicidades.
* Capacidade de traduzir regras de negócio complexas em soluções técnicas claras, robustas e escaláveis.
* Experiência atuando como referência técnica, incluindo mentoria e apoio a times de engenharia.
* Ingestão e Orquestração: Airflow, Airbyte, Lambdas, DataFlow, Scheduled Queries.
* Processamento Distribuído: PySpark (forte), Spark SQL, EMR, Dataproc, DLT (desejável).
* Cloud: AWS (EKS, EMR, Lambda, S3, Redshift), GCP (BigQuery, DataFlow, Composer).
* Infra as Code & DevOps: Terraform, Docker, Kubernetes, CI/CD.
* Data Quality & Linhagem: Great Expectations, DataHub ou similares.
* Governança & Segurança: IAM, VPN, segregação de ambientes.