Área dedicada a transformar ideias em soluções robustas e escaláveis. Combinando governança, automação inteligente e tecnologias avançadas.
Desenvolvimento de Componentes de Ingestão e Transformação: usando ferramentas como Spark, Flink, Kafka, Kudu, Iceberg, Helix.
Lider técnico do time que atenderá as construções de atividades voltadas a componentes e COE. Responsável pelo apoio ao time, como também construção e evolução da arquitetura e esteiras já existentes na áreas, gerando maior eficiência e atendimento aos requisitos necessários de evolução.Suporte a times analíticos e científicos: fornecendo dados confiáveis e bem documentados para machine learning, BI e exploração. cria componentes reutilizáveis, garantindo segurança e idempotência, e impulsiona a acessibilidade dos dados por meio de um portal intuitivo
Experiência sólida em engenharia de dados e liderança técnica: arquitetura e evolução de pipelines e plataformas;
componentes reutilizáveis com segurança, idempotência e boas práticas de governança;
apoio a times de BIe ciência de dados com dados confiáveis e documentados;
CI/CD e automação;
padronização e COE;
desejável experiência com portal/catalogação de dados e otimização de custo em nuvem.
Spark + SQL + Iceberg ou Delta + orquestração + Git + nuvem (S3/GCS) + governança (Ranger ou UC ou BQ/IAM em profundidade).
Desejável: CDP (CDE/DW) e Databricks ou GCP (BigQuery + Composer + Dataproc), Terraform, dbt, portal/catalog (Atlas/Dataplex/UC).
Spark + SQL + Iceberg ou Delta + orquestração + Git + nuvem (S3/GCS) + governança (Ranger ou UC ou BQ/IAM em profundidade).
Engenharia da Computação, Ciencia da Computação, Engenharia de Software, ou similares