Descrição do Cargo
O Engenheiro de Dados III (Sênior) desempenha um papel crucial no crescimento sustentável dos produtos analíticos da empresa, garantindo a confiabilidade, performance e governança dos dados.
É responsável por desenvolver e sustentar pipelines de dados robustos, escaláveis e seguros, atuando com foco em eficiência e qualidade na ingestão, transformação e disponibilização de dados.
Contribui para boas práticas de arquitetura, versionamento e FinOps, trabalhando em conjunto com outras áreas da empresa para garantir a integridade dos dados usados em produtos e análises.
Atua com autonomia para propor soluções e evoluções técnicas, mantendo-se atualizado sobre novas tecnologias e boas práticas.
Responsabilidades e Atribuições:
* Sustentar e evoluir o Data Lake, com foco em performance, segurança e escalabilidade.
* Construir e manter pipelines de ingestão e transformação de dados (ETL/ELT) utilizando ferramentas como Spark e Databricks.
* Trabalhar em conjunto com outras áreas da empresa para garantir a integridade dos dados usados em produtos e análises.
* Atuar com boas práticas de versionamento, CI/CD e deploy de pipelines em ambiente cloud.
* Participar ativamente da gestão de custos analíticos (FinOps), contribuindo para um ambiente eficiente e sustentável.
* Promover boas práticas de arquitetura de dados, governança e segurança.
Experiência:
* Mínimo de 4 anos de experiência com engenharia de dados em ambientes de produção.
* Vivência com arquiteturas modernas de dados (data lake, streaming, cloud).
* Experiência prática com ingestão, orquestração e versionamento de pipelines de dados.
Requisitos e Qualificações:
* Ensino superior completo em Ciência da Computação, Engenharia, Sistemas de Informação, Estatística ou áreas correlatas.
* Hard Skills:
o Spark, Databricks, Delta Lake
o SQL avançado
o Python para manipulação de dados
o Ferramentas de orquestração como Airflow
o Git, pipelines de CI/CD
o Noções de arquitetura de dados e segurança em cloud (preferencialmente Azure)
o Boas práticas de deploy e versionamento de dados
o Conceitos de FinOps e otimização de custo em cloud
Diferenciais:
* Desejável atuação prévia em empresas de tecnologia e/ou saúde e ambientes de dados em larga escala.