Descrição do Ponto de Equilíbrio:
* Desenvolver pipelines escaláveis e robustos em Python.
* Modelar dados otimizando custo e performance, abordando complexidades emergentes.
* Otimizar consultas, partições, índices e armazenamento para garantir eficiência operacional.
* Monitorar saúde e custos dos pipelines, utilizando métricas chave.
Requisitos Básicos:
* Conhecimento avançado de SQL e habilidades em modelagem de dados.
* Domínio de Python, Spark, Deltalake e arquitetura distribuída.
* Desenvolvimento de pipelines automatizados com Airflow.
* Experiência em versionamento com GitHub e implementação de fluxos de CI/CD.
* Métodos ágeis e comunicação transparente e eficaz.
Habilidades Preferenciais:
* Conhecimentos avançados em Superset e ferramentas relacionadas.
* Domínio de tecnologias de Lakehouse e suas aplicações.
* Boas práticas em visualização de dados (Data Viz).
* Inglês técnico fluente.