Desenvolvimento de Pipeline com Python
Como Engenheiro de Dados, você será responsável pelo desenvolvimento e operação de pipelines escaláveis baseados em Python. Isso inclui a otimização de consultas, partições, índices e armazenamento (Parquet/Delta).
Além disso, você deverá monitorar a saúde e o custo dos pipelines e documentar a arquitetura, fluxos e dicionário de dados.
Para isso, é necessário modelar os dados usando uma arquitetura medalhão, otimizando o custo e desempenho do pipeline.