Descrição do Papel
O profissional atraído por esta posição trabalhará em equipe para desenvolver e melhorar o ecossistema de dados, utilizando tecnologias como DeltaLake/Spark/Superset, governança, qualidade e performance.
Responsabilidades Principais
* Desenvolver pipelines escaláveis em Python para transformar e armazenar dados de forma eficiente.
* Modelar os dados com uma abordagem arquitetural robusta, otimizando custo e desempenho.
* Aprimorar consultas, partições, índices e armazenamento (Parquet/Delta) para garantir acesso rápido aos dados.
* Monitore a saúde e custos dos pipelines e documente as configurações, fluxos e definição de dados.
Habilidades Exigidas
* Nível avançado em SQL e modelagem de dados.
* Tecnologias específicas: Python, Spark, Deltalake e Arquitetura Medalhão.
* Desenvolvimento de pipelines em Python e Airflow.
* Manuseio de repositórios Git e implantação contínua/descontinuação.
* Métodos ágeis e comunicação clara entre públicos técnicos e de negócios.