Desenvolver Pipelines de Dados
Papel: Desenvolver e manter pipelines de dados usando Spark, PySpark ou Scala no Databricks, garantindo automação e performance em processos ETL de grande volume.
Competências Requeridas:
* Desenvolvimento de pipelines de dados;
* Ferramentas como Spark, PySpark e Scala;
* Otimização de processos ETL.
Benefícios:
* Autoridade para tomar decisões técnicas;
* Incentivo à inovação;
* Educação contínua.
Observações: Criar e otimizar jobs em Spark para ingestão, limpeza, padronização e enriquecimento de dados provenientes de múltiplas fontes; Monitorar, documentar e otimizar a infraestrutura de dados, garantindo governança, escalabilidade, segurança e alto desempenho em ambientes de nuvem e plataformas como Databricks.