Desenvolver pipelines de dados em Spark
O candidato será responsável por desenvolver e manter pipelines de dados eficientes utilizando Spark, PySpark ou Scala no Databricks.
Responsabilidades do cargo
* Elaborar e manter pipelines de dados utilizando Spark, PySpark ou Scala no Databricks.
* Modelar, integrar e transformar dados complexos com o auxílio de SQL avançado.
* Criar e otimizar jobs em Spark para ingestão, limpeza, padronização e enriquecimento de dados provenientes de múltiplas fontes.
* Monitorear, documentar e otimizar a infraestrutura de dados para melhor desempenho.
Requisitos necessários
* Conhecimento de SQL e experiência prática com Databricks.
* Familiaridade com Power BI e Tableau.
* Proficiência em SQL e experiência prática com Databricks, Spark e Scala.
* Experiência na criação de dashboards com Power BI.
* Familiaridade com integração de jobs Spark para processos ETL.