Descrição do Cargo
O Engenheiro de Dados Sênior atuará na automação e otimização de pipelines de dados com Spark, PySpark ou Scala no Databricks, garantindo alto desempenho e qualidade nos processos ETL.
Tarefas
* Desenvolver e manter pipelines de dados usando Spark, PySpark ou Scala no Databricks, garantindo automação e performance em processos ETL de grande volume;
* Modelar, integrar e transformar dados complexos utilizando SQL avançado, assegurando qualidade e disponibilidade para áreas de negócio e analytics;
* Criar e otimizar jobs em Spark para ingestão, limpeza, padronização e enriquecimento de dados provenientes de múltiplas fontes;
* Monitorar, documentar e otimizar a infraestrutura de dados, garantindo governança, escalabilidade, segurança e alto desempenho em ambientes de nuvem e plataformas como Databricks.
Requisitos
* Conhecimento de SQL e experiência com Databricks;
* Familiaridade com Power BI e Tableau;
* Proficiência em SQL e experiência prática com Databricks, Spark e Scala;
* Experiência na criação de dashboards com Power BI;
* Familiaridade com integração de jobs Spark para processos ETL;
* Habilidades avançadas em SQL para manipulação e integração complexa de dados;
* Expertise em Databricks, Spark, Scala e PySpark para engenharia de dados em larga escala;
* Experiência em Azure;
* Experiência em mensageria (Kafka, Service Bus).
Formação
* Bacharelado em Ciência de Dados, Ciência da Computação ou área relacionada;
* Experiência em engenharia de dados ou funções relacionadas;
* Experiência no setor financeiro/adquirência.