Atuação: Híbrido 2x na semana em SP - Shopping Cidade Jardim
Sobre a vaga
O Engenheiro de Dados Databricks será responsável por projetar, implementar e manter pipelines de dados escaláveis na plataforma Databricks.
Esta função envolve trabalhar de perto com cientistas de dados, analistas e outras partes interessadas para garantir a qualidade dos dados, otimizar o desempenho e habilitar análises avançadas.
Responsabilidades
Projetar e desenvolver processos ETL e pipelines de dados usando Databricks.
Colaborar com funcionais e analistas para entender os requisitos de dados e entregar soluções.
Otimizar e ajustar clusters Databricks para desempenho e eficiência de custos.
Implementar verificações de qualidade de dados e garantir a integridade dos dados.
Desenvolver e manter documentação para pipelines de dados e processos.
Monitorar e solucionar problemas de pipelines de dados e gargalos de desempenho.
Manter-se atualizado com as últimas tendências e melhores práticas em engenharia de dados e Databricks.
Qualificações
Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada.
Experiência comprovada como Engenheiro de Dados, com foco em Databricks e Spark.
Forte conhecimento em SQL e experiência com bancos de dados relacionais.
Proficiência em linguagens de programação como Python, Scala ou Java.
Experiência com plataformas em nuvem (por exemplo, AWS, Azure, Google Cloud) e seus serviços de dados.
Compreensão dos conceitos e arquitetura de data warehousing.
Excelentes habilidades de resolução de problemas e atenção aos detalhes.
Fortes habilidades de comunicação e capacidade de trabalhar de forma colaborativa em um ambiente de equipe.
Requisitos Técnicos
Experiência avançada com Databricks, incluindo criação e gerenciamento de notebooks, clusters, jobs e tarefas de automação.
Conhecimento aprofundado de Apache Spark, incluindo otimização e técnicas avançadas de performance.
Experiência com Databricks Delta Lake para otimização de armazenamento e gerenciamento de dados.
Conhecimento em segurança e governança de dados no Databricks, incluindo controle de acesso, auditoria e conformidade.
Habilidade em realizar troubleshooting avançado e resolução de problemas em ambientes Databricks.
?Diferenciais
Certificação Databricks é um diferencial.
Capacidade de implementar e gerenciar pipelines de dados contínuos usando Delta Live Tables
Experiência com Delta Lake e arquiteturas de data lakehouse.
Experiência com integração de Databricks com outras ferramentas de BI e análise, como Power BI, Tableau ou Looker.
Familiaridade com o uso de Databricks para machine learning e integração com bibliotecas como MLflow.
Familiaridade com Unity Catalog
Experiência em automação de deployment e integração contínua (CI/CD) no ambiente Databricks.
?Perfil Desejado
Comunicativo
Independente
Senso de Dono