Overview
Join to apply for the Engenheiro de Dados Databricks Sênior role at Brivia.
Somos um ecossistema especializado na transformação de marcas, ajudando nossos clientes a superar desafios em transformação digital, tecnologia e marketing. Para isso, buscamos constantemente expandir nossas capacidades, contando com os melhores especialistas em diversas áreas. O Brivia_Group quer contar com o seu talento para fortalecer ainda mais nosso ecossistema de transformação digital.
Responsabilidades e atribuições
* Desenvolvimento de pipeline de dados: projete, desenvolva e mantenha pipelines de dados escalonáveis usando o Azure Databricks para processar e analisar grandes conjuntos de dados.
* Integração de dados: integre dados de várias fontes e garanta a qualidade e a consistência dos dados em todo o pipeline.
* Otimização de desempenho: optimize o processamento de dados e solucione problemas no ambiente do Databricks.
* Colaboração: Trabalhe em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender os requisitos de dados e fornecer soluções.
* Documentação: crie e mantenha a documentação para processos de dados, arquitetura e fluxos de trabalho.
* Segurança e conformidade: Garanta a segurança dos dados e a conformidade com os regulamentos e padrões relevantes.
* Monitoramento e manutenção: Implemente soluções de monitoramento para garantir a confiabilidade do pipeline de dados e realizar manutenção regular.
Requisitos e qualificações
Habilidades técnicas
* Proficiência no uso do Azure Databricks e do Spark para processamento de dados
* A compreensão da estrutura MDMF será uma vantagem adicional
* Experiência com SQL e gerenciamento de banco de dados
* Experiência com serviços de nuvem do Azure, incluindo Azure Data Lake, Banco de Dados SQL do Azure e Armazenamento de Blobs do Azure
* Capacidade de projetar e implementar modelos de dados complexos
* Fortes habilidades analíticas e de resolução de problemas
* Excelentes habilidades de comunicação em inglês para colaborar com equipes multifuncionais
* Apoie e interaja com diversas equipes em vários locais e fusos horários
* Interaja com uma equipe multifuncional para resolver problemas e reunir requisitos
* Deve ser capaz de rastrear incidentes, solicitações de serviço, solicitações de mudança para garantir que os SLAs
Informações adicionais
* Contratação no modelo PJ (CNPJ ativo necessário)
* Equipamento próprio
Junte-se a um ecossistema dinâmico e faça parte da revolução do mercado!
#J-18808-Ljbffr