Localização: São Paulo / SP
Tipo Vaga: Home Office (1x por mês presencial)
Contratação: PJ
Tempo Integral
📍 Sobre a MOL
Somos a MOL – Mediação Online, referência em soluções digitais para resolução de conflitos. Nossas plataformas conectam empresas e consumidores de forma eficiente, escalável e com foco na experiência do usuário. Estamos em constante transformação e buscamos profissionais que queiram construir tecnologia com impacto social e escalabilidade real.
🎯 Objetivo da Vaga
Estamos estruturando uma nova arquitetura de dados na MOL e buscamos um Engenheiro de Dados Sênior com experiência comprovada na configuração e governança do Azure Databricks, incluindo:
* Criação e configuração de workspaces Databricks em Azure
* Integração com Unity Catalog e gerenciamento de permissões
* Configuração de clusters, pools, jobs, tokens, service principals
* Integração Databricks ↔ Azure Data Lake Storage (ADLS)
* Configuração de metastore, tables, schemas e catalogação
* Suporte a governança e conformidade (ISO 27001, RBAC, ACLs etc.)
O desafio envolve participar desde o desenho da arquitetura até a implementação completa de um ecossistema moderno, escalável e governado, que dará suporte às áreas de negócio, produtos, BI e iniciativas de Inteligência Artificial.
🔧 Responsabilidades
O profissional atuará ao lado do time de tecnologia e das áreas de negócio, transformando dados em informação confiável e criando padrões sólidos de ingestão, modelagem e qualidade.
Além disso, será responsável por:
* Configurar e administrar o ambiente Databricks dentro da Azure
* Criar e estruturar o Unity Catalog, incluindo metastore, schemas e policies
* Implementar RBAC/ACLs e garantir governança sobre dados sensíveis
* Configurar integrações seguras com ADLS, Key Vault, AAD e redes
* Definir padrões técnicos de arquitetura em Lakehouse
* Criar pipelines de ingestão, transformação e orquestração
* Apoiar decisões de arquitetura de dados de toda a empresa
* Garantir boas práticas de performance, escalabilidade e custo (FinOps)
🛠 Tecnologias e Ferramentas do Stack Databricks (configuração e operação) — Obrigatório saber configurar
* Criação e manutenção de workspaces
* Unity Catalog (metastore, schemas, políticas de acesso)
* Integração com ADLS / Key Vault / AAD
* Configuração de clusters, pools, jobs e permissions
* Spark, PySpark, SQL, Delta Lake, Autoloader
* Streaming e batch
* Notebooks e Jobs
Amazenamento e Arquitetura
* Azure Data Lake Storage Gen2 (Bronze / Silver / Gold / Feature AI)
* Delta Lake
* Azure Blob Storage
Ingestão e Orquestração
* Azure Data Factory
* Azure Functions
* Azure Event Hub
* Azure Service Bus
* Databricks Jobs
Processamento de Dados
* Databricks (batch e streaming)
* Spark Structured Streaming
Data Warehouse
* Delta Lake (Gold)
* Azure Synapse Analytics (Dedicated SQL Pool, quando necessário)
BI e Consumo
* Power BI
* Dataflows
* Direct Lake / Direct Query
Linguagens
* Python
* SQL avançado
* PySpark