Responsabilidades e atribuições
Compreender necessidades tecnológicas do negócio e propor soluções aderentes às melhores práticas de coleta, armazenamento, consumo e governança de dados;
Conduzir assessment técnico do ambiente de dados, incluindo análise da coleta, organização, tratamento e interpretação de datasets para suporte à tomada de decisão;
Definir e estruturar a arquitetura de uma plataforma de dados escalável e segura;
Projetar, desenvolver e gerenciar pipelines de dados batch e streaming utilizando Azure Data Factory e Azure Databricks;
Construir e otimizar fluxos de processamento de dados complexos com ferramentas de ETL/ELT;
Atuar de forma colaborativa com Analistas de Dados e áreas de Negócio, garantindo alinhamento entre requisitos técnicos e objetivos estratégicos;
Trabalhar diretamente com stakeholders para definição e evolução da estratégia de dados da organização;
Liderar e mentorar equipe de engenheiros de dados, promovendo boas práticas, qualidade técnica e governança;
Garantir comunicação clara, raciocínio analítico estruturado e postura ética no tratamento de dados sensíveis.
Requisitos e qualificações
Experiência com linguagem
SQL
para manipulação e otimização de consultas;
Conhecimento em PySpark e/ou Python para transformação e processamento de dados;
Sólido conhecimento em modelagem de dados;
Experiência com construção de processos de ETL e integração entre múltiplas fontes de dados;
Experiência sólida em arquitetura e engenharia de dados em ambiente Azure;
Domínio de Azure Data Factory para orquestração, ingestão e transformação de dados;
Experiência avançada com Azure Databricks para processamento distribuído de dados;
Vivência com práticas de governança, qualidade e segurança de dados;
Conhecimento em integração com bancos de dados relacionais e não relacionais;
Experiência com versionamento de código e boas práticas de CI/CD aplicadas a pipelines de dados.