Descrição do Cargo
O especialista em engenharia de dados será uma referência técnica para a equipe de Engenharia de Dados, liderando esforços para padronização de pipelines e criação de bibliotecas próprias. Desempenhará uma função-chave na gestão dos recursos utilizados para coleta, armazenamento, processamento e compartilhamento de dados.
Responsabilidades Principais
* Liderar a padronização de pipelines e criar bibliotecas personalizadas;
* Ser referência em dados, interagindo com as áreas que são fontes de dados para alinhar conceitos, integridade e governança;
* Atuar na gestão dos custos dos recursos utilizados para coleta, armazenamento, processamento e compartilhamento de dados;
* Trabalhar na migração de ambientes antigos para novas infraestruturas;
* Garantir qualidade, escalabilidade, observabilidade e manutenibilidade das plataformas de dados.
Requisitos Essenciais
* Boa capacidade de comunicação e trabalho em equipe;
* Proatividade e desejo de aprender;
* Orientação para resultados de negócios e capacidade de definir e executar prioridades de forma estratégica;
* Experiência com diferentes técnicas de arquitetura e modelagem de dados (ex: Data Lake, Data Warehouse, Data Mart, etc);
* Experiência em sistemas de dados distribuídos e processamento paralelo (Spark, Databricks, etc);
* Experiência em implementação, manutenção e orquestração de pipelines de dados, principalmente com Airflow;
* Familiaridade com Terraform;
* Experiência em desenvolvimento de APIs REST;
* Conhecimentos de segurança e governança de dados;
* Desenvolver projetos com entrega contínua;
* Desenvolver códigos limpos e eficientes utilizando linguagens como Python e SQL;