Desenvolver soluções de dados inovadoras é um desafio fascinante. Nossa equipe busca profissionais apaixonados por tecnologia e negócios que possam ajudar a impulsionar o setor da construção civil.
O Papel
Como Engenheiro(a) de Dados, você será responsável por criar processos de ingestão de dados altamente eficientes, garantindo a integridade e conformidade dos dados. Além disso, projetará, implementará e otimizará estruturas de dados no Data Lake/Lakehouse, orientadas à governança e que atendam às necessidades estratégicas dos times de Analytics e Negócios.
Responsabilidades:
* Desenvolvimento de Pipelines Escaláveis: Criar e manter processos de ingestão de dados para grandes volumes, garantindo a integridade, conformidade e resiliência dos dados.
* Modelagem e Otimização: Projetar, implementar e otimizar estruturas de dados no Data Lake/Lakehouse, orientadas à governança e que atendam às necessidades estratégicas dos times de Analytics e Negócios.
* Qualidade e Governança: Desenvolver e manter processos de tratamento, aplicando frameworks avançados de validação e garantindo a qualidade e acessibilidade dos dados.
* Monitoramento e Suporte: Implementar ferramentas e práticas de monitoramento contínuo para garantir a disponibilidade, desempenho e conformidade do Data Lake, atuando de forma proativa na resolução de problemas.
* Liderança Técnica em Governança: Liderar a implantação e utilização do Catálogo Unity no Databricks para documentar e organizar ativos, assegurando o cumprimento das políticas de governança de dados.
Requisitos
Buscamos um profissional com as seguintes habilidades e experiências:
* Arquitetura de Dados: Conhecimento profundo e experiência prática na aplicação de Data Lake, Data Warehouse e Lakehouse.
* Linguagens e Frameworks: Proficiência em Python (scripts, automações, ETL/ELT, PySpark, Pandas) e SQL avançado (tuning de queries, modelagem, window functions).
* Nuvem Azure: Experiência avançada com o ecossistema Azure, incluindo Data Factory, Databricks e Data Lake.
* Engenharia Essencial: Sólida experiência em arquiteturas distribuídas e padrões de ingestão de dados (Batch, Streaming, CDC).
* Governança de Dados e DataOps: Experiência em catalogação, linhagem, qualidade e aplicação dos princípios de DataOps e DMBoK.
* DevOps/MLOps: Experiência na criação e manutenção de pipelines CI/CD com ferramentas como Github.
* Segurança da Informação: Conhecimento e aplicação da camada de segurança (criptografia, LGPD e mascaramento de dados).
Benefícios
A nossa equipe oferece:
* Opportuniades de crescimento e desenvolvimento profissional.
* Trabalho em equipe dinâmica e colaborativa.
* Flexibilidade e autonomia para realizar suas tarefas.