Buscamos alguém com experiência em tecnologia e habilidades avançadas em Python, SQL e Azure para criar soluções eficientes na gestão de dados.
Função:
Como Engenheiro(a) de Dados, suas principais responsabilidades serão:
* Criar processos de ingestão de dados altamente eficientes para grandes volumes;
* Projetar e implementar estruturas de dados no Data Lake/Lakehouse, orientadas à governança e que atendam às necessidades estratégicas dos times de Analytics e Negócios;
* Desenvolver e manter processos de tratamento de dados, garantindo a qualidade e acessibilidade dos mesmos;
* Implementar ferramentas e práticas de monitoramento contínuo para garantir a disponibilidade e desempenho do Data Lake;
* Liderar a implantação e utilização do Catálogo Unity no Databricks para documentar e organizar ativos.
Habilidades e Qualificações:
Experiência avançada em:
* Data Lake, Data Warehouse e Lakehouse;
* Python (scripts, automações, ETL/ELT, PySpark, Pandas);
* SQL avançado (tuning de queries, modelagem, window functions);
* Ecossistema Azure, incluindo Data Factory, Databricks e Data Lake;
* Arquiteturas distribuídas e padrões de ingestão de dados;
* Catalogação, linhagem, qualidade e aplicação dos princípios de DataOps e DMBoK;
* DevOps/MLOps: Criação e manutenção de pipelines CI/CD com ferramentas como Github;
* Segurança da Informação: Conhecimento e aplicação da camada de segurança, criptografia, LGPD e mascaramento de dados.