Descrição do Cargo
Experiência desafiadora em uma equipe de engenharia de dados.
O que você fará:
* Compreender e traduzir requisitos: identificar e priorizar requisitos de negócio, funcionais e técnicos, convertendo-os em soluções nas plataformas de dados.
* Arquitetura e modelagem de dados: projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados com alta performance.
* Integração com ciência de dados: colaborar com o time de ciência de dados para desenvolver soluções baseadas em dados e aprendizado de máquina.
* Pipelines e processamento de dados: criar e otimizar pipelines de ingestão, processamento e transformação de dados para garantir qualidade, eficiência e governança.
* Orquestração de pipelines de dados: implementar e gerenciar fluxos de trabalho de dados utilizando ferramentas como Apache Airflow, garantindo a automação e escalabilidade dos processos de ingestão e processamento.
* Melhores práticas de dataops: aplicar conceitos de CI/CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados.
* Segurança e governança de dados: garantir práticas seguras de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos como LGPD e GDPR.
* Boas práticas e escalabilidade: atuar como referência técnica na implementação de soluções em nuvem, promovendo as melhores práticas de engenharia de dados, segurança, confiabilidade e escalabilidade.
Requisitos e Qualificações
* Expertise em SQL: domínio da linguagem SQL, incluindo melhorias de consultas e modelagem de dados eficiente.
* Bancos de dados: experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), com foco em desempenho e escalabilidade.
* Programação e notebooks interativos: conhecimento em Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
* Versionamento e colaboração: habilidades em sistemas de controle de versão, especialmente Git.
* Documentação e suporte: capacidade de criar e manter documentações claras e acessíveis para facilitar o uso dos recursos por outros usuários.
* Gerenciamento de projetos: experiência com organização e entregas de projetos de alta complexidade em engenharia de dados.
* Nuvem computing: experiência com provedores de nuvem, com foco em Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub/Sub, Dataflow e Cloud Storage.
* Experiência com ferramentas de ciência de dados, incluindo bibliotecas e frameworks para modelagem e análise de dados.
* Familiaridade com sistemas ERP, especialmente Totvs, em contextos de integração de dados corporativos.
* Infraestrutura como código (IaC) e automação: conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.
* Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.
Vantagens
* Desenvolvimento profissional em uma equipe de engenharia de dados.
* Aprendizado constante e compartilhamento de conhecimentos com colegas de equipe.
* Trabalhar em projetos de alta complexidade e contribuir para a inovação no setor.
Outros
* Uma oportunidade excepcional para crescer como profissional de engenharia de dados.
* Participar de reuniões periódicas para discutir estratégias e objetivos da equipe.