Engenheiro de Dados
A missão deste cargo é oportunidade para atuar como engenheiro de dados em uma empresa líder em tecnologia.
* Compreensão e tradução de requisitos: identificar e priorizar requisitos de negócio, funcionais e técnicos, traduzindo-os em soluções nas plataformas de dados, utilizando as melhores práticas de engenharia de dados.
* A arquitetura e modelagem de dados: projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados com alta performance.
* A integração com Data Science: trabalhar em parceria com o time de Data Science para projetar e implementar soluções baseadas em dados e Machine Learning.
* Pipelines e processamento de dados: desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança.
* Orquestração de pipelines de dados: implementar e gerenciar workflows de dados utilizando ferramentas como Apache Airflow, garantindo a automação e escalabilidade dos processos de ingestão e processamento.
* Melhores práticas de DataOps: aplicar conceitos de CI/CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados.
* Segurança e Governança de Dados: garantir boas práticas de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos como LGPD e GDPR.
* Boas práticas e Escalabilidade: atuar como referência técnica na implementação de soluções em nuvem, promovendo as melhores práticas de Engenharia de Dados, Segurança, Confiabilidade e Escalabilidade.
Para este cargo, esperamos encontrar alguém que tenha:
1. Experiência em SQL: domínio da linguagem SQL, incluindo melhores práticas, otimização de consultas e modelagem de dados eficiente.
2. Bancos de Dados: experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), com foco em desempenho e escalabilidade.
3. Programação e Notebooks Interativos: experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
4. Versionamento e Colaboração: conhecimento em sistemas de controle de versão, especialmente Git.
5. Integração e APIs: familiaridade com consumo e criação de APIs para manipulação e integração de dados.
6. Processamento e Análise de Dados em Larga Escala: conhecimento em Data Warehousing e tecnologias de Big Data para lidar com grandes volumes de dados.
7. Documentação e Suporte: capacidade de criar e manter documentações claras e acessíveis para facilitar o uso dos recursos por outros usuários.
8. Gerenciamento de Projetos: experiência com organização e entregas de projetos de alta complexidade em Engenharia de Dados.
9. Cloud Computing: experiência com provedores de nuvem, com foco em Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub/Sub, Dataflow e Cloud Storage.
10. Experiência com Ferramentas de Data Science, incluindo bibliotecas e frameworks para modelagem e análise de dados.
11. Familiaridade com Sistemas ERP, especialmente Totvs, em contextos de integração de dados corporativos.
12. Infraestrutura como Código (IaC) e Automação: conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.
13. Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.