Mission do cargo:
Oportunidade de trabalhar como Engenheiro de Dados na maior empresa de tecnologia do Brasil.
* Compreensão e tradução de requisitos: Identificar e priorizar requisitos comerciais, funcionais e técnicos, traduzindo-os em soluções nas plataformas de dados, usando as melhores práticas de engenharia de dados.
* Arquitetura e modelagem de dados: Projetar e implementar arquiteturas escaláveis para armazenar, processar e tornar disponíveis grandes volumes de dados com alta performance.
* Integração com Ciência de Dados: Trabalhar junto com a equipe de Ciência de Dados para projetar e implementar soluções baseadas em dados e Aprendizado de Máquina.
* Pipelines e processamento de dados: Desenvolver e otimizar pipelines para ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança.
* Orquestração de Pipelines de Dados: Implementar e gerenciar fluxos de trabalho para dados utilizando ferramentas como o Apache Airflow, garantindo automação e escalabilidade dos processos de ingestão e processamento.
* Melhores Práticas de DataOps: Aplicar conceitos CI/CD nos pipelines de dados, testes automatizados nos ETLs, versões de dados e monitoramento contínuo da qualidade e confiabilidade dos dados.
* Segurança e Governança de Dados: Garantir boas práticas de proteção de dados, controle de acesso, auditoria e conformidade com regulamentações como LGPD e GDPR.
* Boas práticas e escalabilidade: Atuar como referência técnica na implementação de soluções baseadas na nuvem, promovendo as melhores práticas de engenharia de dados, segurança, confiabilidade e escalabilidade.
Conhecimentos e habilidades necessários:
* Excelência em SQL: Domínio do idioma SQL, incluindo as melhores práticas, otimização de consultas e modelagem de dados eficiente.
* Bancos de dados: Experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), focando em desempenho e escalabilidade.
* Programação e notebooks interativos: Experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
* Versionamento e colaboração: Conhecimento em sistemas de controle de versão, especialmente Git.
* Integração e APIs: Familiaridade com consumo e criação de APIs para manipulação e integração de dados.
* Processamento e análise de dados em larga escala: Conhecimento em tecnologias de armazenamento de dados e Big Data para lidar com grandes volumes de dados.
* Documentação e suporte: Habilidade em criar e manter documentação clara e acessível para facilitar o uso de recursos por outros usuários.
* Gerenciamento de projetos: Experiência com organização e entrega de projetos complexos em engenharia de dados.
* Nuvem Computing: Experiência com provedores de nuvem, focando no Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub/Sub, Dataflow e Cloud Storage.
* Experiência com ferramentas de Ciência de Dados, incluindo bibliotecas e frameworks para modelagem e análise de dados.
* Familiaridade com sistemas ERP, especialmente TOTVS, em contextos de integração de dados corporativos.
* Infraestrutura como Código (IaC) e Automação: Conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.
* Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.
Vantagens:
Oportunidade de trabalhar em uma equipe dinâmica e inovadora, contribuindo para o desenvolvimento de soluções de dados em larga escala. Participar de projetos interessantes e desafiadores, trabalhando com tecnologias avançadas e tendências em dados.