MISSÃO DO CARGO: Trabalhamos com uma oportunidade excepcional para um Engenheiro de Dados que deseja trabalhar em uma das maiores empresas de tecnologia do Brasil.
O QUE VOCÊ VAI FAZER:
Compreensão e tradução de requisitos: Identificar e priorizar requisitos de negócio, funcionais e técnicos, traduzindo-os em soluções nas plataformas de dados, utilizando as melhores práticas de engenharia de dados.
Arquitetura e modelagem de dados: Projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados com alta performance. Utilizando estruturas de dados distribuídas para atender às necessidades dos usuários.
Integração com Data Science: Trabalhar em parceria com o time de Data Science para projetar e implementar soluções baseadas em dados e Machine Learning, fornecendo insights relevantes aos tomadores de decisão.
Pipelines e processamento de dados: Desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança. Além disso, implementar fluxos de dados consistentes e escaláveis usando ferramentas como Apache Airflow.
Melhores Práticas de DataOps: Aplicar conceitos de CI/CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados. Garantindo a integridade e segurança dos dados ao longo do ciclo de vida.
BENEFÍCIOS:
Expertise em SQL: Domínio da linguagem SQL, incluindo melhores práticas, otimização de consultas e modelagem de dados eficiente.
Programação e notebooks interativos: Experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados. Utilizando bibliotecas como Pandas e NumPy para lidar com grandes conjuntos de dados.
Versionamento e colaboração: Conhecimento em sistemas de controle de versão, especialmente Git. Implementando fluxos de trabalho de desenvolvimento integrado para garantir a colaboração eficaz entre os times.
Processamento e análise de dados em larga escala: Conhecimento em Data Warehousing e tecnologias de Big Data para lidar com grandes volumes de dados. Ajustando os modelos de processamento de dados para atender às necessidades específicas dos clientes.
Documentação e suporte: Capacidade de criar e manter documentações claras e acessíveis para facilitar o uso dos recursos por outros usuários. Criando tutoriais detalhados sobre como utilizar as ferramentas de dados.