Descrição do Cargo
O cargo de Engenheiro de Dados é uma oportunidade para trabalhar em projetos complexos, utilizando habilidades técnicas e práticas de engenharia de dados.
Responsabilidades:
1. Compreender e traduzir requisitos de negócio, funcionais e técnicos, implementando soluções nas plataformas de dados.
2. Projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados.
3. Integrar com Data Science para projetar e implementar soluções baseadas em dados e Machine Learning.
4. Desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados.
5. Implementar workflows de dados utilizando ferramentas como Apache Airflow.
6. APLICAR CONCEITOS DE CI/CD PARA PIPELINES DE DADOS, TESTES AUTOMATIZADOS EM ETLs, VERSIONAMENTO DE DADOS E MONITORAMENTO CONTÍNUO DA QUALIDADE E CONFIABILIDADE DOS DADOS.
7. Garantir boas práticas de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos.
Habilidades Requeridas
* Expertise em SQL: Domínio da linguagem SQL, incluindo melhores práticas, otimização de consultas e modelagem de dados eficiente.
* Bancos de dados: Experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), com foco em desempenho e escalabilidade.
* Programação e notebooks interativos: Experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
* Versionamento e colaboração: Conhecimento em sistemas de controle de versão, especialmente Git.
* Integração e APIs: Familiaridade com consumo e criação de APIs para manipulação e integração de dados.
* Processamento e análise de dados em larga escala: Conhecimento em Data Warehousing e tecnologias de Big Data para lidar com grandes volumes de dados.
* Documentação e suporte: Capacidade de criar e manter documentações claras e acessíveis.
* Gerenciamento de projetos: Experiência com organização e entregas de projetos de alta complexidade em engenharia de dados.
* Cloud Computing: Experiência com provedores de nuvem, com foco em Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub/Sub, Dataflow e Cloud Storage.
* Experiência com ferramentas de Data Science, incluindo bibliotecas e frameworks para modelagem e análise de dados.
* Familiaridade com sistemas ERP, especialmente TOTVS, em contextos de integração de dados corporativos.
* Infraestrutura como Código (IaC) e Automação: Conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.
* Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.