Descrição do Cargo:
A oportunidade de atuar como Engenheiro de Dados envolve desenvolver soluções de análise e processamento de grandes volumes de dados.
* Compreensão e tradução de requisitos: Identificar e priorizar requisitos de negócio, funcionais e técnicos, traduzindo-os em soluções nas plataformas de dados.
* Arquitetura e modelagem de dados: Projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados com alta performance.
* Integração com Data Science: Trabalhar em parceria com o time de Data Science para projetar e implementar soluções baseadas em dados e Machine Learning.
* Pipelines e processamento de dados: Desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança.
* Orquestração de Pipelines de Dados: Implementar e gerenciar workflows de dados utilizando ferramentas como Apache Airflow, garantindo a automação e escalabilidade dos processos de ingestão e processamento.
* Melhores Práticas de DataOps: Aplicar conceitos de CI/CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados.
* Segurança e Governança de Dados: Garantir boas práticas de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos como LGPD e GDPR.