MISSÃO:
Oportunidade para atuar em uma equipe de dados e contribuir com o desenvolvimento de soluções escaláveis
ATIVIDADES PRINCIPAIS:
1. Requisitos e Soluções: Identificar e priorizar requisitos de negócio, funcionais e técnicos, traduzindo-os em soluções eficazes nas plataformas de dados.
2. Arquitetura de Dados: Projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados com alta performance.
3. Integração com Ciência de Dados: Trabalhar em parceria com a equipe de Ciência de Dados para projetar e implementar soluções baseadas em dados e Machine Learning.
4. Pipelines de Dados: Desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança.
5. Orquestração de Pipelines: Implementar e gerenciar workflows de dados utilizando ferramentas como Apache Airflow, garantindo a automação e escalabilidade dos processos de ingestão e processamento.
6. DataOps: Aplicar conceitos de CI/CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados.
7. Segurança e Governança: Garantir boas práticas de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos como LGPD e GDPR.
REQUISITOS E QUALIFICAÇÕES:
* SQL: Domínio da linguagem SQL, incluindo melhores práticas, otimização de consultas e modelagem de dados eficiente.
* Bancos de Dados: Experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), com foco em desempenho e escalabilidade.
* Programação e Análise de Dados: Experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
* Versionamento e Colaboração: Conhecimento em sistemas de controle de versão, especialmente Git.
* Integração e APIs: Familiaridade com consumo e criação de APIs para manipulação e integração de dados.
* Processamento e Análise de Dados em Larga Escala: Conhecimento em Data Warehousing e tecnologias de Big Data para lidar com grandes volumes de dados.
* Documentação e Suporte: Capacidade de criar e manter documentações claras e acessíveis para facilitar o uso dos recursos por outros usuários.
* Gerenciamento de Projetos: Experiência com organização e entregas de projetos de alta complexidade em engenharia de dados.
* Cloud Computing: Experiência com provedores de nuvem, com foco em Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub/Sub, Dataflow e Cloud Storage.
* Ferramentas de Ciência de Dados: Familiaridade com bibliotecas e frameworks para modelagem e análise de dados.
* Sistemas ERP: Conhecimento em sistemas ERP, especialmente TOTVS, em contextos de integração de dados corporativos.
* Infraestrutura como Código (IaC): Conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.