Missão
Atuar como Engenheiro de Dados
O que você vai fazer:
* Compreender e traduzir requisitos: Identificar priorizar requisitos funcionais técnicos, traduzindo-os em soluções nas plataformas de dados.
* Arquitetura modelagem de dados: Projetar implementar arquiteturas escaláveis para armazenar processar disponibilizar grandes volumes de dados com alta performance.
* Integração com Data Science: Trabalhar em parceria com o time de Data Science para projetar implementar soluções baseadas em dados e Machine Learning.
* Pipelines processamento de dados: Desenvolver otimizar pipelines de ingestão processamento transformação de dados, garantindo qualidade eficiência governança.
* Orquestração de Pipelines de Dados: Implementar gerenciar workflows de dados utilizando ferramentas como Apache Airflow, garantindo automação escalabilidade dos processos de ingestão processamento.
* Melhores Práticas de DataOps: Aplicar conceitos de CI/CD para pipelines de dados testes automatizados em ETLs versionamento de dados monitoramento contínuo da qualidade confiabilidade dos dados.
* Segurança Governança de Dados: Garantir boas práticas de proteção de dados controle de acessos auditoria conformidade com regulamentos.
* Boas práticas escalabilidade: Atuar como referência técnica na implementação de soluções em nuvem, promovendo as melhores práticas de engenharia de dados segurança confiabilidade escalabilidade.
Expectativas
* Expertise em SQL: Domínio da linguagem SQL incluindo melhores práticas otimização de consultas modelagem de dados eficiente.
* Bancos de dados: Experiência com bancos de dados relacionais SQL não relacionais NoSQL, com foco em desempenho escalabilidade.
* Programação notebooks interativos: Experiência com Python Jupyter Notebooks para análise processamento manipulação de dados.
* Versionamento colaboração: Conhecimento em sistemas de controle de versão especialmente Git.
* Integração APIs: Familiaridade com consumo criação de APIs para manipulação integração de dados.
* Processamento análise de dados em larga escala: Conhecimento em Data Warehousing tecnologias de Big Data para lidar com grandes volumes de dados.
* Documentação suporte: Capacidade de criar manter documentações claras acessíveis para facilitar o uso dos recursos por outros usuários.
* Gerenciamento de projetos: Experiência com organização entregas de projetos de alta complexidade em engenharia de dados.
* Cloud Computing: Experiência com provedores de nuvem, com foco em Google Cloud Platform GCP serviços como Cloud Functions BigQuery Pub/Sub Dataflow Cloud Storage.
* Experiência com ferramentas de Data Science, incluindo bibliotecas frameworks para modelagem análise de dados.
* Familiaridade com sistemas ERP, especialmente TOTVS, em contextos de integração de dados corporativos.
* Infraestrutura como Código IaC Automação: Conhecimento em Terraform para provisionamento gerenciamento de infraestrutura na nuvem.
* Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.