Missão e Responsabilidades
Uma oportunidade para atuar como Engenheiro de Dados em uma das maiores empresas de tecnologia do Brasil.
Entre em contato com grandes volumes de dados, desenvolvendo pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança.
Implemente arquiteturas escaláveis para armazenar, processar e disponibilizar dados com alta performance. Trabalhe em parceria com o time de Data Science para projetar e implementar soluções baseadas em dados e machine learning.
Desenvolva e otimiza pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança. Implemente e gerencie workflows de dados utilizando ferramentas como Apache Airflow, garantindo a automação e escalabilidade dos processos de ingestão e processamento.
Aplicar conceitos de CI/CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados. Garanta boas práticas de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos como LGPD e GDPR.
Competências Específicas
* Expertise em SQL: domínio da linguagem SQL, incluindo melhores práticas, otimização de consultas e modelagem de dados eficiente.
* Bancos de Dados: experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), com foco em desempenho e escalabilidade.
* Programação e Notebooks Interativos: experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
* Versionamento e Colaboração: conhecimento em sistemas de controle de versão, especialmente Git.
* Integração e APIs: familiaridade com consumo e criação de APIs para manipulação e integração de dados.
* Processamento e Análise de Dados em Larga Escala: conhecimento em Data Warehousing e tecnologias de Big Data para lidar com grandes volumes de dados.
* Documentação e Suporte: capacidade de criar e manter documentações claras e acessíveis para facilitar o uso dos recursos por outros usuários.
* Gerenciamento de Projetos: experiência com organização e entregas de projetos de alta complexidade em engenharia de dados.
* Cloud Computing: experiência com provedores de nuvem, com foco em Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub/Sub, Dataflow e Cloud Storage.
* Experiência com Ferramentas de Data Science, incluindo bibliotecas e frameworks para modelagem e análise de dados.
* Familiaridade com Sistemas ERP, especialmente Totvs, em contextos de integração de dados corporativos.
* Infraestrutura como Código (IaC) e Automação: conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.
* Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.