Responsabilidades
Desenvolver e manter pipelines de dados escaláveis e performáticos.
Atuar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade,
integridade e disponibilidade.
Implementar integrações via APIs (REST e/ou mensageria), realizando tratamento de dados e
automação de fluxos.
Desenvolver soluções de processamento distribuído e otimização de consultas.
Automatizar deploys e provisionamento de recursos utilizando princípios de infraestrutura
como código.
Realizar a orquestração de workflows de dados, assegurando monitoramento, versionamento e
observabilidade.
Colaborar com equipes técnicas e de negócio para traduzir requisitos em soluções eficientes de
engenharia de dados.
Requisitos Técnicos (Hard Skills)
Experiência sólida em Python para manipulação de dados, automações e integrações.
Experiência sólida em SQL avançado, incluindo otimização de consultas e modelagem de dados.
Conhecimento em processamento distribuído e paralelismo, aplicando conceitos de
computação em cluster.
Experiência com arquitetura de dados em ambientes cloud (preferencialmente AWS).
Integração de dados via APIs, autenticação, controle de erros e padrões de integração.
Práticas de versionamento de código e automação (Git e DevOps/DataOps).
Noções de infraestrutura como código e automação de provisionamento.
Conhecimento em orquestração de pipelines e governança de execução de processos.
Familiaridade com query engines distribuídos e otimização de processamento em larga escala.
Experiência com orquestração de workflows de dados, utilizando ferramentas como Airflow ou
similares (não obrigatória, mas desejável).
Conhecimentos Desejáveis (Ferramentas)
Não obrigatórios, mas considerados diferenciais para a posição plena:
Plataformas de versionamento e CI/CD (ex: GitLab);
Ferramentas de processamento de dados e clusters (Databricks, Spark);
Plataformas de data lake e engines SQL distribuídos (Trino, Dremio);
Orquestradores de pipelines (Airflow);
Soluções de nuvem (AWS) e infraestrutura como código (Terraform);
Integração e consumo de APIs;
Experiência prévia com esses ambientes será considerada um diferencial, mas buscamos profissionais
com base técnica sólida e capacidade de aprendizado.