Responsabilidades
* Desenvolver e manter pipelines de dados escaláveis e performáticos.
* Atuar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade,
integridade e disponibilidade.
* Implementar integrações via APIs (REST e/ou mensageria), realizando tratamento de dados e
automação de fluxos.
* Desenvolver soluções de processamento distribuído e otimização de consultas.
* Automatizar deploys e provisionamento de recursos utilizando princípios de infraestrutura
como código.
* Realizar a orquestração de workflows de dados, assegurando monitoramento, versionamento e
observabilidade.
* Colaborar com equipes técnicas e de negócio para traduzir requisitos em soluções eficientes de
engenharia de dados.
Requisitos Técnicos (Hard Skills)
* Experiência sólida em Python para manipulação de dados, automações e integrações.
* Experiência sólida em SQL avançado, incluindo otimização de consultas e modelagem de dados.
* Conhecimento em processamento distribuído e paralelismo, aplicando conceitos de
computação em cluster.
* Experiência com arquitetura de dados em ambientes cloud (preferencialmente AWS).
Integração de dados via APIs, autenticação, controle de erros e padrões de integração.
* Práticas de versionamento de código e automação (Git e DevOps/DataOps).
* Noções de infraestrutura como código e automação de provisionamento.
* Conhecimento em orquestração de pipelines e governança de execução de processos.
* Familiaridade com query engines distribuídos e otimização de processamento em larga escala.
* Experiência com orquestração de workflows de dados, utilizando ferramentas como Airflow ou
similares (não obrigatória, mas desejável).
Conhecimentos Desejáveis (Ferramentas)
Não obrigatórios, mas considerados diferenciais para a posição plena:
* Plataformas de versionamento e CI/CD (ex: GitLab);
* Ferramentas de processamento de dados e clusters (Databricks, Spark);
* Plataformas de data lake e engines SQL distribuídos (Trino, Dremio);
* Orquestradores de pipelines (Airflow);
* Soluções de nuvem (AWS) e infraestrutura como código (Terraform);
* Integração e consumo de APIs;
Experiência prévia com esses ambientes será considerada um diferencial, mas buscamos profissionais
com base técnica sólida e capacidade de aprendizado.