Vaga: Engenheiro de Dados
Descrição da vaga:
O profissional participará do desenho e desenvolvimento de pipelines de dados, garantindo escalabilidade, qualidade e segurança em ambientes modernos de nuvem.
* Projetar e implementar pipelines de ingestão de dados em grande escala.
* Desenvolver processos de ETL/ELT utilizando diferentes ferramentas (Spark, Athena, SQL, NoSQL).
* Criar e manter APIs RESTful (ex.: Flask) para disponibilização de dados.
* Trabalhar em colaboração com equipes de ciência de dados e engenharia de software para integrar soluções de dados.
Requisitos:
* Experiência com Databricks ou Azure Fabric (um dos dois é suficiente, ambos são diferencial).
* Sólidos conhecimentos em ingestão de dados e arquitetura de dados.
* Desenvolvimento de ETL/ELT com Spark, Athena, SQL e NoSQL.
* Experiência em AWS, Azure ou GCP.
* Desenvolvimento em Python (scripts, bibliotecas e boas práticas).
* Conhecimento em fluxos CI/CD (GitHub Actions, Azure DevOps, GitLab CI ou similares).
* Desenvolvimento de API RESTful com frameworks como Flask ou FastAPI.
Diferenciais:
1. Experiência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory).
2. Conhecimento em práticas de DataOps e observabilidade de dados.
3. Experiência com ambientes de Big Data em múltiplas nuvens.