A empresa está procurando por um profissional para atuar como Engenheiro de Dados.
Essa oportunidade é perfeita para alguém que deseja trabalhar em projetos de alta complexidade e grande volume, utilizando suas habilidades em ingestão e transformação de dados.
As responsabilidades incluem:
* Projetar e implementar pipelines de ingestão de dados em grande escala.
* Desenvolver processos de ETL/ELT utilizando diferentes ferramentas (Spark, Athena, SQL, NoSQL).
* Criar e manter APIs RESTful (ex.: Flask) para disponibilização de dados.
Requisitos:
* Experiência com Databricks ou Azure Fabric (um dos dois é suficiente, ambos são diferencial).
* Sólidos conhecimentos em ingestão de dados e arquitetura de dados.
* Desenvolvimento de ETL/ELT com Spark, Athena, SQL e NoSQL.
* Experiência em AWS, Azure ou GCP
* Desenvolvimento em Python (scripts, bibliotecas e boas práticas).
* Conhecimento em fluxos CI/CD (GitHub Actions, Azure DevOps, GitLab CI ou similares).
* Desenvolvimento de API RESTful com frameworks como Flask ou FastAPI.
Diferenciais:
* Experiência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory).
* Conhecimento em práticas de DataOps e observabilidade de dados.
* Experiência com ambientes de Big Data em múltiplas nuvens.