A Cadeia de Valor é uma estrutura crítica para a evolução digital de qualquer empresa.
Você será um especialista em desenhar e implementar pipelines de dados escaláveis, de alta qualidade e segurança em ambientes modernos de nuvem.
Precisamos que você:
* Projete e implemente pipelines de ingestão de dados em grande escala.
* Desenvolva processos de ETL/ELT utilizando diferentes ferramentas (Spark, Athena, SQL, NoSQL).
* Crie e mantenha APIs RESTful (ex.: Flask) para disponibilizar dados.
Para isso, precisamos que você tenha:
* Experiência com Databricks ou Azure Fabric (um dos dois é suficiente, ambos são diferenciais).
* Sólidos conhecimentos em ingestão de dados e arquitetura de dados.
* Desenvolvimento de ETL/ELT com Spark, Athena, SQL e NoSQL.
* Experiência em AWS, Azure ou GCP
* Desenvolvimento em Python (scripts, bibliotecas e boas práticas).
Diferenciais:
* Experiência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory).
* Conhecimento em práticas de DataOps e observabilidade de dados.