Desenvolvimento de Dados
Procuramos por profissionais para desenvolver pipelines de dados utilizando PySpark. Esses pipelines devem ser projetados para gerenciar fluxos de trabalho complexos e automatizar processos em ambientes AWS, incluindo EMR, Glue, S3 e Athena.
O ideal seria que os candidatos tenham experiência em usar SQL (consultas e entendimento de modelo de dados) e também conheçam conceitos de CI/CD.
Ao contrário disso, se o candidato tiver conhecimento em Python e já trabalhou em projetos de desenvolvimento de dados complexos e escaláveis será uma grande vantagem.
Requisitos e Qualificações:
* Conhecimento sólido em PySpark.
* Experiência com SQL (consultas e entendimento de modelo de dados).
* Conhecimento em AWS: EMR, Airflow (MWAA), S3, Glue, Athena.
* Familiaridade com conceitos de CI/CD.
* Desejável experiência em Python.
* Vivência em ambientes de dados complexos e escaláveis.