Descrição do Cargo:
O profissional trabalhará na criação de pipelines de transformação de dados, compreendendo os requisitos de negócio e implementando jobs de transformação no Glue com PySpark. O objetivo é desenvolver soluções escaláveis e seguras para a transformação de dados em larga escala.
Os pipelines desenvolvidos serão responsáveis por realizar as seguintes tarefas:
* Captura e carregamento de dados brutos;
* Limpeza e transformação dos dados;
* Migração dos dados para camadas Raw, Silver e Gold no S3;
* Orquestração automatizada via Step Functions;
* Infraestrutura versionada em Git e Terraform.
Para isso, o profissional precisará ter habilidades avançadas em Python, incluindo conhecimento em bibliotecas como Pandas e NumPy, além de experiência em ambientes de desenvolvimento integrado (IDEs). A pessoa também deverá ter conhecimentos em infraestrutura como código (IaC) e orquestração de atividades utilizando frameworks como Apache Airflow ou Luigi.