Buscamos profissionais experientes em projetos de dados na AWS para criar e manter pipelines escaláveis e eficientes.
Conhecimentos Técnicos
* AWS Glue: criação e manutenção de jobs, crawlers e catálogos de dados.
* Apache Airflow: orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Python: desenvolvimento de scripts para tratamento e transformação de dados.
* PySpark: processamento distribuído de grandes volumes de dados.
* Amazon Athena: criação e otimização de consultas SQL serverless.
* Amazon S3: modelagem de buckets e organização de dados.
* AWS Lambda: funções serverless para processamento em tempo real.
* Amazon EMR: administração e execução de clusters Hadoop/Spark.
Habilidades Complementares
* Modelagem de Dados: entendimento de estruturas dimensionais e relacionais.
* ETL/ELT: levantamento de requisitos e implementação de fluxos de extração, transformação e carga.
* Boas Práticas de Segurança: no ecossistema AWS.
* Integração de Dados: provenientes de múltiplas fontes.
* Monitoramento e Observabilidade: de pipelines.
Os candidatos devem ter conhecimento básico de espanhol, experiência em ambientes multi-conta e infraestrutura como código.