Descrição do Cargo:
Buscamos um profissional experiente em projetos de dados para atuar como especialista na criação e manutenção de pipelines escaláveis e eficientes, desde a ingestão até a disponibilização das informações.
Conhecimentos Técnicos Específicos:
* AWS Glue: Criação e manutenção de jobs, crawlers, catálogos de dados e integração com outros serviços AWS
* Apache Airflow: Orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines
* Python: Desenvolvimento de scripts e automações para tratamento e transformação de dados
* PySpark: Processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance
* Amazon Athena: Criação e otimização de consultas SQL serverless, integração com S3 e Glue Data Catalog
* Amazon S3: Modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso
* AWS Lambda: Funções serverless para processamento em tempo real, automações e integrações
* Amazon EMR: Administração e execução de clusters Hadoop/Spark, configuração de ambientes e pipelines de alto desempenho
* Git e CI/CD: Versionamento de código, integração e entrega contínua, configuração de pipelines de deploy (GitHub Actions, CodePipeline ou similares)
Habilidades Complementares:
* Modelagem de dados: Entendimento de estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos
* ETL/ELT: Levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança
* Boas práticas de segurança e compliance no ecossistema AWS (IAM, KMS, políticas de acesso, criptografia)
* Integração de dados provenientes de múltiplas fontes (bancos relacionais, APIs, arquivos, streams)
* Monitoramento e observabilidade de pipelines (CloudWatch, logs, métricas e alertas)
* Documentação técnica clara e manutenção de repositórios de conhecimento
Diferenciais:
* Conhecimento básico/intermediário de espanhol para interação com times ou clientes hispano-falantes
* Experiência com ambientes multi-conta e multi-região na AWS
* Familiaridade com infraestrutura como código (CloudFormation, Terraform ou CDK)
* Experiência em otimização de custos em workloads de dados na nuvem
Benefícios:
* Contratação CLT
* Atuação remota
* Projeto temporário de 6 meses