Buscamos um profissional especializado em projetos de dados que possa utilizar o ecossistema AWS para desenhar, desenvolver e manter pipelines de dados escaláveis e eficientes desde a ingestão até a disponibilização das informações.
O candidato deve ter sólida experiência em projetos de dados utilizando o ecossistema AWS.
Requisitos Técnicos:
* AWS Glue - Criação e manutenção de jobs crawlers catálogos de dados e integração com outros serviços AWS.
* Apache Airflow - Orquestração de workflows ETL/ELT agendamento e monitoramento de pipelines.
* Python - Desenvolvimento de scripts e automações para tratamento e transformação de dados.
* PySpark - Processamento distribuído de grandes volumes de dados otimização de jobs e tuning de performance.
* Amazon Athena - Criação e otimização de consultas SQL serverless integração com S3 e Glue Data Catalog.
* Amazon S3 - Modelagem de buckets organização de dados brutos e tratados versionamento e políticas de acesso.
* AWS Lambda - Funções serverless para processamento em tempo real automações e integrações.
* Amazon EMR - Administração e execução de clusters Hadoop/Spark configuração de ambientes e pipelines de alto desempenho.
* Git e CI/CD - Versionamento de código integração e entrega contínua configuração de pipelines de deploy (GitHub Actions CodePipeline ou similares).
Habilidades Complementares:
* Modelagem de dados - Entendimento de estruturas dimensionais relacionais e não relacionais normalização/desnormalização e boas práticas para ambientes analíticos.
* ETL/ELT - Levantamento de requisitos desenho e implementação de fluxos de extração transformação e carga com foco em qualidade e governança.
* Boas práticas de segurança e compliance no ecossistema AWS (IAM KMS políticas de acesso criptografia).
* Integração de dados provenientes de múltiplas fontes (bancos relacionais APIs arquivos streams).
* Monitoramento e observabilidade de pipelines (CloudWatch logs métricas e alertas).
* Documentação técnica clara e manutenção de repositórios de conhecimento.
Diferenciais:
* Conhecimento básico/intermediário de espanhol para interação com times ou clientes hispano-falantes.
* Experiência com ambientes multi-conta e multi-região na AWS.
* Familiaridade com infraestrutura como código (CloudFormation Terraform ou CDK).
* Experiência em otimização de custos em workloads de dados na nuvem.
Informações adicionais:
* Contratação CLT
* Atuação remota
* Projeto temporário de 6 meses