Consultor de Dados na Nuvem
Somos uma empresa que busca um consultor de dados experiente para trabalhar em projetos de dados em nossa equipe de tecnologia.
O ideal é que você tenha sólida experiência em projetos de dados utilizando o ecossistema AWS, com capacidade de desenhar, desenvolver e manter pipelines de dados escaláveis e eficientes. Deve ser capaz de entender a ingestão até a disponibilização das informações.
* A AWS Glue: criação e manutenção de jobs, crawlers, catálogos de dados e integração com outros serviços da AWS.
* Apache Airflow: orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Pyspark: processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
* Athena: criação e otimização de consultas SQL serverless, integração com S3 e Data Catalog.
* S3: modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso.
* Lambda: funções serverless para processamento em tempo real, automações e integrações.
* EMR: administração e execução de clusters Hadoop/Sparse, configuração de ambientes e pipelines de alto desempenho.
Habilidades complementares:
* Modelagem de dados: entendimento de estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos.
* Etl/elt: levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança.
* Boas práticas de segurança e compliance no ecossistema AWS (IAM, KMS, políticas de acesso, criptografia).
* Documentação técnica clara e manutenção de repositórios de conhecimento.
Diferenciais:
* Conhecimento básico/intermediário de espanhol para interação com times ou clientes hispano-falantes.
* Experiência com ambientes multi-conta e multi-região na AWS.
* Familiaridade com infraestrutura como código (CloudFormation, Terraform ou CDK).
* Experiência em otimização de custos em workloads de dados na nuvem.
Informações adicionais:
* Contratação CLT.
* Atuação remota.
* Projeto temporário de 6 meses.