Desenvolvedor(a) de Soluções de Dados AWS
Buscamos um profissional altamente qualificado para desenhar e desenvolver soluções escaláveis e eficientes em dados, utilizando o ecossistema AWS. A experiência previa é fundamental, pois precisamos de alguém que possa integrar diversos serviços AWS.
Competências Técnicas:
* AWS Glue: criação e manutenção de jobs, crawlers e catálogos de dados, além da integração com outros serviços AWS.
* Apache Airflow: orquestração de workflows, agendamento e monitoramento de pipelines de dados.
* Python: desenvolvimento de scripts e automações para tratamento e transformação de dados.
* Pyspark: processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
* Amazon Athena: criação e otimização de consultas SQL serverless, integração com S3 e Glue Data Catalog.
* Amazon S3: modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso.
* AWS Lambda: funções serverless para processamento em tempo real, automações e integrações.
* Amazon EMR: administração e execução de clusters Hadoop/Spark, configuração de ambientes e pipelines de alto desempenho.
* Git e CDC: versionamento de código, integração e entrega contínua, configuração de pipelines de deploy.
Habilidades Complementares:
* Modelagem de Dados: entendimento de estruturas dimensionais relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos.
* Elt/ElT: levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança.
* Boas Práticas de Segurança: compreensão de questões de segurança e compliance no ecossistema AWS, incluindo IAM, KMS e políticas de acesso.
* Integração de Dados: capacidade de integrar dados provenientes de múltiplas fontes, incluindo bancos relacionais, APIs, arquivos e streams.
* Monitoramento e Observabilidade: habilidade de monitorar e observar pipelines de dados, utilizando ferramentas como CloudWatch Logs, métricas e alertas.
* Documentação Técnica: habilidade de criar documentação técnica clara e manter repositórios de conhecimento.
Diferenciais:
* Conhecimento Básico/Intermediário de Espanhol: capacidade de interagir com times ou clientes hispanofalantes.
* Experiência em Ambientes Multi-Conta e Multi-Região: habilidade de trabalhar em ambientes complexos e multi-região.
* Familiaridade com Infraestrutura como Código: compreensão de conceitos como cloudformation, terraform ou CDK.
* Experiência em Otimização de Custos: habilidade de otimizar custos em workloads de dados na nuvem.
Informações Adicionais:
* Contratação CLT: contrato em conformidade com as leis laborais locais.
* Atuação Remota: oportunidade de trabalhar remotamente.
* Projeto Temporário de 6 Meses: período limitado de trabalho.