Descrição do cargo
Profissional com sólida experiência em projetos de dados, utilizando o ecossistema AWS para fornecer soluções eficazes e inovadoras.
">
Habilidades Técnicas
* AWS Glue: Criação e manutenção de jobs, crawlers, catálogos de dados e integração com outros serviços AWS.
* Apollo Airflow: Orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Python: Desenvolvimento de scripts e automações para tratamento e transformação de dados.
* PySpark: Processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
* Athena: Criação e otimização de consultas SQL serverless, integração com S3 e Glue Data Catalog.
* S3: Modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso.
* Lambda: Funções serverless para processamento em tempo real, automações e integrações.
* EMR: Administração e execução de clusters Hadoop/Spark, configuração de ambientes e pipelines de alto desempenho.
* Git e CI/CD: Versionamento de código, integração e entrega contínua, configuração de pipelines de deploy.
* ETL/ELT: Levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança.
* Boas práticas de segurança e compliance no ecossistema AWS: IAM, KMS, políticas de acesso, criptografia.
* Integração de dados provenientes de múltiplas fontes: bancos relacionais, APIs, arquivos, streams.
* Monitoramento e observabilidade de pipelines: CloudWatch, logs, métricas e alertas.
* Documentação técnica clara e manutenção de repositórios de conhecimento.