Buscamos profissional para trabalhar em projetos de dados com o ecossistema AWS.
Tecnologias Principais
* AWS Glue – Desenvolvimento e manutenção de jobs, crawlers, catálogos de dados e integração com outros serviços AWS.
* Apache Airflow – Orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Python – Desenvolvimento de scripts e automações para tratamento e transformação de dados.
* PySpark – Processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
* Athena – Desenvolvimento e otimização de consultas SQL serverless, integração com S3 e Glue Data Catalog.
* S3 – Modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso.
* Lambda – Funções serverless para processamento em tempo real, automações e integrações.
* EMR – Administração e execução de clusters Hadoop/Spark, configuração de ambientes e pipelines de alto desempenho.
Habilidades Complementares
* Modelagem de dados – Entendimento de estruturas dimensionais, relacionais e não relacionais.
* ETL/ELT – Levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga.
* Boas práticas de segurança e compliance no ecossistema AWS.
* Integração de dados provenientes de múltiplas fontes.
* Monitoramento e observabilidade de pipelines.
* Documentação técnica clara e manutenção de repositórios de conhecimento.