Desenvolvedor de Dados especializado em ecossistema AWS, procurado para projeto temporário.
O Desafio
Criar e manter pipelines de dados escaláveis e eficientes utilizando serviços AWS, com foco em projetos de dados.
Habilidades Necessárias
* AWS Glue: criação e manutenção de jobs, crawlers e catálogos de dados;
* Apache Airflow: orquestração de workflows ETL/ELT;
* Python e PySpark: desenvolvimento de scripts e automações para tratamento e transformação de dados;
* Amazon Athena e S3: otimização de consultas SQL serverless e modelagem de buckets;
* AWS Lambda: funções serverless para processamento em tempo real;
* Amazon EMR: administração de clusters Hadoop/Spark;
* Git e CI/CD: versionamento de código e integração e entrega contínua;
Benefícios
Experiência em trabalhar remotamente, atuação em um ambiente dinâmico e opções de crescimento profissional.
Ferramentas Utilizadas
* AWS Glue;
* Apache Airflow;
* Python;
* PySpark;
* Amazon Athena;
* S3;
* AWS Lambda;
* Amazon EMR;
* Git;