Crie Pipeline de Dados Escalável e Eficiente na AWS
O objetivo é contratar um profissional experiente em projetos de dados, que tenha conhecimento sólido no ecossistema AWS e seja capaz de desenhar e manter pipelines de dados escaláveis e eficientes.
* A experiência com o AWS Glue é necessária para a criação e manutenção de jobs, crawlers, catálogos de dados e integração com outros serviços da AWS.
* A capacidade de trabalhar com Apache Airflow é fundamental para orquestrar workflows ETL/ELT, agendar e monitorar pipelines.
* O conhecimento de Python é essencial para desenvolver scripts e automações para tratamento e transformação de dados.
* A familiaridade com PySpark é necessária para processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
* A habilidade de criar e otimizar consultas SQL serverless com Amazon Athena é crucial.
* A experiência com Amazon S3 é necessária para modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso.
* A capacidade de trabalhar com funções serverless na AWS Lambda é fundamental para processamento em tempo real, automações e integrações.
* A administração e execução de clusters Hadoop/Spark com Amazon EMR é essencial.
Além disso, é necessário ter habilidades complementares, como:
* Modelagem de dados – entender estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos.
* ETL/ELT – levantar requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança.
* Boas práticas de segurança e compliance no ecossistema AWS (IAM, KMS, políticas de acesso, criptografia).
* Integração de dados provenientes de múltiplas fontes (bancos relacionais, APIs, arquivos, streams).
* Monitoramento e observabilidade de pipelines (CloudWatch, logs, métricas e alertas).
Frente às suas qualificações e habilidades, estamos oferecendo um projeto temporário de 6 meses com atuação remota e CLT.
Importante: Este é um processo seletivo competitivo e selecionamos apenas os melhores candidatos.