Detalhes da Vaga
O profissional ideal trabalhará em projetos de dados, desenvolvendo pipelines escaláveis e eficientes na AWS. Será responsável pela criação e manutenção de jobs, crawlers e catálogos de dados utilizando AWS Glue.
Ao longo do projeto, o profissional também será responsável pela orquestração de workflows ETL/ELT e agendamento de pipelines utilizando Apache Airflow.
Além disso, é necessário possuir conhecimentos avançados em Python para desenvolvimento de scripts para tratamento e transformação de dados.
E ainda que seja interessante conhecer PySpark para processamento distribuído de grandes volumes de dados e Amazon Athena para criação e otimização de consultas SQL serverless.
Habilidades complementares:
* Modelagem de dados: entendimento de estruturas dimensionais e relacionais.
* ETL/ELT: levantamento de requisitos e implementação de fluxos de extração, transformação e carga.
* Boas práticas de segurança e compliance na AWS.
* Integração de dados provenientes de múltiplas fontes.
* Monitoramento e observabilidade de pipelines.