Procuramos um profissional experiente para assumir o papel de especialista em dados na nuvem.
Habilidades Técnicas:
* AWS Glue: criação e manutenção de jobs, crawlers e catálogos de dados
* Apache Airflow: orquestração de workflows ETL/ELT e monitoramento de pipelines
* Python: desenvolvimento de scripts para tratamento e transformação de dados
* PySpark: processamento distribuído de grandes volumes de dados
* Amazon Athena: consultas SQL serverless e integração com S3 e Glue Data Catalog
* Amazon S3: modelagem de buckets e organização de dados brutos e tratados
* AWS Lambda: funções serverless para processamento em tempo real
* Amazon EMR: administração e execução de clusters Hadoop/Spark
* Git e CI/CD: versionamento de código e configuração de pipelines de deploy
Habilidades Complementares:
* Modelagem de dados: entendimento de estruturas dimensionais e relacionais
* ETL/ELT: levantamento de requisitos e implementação de fluxos de extração, transformação e carga
* Boas práticas de segurança e compliance no ecossistema AWS
* Integração de dados provenientes de múltiplas fontes
* Monitoramento e observabilidade de pipelines
* Documentação técnica clara
O ideal é alguém que tenha experiência em projetos de dados na nuvem escaláveis e eficientes. Além disso, é necessário ter habilidades técnicas avançadas em AWS, Apache Airflow, Python, PySpark e outras tecnologias relevantes.