Profissional com sólida experiência em projetos de dados e tecnologia, desenhando pipelines escaláveis e eficientes no ecossistema AWS.
Conhecimentos técnicos:
* AWS Glue: criação e manutenção de jobs, crawlers e catálogos de dados.
* Apache Airflow: orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Python: desenvolvimento de scripts para tratamento e transformação de dados.
* PySpark: processamento distribuído de grandes volumes de dados.
* Athena: consultas SQL serverless e integração com S3 e Glue Data Catalog.
* S3: modelagem de buckets e organização de dados brutos e tratados.
* Lambda: funções serverless para processamento em tempo real.
* EMR: administração e execução de clusters Hadoop/Spark.
Habilidades complementares:
* Modelagem de dados: entendimento de estruturas dimensionais e relacionais.
* ETL/ELT: fluxos de extração, transformação e carga.
* Segurança e compliance no ecossistema AWS: boas práticas e políticas de acesso.
* Integração de dados provenientes de múltiplas fontes.