Profissional talentoso e experiente com sólida base em projetos de dados utilizando o ecossistema AWS. Capacidade de desenhar, desenvolver e manter pipelines de dados escaláveis e eficientes.
Conhecimentos Técnicos
* AWS Glue – criação e manutenção de jobs, crawlers, catálogos de dados, e integração com outros serviços AWS.
* Apache Airflow – orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Python – desenvolvimento de scripts e automações para tratamento e transformação de dados.
* PySpark – processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
* Amazon Athena – criação e otimização de consultas SQL serverless, integração com S3 e Glue Data Catalog.
* Amazon S3 – modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso.
* AWS Lambda – funções serverless para processamento em tempo real, automações e integrações.
* Amazon EMR – administração e execução de clusters Hadoop/Spark, configuração de ambientes e pipelines de alto desempenho.
* Git e CI/CD – versão de código, integração e entrega contínua, configuração de pipelines de deploy.
Habilidades Complementares
* Modelagem de dados – entendimento de estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos.
* ETL/ELT – levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança.
* Boas práticas de segurança e compliance no ecossistema AWS.
* Integração de dados provenientes de múltiplas fontes.
* Monitoramento e observabilidade de pipelines.
* Documentação técnica clara e manutenção de repositórios de conhecimento.
Diferenciais
* Conhecimento básico de espanhol.
* Experiência em ambientes multi-conta na AWS.
* Familiaridade com infraestrutura como código.
* Experiência em otimização de custos em workloads de dados na nuvem.