Profissional altamente especializado em projetos de dados escaláveis utilizando a tecnologia AWS. Desenvolve pipelines eficientes e escaláveis com conhecimento profundo em ecossistemas de dados.
Conhecimentos Técnicos
* Design e implementação de soluções avançadas para processamento de dados em nuvem, incluindo criação e manutenção de jobs, crawlers e catálogos de dados no AWS Glue.
* Orquestração de fluxos de trabalho ETL/ELT com Apache Airflow, agendando e monitorando pipelines com eficiência.
* Desenvolvimento de scripts e automações em Python para tratamento e transformação de dados em escala.
* Processamento distribuído de grandes volumes de dados com PySpark, otimizando jobs e tuneando desempenho.
* Criação e otimização de consultas SQL serverless no Amazon Athena, integrando com S3 e Glue Data Catalog.
* Modelagem e organização de dados brutos e tratados em Amazon S3, versionamento e políticas de acesso configuradas corretamente.
* Funções Serverless no AWS Lambda para processamento em tempo real, automações e integrações.
* Administração e execução de clusters Hadoop/Syspark no Amazon EMR, configuração de ambientes e pipelines de alto desempenho.
* Versionamento de código, integração e entrega contínua com Git e CI/CD, configuração de pipelines de deploy (e.g., GitHub Actions).
Habilidades Complementares
* Modelagem de dados: entendimento de estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos.
* Evolução de requisições, design e implementação de fluxos de extração, transformação e carga ETL/ELT com foco em qualidade e governança.
* Boas práticas de segurança e compliance no ecossistema AWS (IAM, KMS, políticas de acesso, criptografia).
* Integração de dados provenientes de múltiplas fontes (bancos relacionais, APIs, arquivos, streams).
* Monitoramento e observabilidade de pipelines (CloudWatch, logs, métricas e alertas).
* Documentação técnica clara e manutenção de repositórios de conhecimento.
Diferenciais
* Conhecimento básico/intermediário de espanhol para interação com times ou clientes hispano-falantes.
* Experiência com ambientes multi-conta e multi-região na AWS.
* Familiaridade com infraestrutura como código (CloudFormation, Terraform ou CDK).
* Experiência em otimização de custos em workloads de dados na nuvem.