Consultor de Dados na AWS
O profissional ideal deve ter sólida experiência em projetos de dados utilizando o ecossistema AWS, oferecendo soluções escaláveis e eficientes para ingestão e disponibilização de informações.
Técnicas Especializadas:
* AWS Glue: Criação e manutenção de jobs, crawlers, catálogos de dados e integração com outros serviços AWS;
* Airflow: Orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines;
* Python: Desenvolvimento de scripts e automações para tratamento e transformação de dados;
* Pyspark: Processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance;
* Athena: Criação e otimização de consultas SQL serverless, integração com S3 e Glue Data Catalog;
* S3: Modelagem de buckets, organização de dados brutos e tratados, versionamento e políticas de acesso;
* Lambda: Funções serverless para processamento em tempo real, automações e integrações;
* EMR: Administração e execução de clusters Hadoop/Spark, configuração de ambientes e pipelines de alto desempenho;
* Git e CI/CD: Versionamento de código, integração e entrega contínua, configuração de pipelines de deploy (GitHub Actions, CodePipeline ou similares).
Habilidades Complementares:
* Modelagem de Dados: Entendimento de estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos;
* ETL/ELT: Levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança;
* Segurança e Compliance: Boas práticas de segurança e compliance no ecossistema AWS (IAM, KMS, políticas de acesso, criptografia);
* Integração de Dados: Integração de dados provenientes de múltiplas fontes (bancos relacionais, APIs, arquivos, streams);
* Monitoramento e Observabilidade: Monitoramento e observabilidade de pipelines (CloudWatch, logs, métricas e alertas);
* Documentação Técnica: Documentação técnica clara e manutenção de repositórios de conhecimento.
Diferenciais:
* Espanhol: Conhecimento básico/intermediário de espanhol para interação com times ou clientes hispano-falantes;
* Ambientes Multi-Conta e Multi-Região: Experiência com ambientes multi-conta e multi-região na AWS;
* Infraestrutura como Código: Familiaridade com infraestrutura como código (CloudFormation, Terraform ou CDK);
* Otimização de Custos: Experiência em otimização de custos em workloads de dados na nuvem.