Descrição da vaga: ?? Estamos em busca de um profissional apaixonado por dados para integrar nossa equipe, voltada a arquitetura, construção e governança de soluções escaláveis!
O profissional fará parte da equipe de Analytics da DataEX.
Principais responsabilidades: Projetar, implementar e manter pipelines de ingestão, transformação e disponibilização de dados em tempo real e batch na AWS.
Desenvolver e otimizar soluções em Amazon Redshift e Aurora PostgreSQL, garantindo alto desempenho e segurança.
Construir e gerenciar clusters de Apache Spark (em PySpark) para processamento distribuído de grandes volumes de dados.
Criar fluxos e jobs de ETL/ELT com Python (Pandas, PySpark) e frameworks de orquestração (Airflow, Step Functions).
Implementar arquiteturas de streaming com Amazon Kinesis (Data Streams, Data Firehose) ou alternativas (Kafka).
Orquestrar contêineres e microserviços de dados em Kubernetes (EKS), configurando deployments, autoscaling e monitoração.
Definir e aplicar melhores práticas de modelagem de dados (dimensional, Data Vault, schemas star/snowflake).
Colaborar com times de Analytics, BI e Data Science para entender requisitos de negócio e traduzir em soluções técnicas escaláveis.
Documentar e evangelizar padrões de desenvolvimento, revisão de código e políticas de governança de dados.
Garantir alta disponibilidade, resiliência e compliance em ambientes de dados.
Requisitos obrigatórios: Sólida experiência em Amazon Redshift (tuning, distribuição, sort keys, materialized views) e Aurora PostgreSQL.
Domínio de Python: PySpark para processamento distribuído e Pandas para análise de dataframes.
Experiência prática com Amazon Kinesis (Streams / Firehose) e arquiteturas de streaming.
Conhecimento de Kubernetes (EKS), com habilidades em configurar deployments, services, ingress e autoscaling.
Forte entendimento de modelagem de dados: normalização, esquemas dimensionais e melhores práticas de design.
Fluência em espanhol (escrita e oral) para comunicação com stakeholders da América Latina.
Inglês técnico avançado para leitura de documentação e comunicação com equipes globais.
Habilidade analítica e capacidade de resolver problemas complexos de performance e escalabilidade.
Desejáveis: Experiência com ferramentas de orquestração (Apache Airflow, AWS Step Functions).
Familiaridade com infraestrutura como código (Terraform, AWS CloudFormation).
Conhecimento em outras soluções de streaming (Apache Kafka, AWS MSK) e bancos NoSQL (DynamoDB, Cassandra).
Background em Data Vault ou outras metodologias de Data Modeling corporativo.
Certificações AWS (e.g.
AWS Certified Data Analytics – Specialty, AWS Certified Solutions Architect).