Banco de Talentos — Engenheiro de Dados Sênior (AWS)📌 Sobre a DataEX:Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA, com parcerias estratégicas com Microsoft, AWS e Databricks, atuando em projetos de alto impacto para grandes clientes. Valorizamos a inovação, a colaboração, o desenvolvimento contínuo e a qualidade de vida, com incentivos para certificações e bem-estar.🔎 Contexto do Banco de Talentos:Estamos coletando perfis com foco em Engenharia de Dados em ambientes AWS e de Streaming para compor o nosso Banco de Talentos para futuras oportunidades!Perfil técnico esperado:- Experiência prática com data lakes, data mesh e serviços da AWS, incluindo Amazon Web Services (AWS Glue, Kinesis, Redshift, Athena, Aurora e S3).- Experiência com arquitetura e processamento de dados em tempo real (real-time processing) e batch, utilizando serviços AWS para construção de pipelines escaláveis, resilientes e de baixa latência, incluindo ingestão contínua de eventos, processamento incremental, integração entre sistemas e arquiteturas orientadas a eventos (event-driven architecture).- Experiência com tecnologias e padrões de streaming, como AWS Kinesis, Apache Kafka, Spark Streaming / Structured Streaming ou equivalentes, aplicados à construção, monitoramento e otimização de pipelines de dados streaming, processamento distribuído e soluções de alta disponibilidade.- Capacidade de desenvolver APIs e implementar soluções utilizando PySpark em ambientes como Databricks e EMR.- Experiência na configuração e otimização de recursos e clusters na AWS.- Desenvolvimento, manutenção e evolução de pipelines de dados, incluindo arquitetura Lambda.- Estruturação e gestão de arquitetura de dados em múltiplas camadas (raw, bronze, silver e gold).- Elaboração de documentação técnica e condução de sessões de transferência de conhecimento (KT) das soluções implementadas.- Vivência em ambientes que adotam metodologias ágeis como Scrum, Kanban e Lean.Diferenciais:- Certificações da AWS: Certified Data Engineer – Associate.- Atuação prévia e comprovada em projetos internacionais (ex.: Espanha, Itália, México, Alemanha)- Espanhol intermediárioEscopo de Atuação:- Desenvolver, manter e evoluir pipelines de dados conforme demandas do projeto.- Estruturar e aprimorar a arquitetura de dados (camadas raw, bronze, silver e gold).- Garantir a documentação técnica das soluções entregues.- Realizar transferência de conhecimento das implementações realizadas à equipe interna, quando aplicável.