Oportunidade de atuação em projeto — Engenheiro de Dados Sênior (AWS)
Sobre a DataEX:
Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA, com parcerias estratégicas com Microsoft, AWS e Databricks, atuando em projetos de alto impacto para grandes clientes. Valorizamos a inovação, a colaboração, o desenvolvimento contínuo e a qualidade de vida, com incentivos para certificações e bem-estar.
Contexto do projeto:
Estamos com uma oportunidade para atuação em projeto na área de Dados, em um de nossos maiores clientes, com foco em Engenharia de Dados voltada a AWS, por meio de contrato PJ.
Perfil técnico esperado:
* Experiência prática com data lakes, data mesh e serviços da AWS, incluindo Amazon Web Services (AWS Glue, Kinesis, Redshift, Athena, Aurora e S3).
* Experiência com arquitetura e processamento de dados em tempo real (real-time processing) e batch, utilizando serviços AWS para construção de pipelines escaláveis, resilientes e de baixa latência, incluindo ingestão contínua de eventos, processamento incremental, integração entre sistemas e arquiteturas orientadas a eventos (event-driven architecture).
* Experiência com tecnologias e padrões de streaming, como AWS Kinesis, Apache Kafka, Spark Streaming / Structured Streaming ou equivalentes, aplicados à construção, monitoramento e otimização de pipelines de dados streaming, processamento distribuído e soluções de alta disponibilidade.
* Capacidade de desenvolver APIs e implementar soluções utilizando PySpark em ambientes como Databricks e EMR.
* Experiência na configuração e otimização de recursos e clusters na AWS.
* Desenvolvimento, manutenção e evolução de pipelines de dados, incluindo arquitetura Lambda.
* Estruturação e gestão de arquitetura de dados em múltiplas camadas (raw, bronze, silver e gold).
* Elaboração de documentação técnica e condução de sessões de transferência de conhecimento (KT) das soluções implementadas.
* Vivência em ambientes que adotam metodologias ágeis como Scrum, Kanban e Lean.
Diferenciais:
* Certificações da AWS: Certified Data Engineer – Associate.
* Atuação prévia e comprovada em projetos internacionais (ex.: Espanha, Itália, México, Alemanha)
* Espanhol intermediário
Escopo de Atuação:
* Desenvolver, manter e evoluir pipelines de dados conforme demandas do projeto.
* Estruturar e aprimorar a arquitetura de dados (camadas raw, bronze, silver e gold).
* Garantir a documentação técnica das soluções entregues.
* Realizar transferência de conhecimento das implementações realizadas à equipe interna, quando aplicável.