Engenheiro de Dados / BI – Spark + AWS Híbrido em SP, BH, Recife ou Curitiba Contrato CLT Nível Sênior Projeto voltado para Big Data, IA e automação de pipelines O que você irá fazer: Desenvolver e manter pipelines de ETL/ELT no Data Lake da AWS Trabalhar com Apache Spark, Py Spark e Spark Streaming Gerenciar infraestrutura de Big Data na AWS (EMR, Glue, etc) Utilizar Kafka para processamento de dados em streaming Implementar soluções com Delta Lake, Redshift, Mongo DB, Dynamo DB Desenvolver pipelines com Airflow Apoiar projetos de IA voltados à otimização e garantia de qualidade dos dados O que buscamos: Graduação em Engenharia, Computação ou áreas afins Sólida experiência com AWS (EMR, Glue, armazenamento) Proficiência em Python e experiência com Py Spark Conhecimento em Kafka Experiência com bancos de dados SQL e No SQL Familiaridade com ferramentas de visualização como Superset e Tableau Automação e infraestrutura como código (Terraform ou Cloud Formation) Experiência com Data Hub para catalogação de dados Conhecimento em práticas de Data Ops e MLOps Diferenciais: Certificações AWS (Cloud Practitioner, Solutions Architect) Experiência com Starburst Trino Conhecimento em IA/ML aplicados à engenharia de dados Ferramentas de observabilidade: Datadog, New Relic, Grafana Inglês intermediário/avançado Benefícios: Vale Refeição Vale Mobilidade Convênio Médico Convênio Odontológico Parceria com Idiomas Total Pass Seguro de Vida Indica e Ganhe Programa de Estudos Auxílio Creche