Engenheiro de Dados Especialista – AWS & Big Data
Responsabilidades
Projetar, desenvolver e operar pipelines de dados escaláveis e eficientes em ambientes de nuvem AWS.
Atuar como referência técnica em arquitetura de dados, liderando iniciativas complexas de integração e transformação de dados.
Garantir a qualidade, performance e governança dos dados em todas as etapas dos processos.
Trabalhar de forma autônoma na definição e implementação de soluções de dados alinhadas às necessidades do negócio.
Colaborar com equipes multidisciplinares para integrar dados de diferentes fontes e sistemas.
Monitorar e otimizar continuamente os pipelines de dados, identificando e resolvendo gargalos de performance.
Implementar boas práticas de segurança, compliance e gerenciamento de dados em ambientes cloud.
Documentar processos, arquiteturas e decisões técnicas de forma clara e acessível.
Requisitos
+ 6 anos de experiência como Engenheiro de Dados.
Experiência comprovada em projetos de dados na AWS, incluindo uso avançado de serviços como EMR, Glue, S3, Lambda e Databricks.
Domínio em arquitetura de pipelines de dados e Big Data (Kappa, Lambda), com desenvolvimento em Spark (Python e/ou Scala).
Experiência em integração de dados (ETL/ELT), orquestração com Apache Airflow (Python) e ingestão via APIs/webhooks.
Profundo conhecimento em bancos de dados relacionais e não relacionais (Aurora, RDS, Redshift, Elasticsearch, DocumentDB, Keyspace, DynamoDB).
Familiaridade com infraestrutura como código (Terraform).
Vivência com ferramentas de mensageria/filas (Kafka, SQS).
Experiência com streaming de dados
Experiência em DevOps, CI/CD e automação de processos.
Conhecimento em arquitetura de Data Lake para Big Data.
Familiaridade com conteinerização (Docker, Kubernetes).
Conhecimento ou experiência com temas relacionados à LGPD.
Capacidade de escrever, depurar e executar testes unitários, garantindo qualidade e desempenho dos processos.
Atuação independente, com visão de arquitetura, troubleshooting e entrega ponta-a-ponta
Conhecimento em Arquitetura de Soluções
Graduação completa em cursos relacionados à Tecnologia da Informação e/ou Ciência de Dados, tais como: Análise de Sistemas, Sistemas de Informação, Engenharia da Computação, Ciência da Computação, Estatística, entre outros
Se inscreva:
Show more Show less