O que é essencial você trazer?Experiência sólida em engenharia de dados, com foco em arquitetura escalável e processamento de grandes volumes de dados.Experiência em AWS Glue, Spark e PySpark para processamento distribuído.Experiência na construção e manutenção de pipelines de dados em ambientes cloud (AWS, GCP ou Azure).Conhecimento em ferramentas de automação e integração contínua (Jenkins, GitLab CI/CD).Conhecimento em bancos de dados SQL e NoSQL, otimizando consultas e estruturação de dados.Experiência com versionamento de código e boas práticas de desenvolvimento (Git, GitFlow).Experiência em análise e otimização de custos de processamento e armazenamento na nuvem Será um diferencial se você também trouxerExperiência com AWS EMR para processamento escalável de big data.Experiência com plataformas gerenciadas de dados, como Databricks, Snowflake, Delta Lake e afins.Experiência em Kubernetes e Docker para deploy de ambientes de processamento de dados.Conhecimentos e visão de aplicação de ferramentas como Starburst, DuckDB, dbt, SuperSet e outros.Familiaridade com ferramentas de observabilidade e monitoramento (CloudWatch, Prometheus, Grafana, Site24x7).Certificações AWS Data Analytics, Big Data ou relacionadas. Se você está em busca de desafios que alinham inovação tecnológica, impacto real e um ambiente de trabalho dinâmico, venha fazer parte do nosso time!Seus desafios são inúmeros, entre eles:Diagnosticar, estruturar e otimizar a arquitetura de dados da empresa, garantindo eficiência e escalabilidade no processamento de informações.Implementar pipelines de dados eficientes e escaláveis utilizando Glue, Spark e outras tecnologias para processar grandes volumes de dados.Migrar e traduzir scripts Python para PySpark, garantindo compatibilidade com a arquitetura de processamento distribuído.Trabalhar com cientistas de dados para facilitar o acesso a dados e aprimorar o desempenho de processamento.Criar e gerenciar ambientes centralizados para desenvolvimento e produção, melhorando a colaboração e a confiabilidade das soluções.Validar e otimizar o consumo de DPU em processos de ETL, reduzindo custos e melhorando a eficiência.Explorar e recomendar soluções gerenciadas, como AWS EMR, para aumentar a performance e escalabilidade dos processos analíticos.Definir boas práticas para versionamento, monitoramento e governança de dados dentro do time de BI.Apoiar na criação de soluções que permitam o melhor uso de ferramentas como Google Colab e Google Cloud Platform (GCP), mitigando desafios de integração e processamento.Lembrando: atuamos com squads e times multidisciplinares, e a tendência é que você execute também outras tarefas além dessas, dependendo do momento de cada projeto e de cada desafio!