Responsabilidades e atribuições Estamos em busca de um(a) Engenheiro(a) de Dados para integrar nosso time responsável pela evolução de uma plataforma Data Lakehouse na AWS. Essa pessoa terá papel fundamental na integração de dados de múltiplas fontes, na orquestração de pipelines confiáveis e na disponibilização de camadas analíticas performáticas para consumo via Amazon Redshift e Power BI .
Modelo de atuação: Híbrido (2 a 3 vezes por semana)
Localidade: Brasília
Principais Responsabilidades
Projetar e implementar pipelines de dados utilizando Airflow/MWAA, com Python e SQL, seguindo boas práticas de modularidade, testes e versionamento.
Modelar camadas Bronze/Silver/Gold (arquitetura Medallion) em S3 + Glue Data Catalog, definindo partições, formatos (Parquet/Delta*) e tabelas otimizadas para consulta.
Construir e otimizar modelos analíticos em Amazon Redshift, garantindo performance e custo.
Publicar e manter datasets confiáveis para Power BI, incluindo gateways, incremental refresh, agregações e uso eficiente de DirectQuery/Import.
Colaborar com analistas e times de negócio, traduzindo necessidades em datasets, KPIs e camadas consumíveis, além de documentar catálogos e contratos de dados.
Requisitos e qualificações
Requisitos Técnicos
Experiência sólida em AWS : S3, Glue Data Catalog, Airflow (preferencialmente MWAA), DAGs em Python, Amazon Redshift.
Linguagens: Python e SQL avançado .
Power BI : modelagem semântica, DAX, incremental refresh, gateway, boas práticas para consumo de Redshift.
Conhecimento em arquitetura Data Lakehouse, formatos colunares (Parquet), partições e metadados.
Boas práticas de engenharia: Git, testes, code reviews, documentação, pipelines confiáveis.
Segurança e governança: IAM, criptografia, princípios de mínimo privilégio, LGPD aplicada a dados.