Responsabilidades e atribuições
Construir e evoluir pipelines de dados em ambiente cloud AWS;
Desenvolver e manter pipelines utilizando Databricks (PySpark e SQL);
Estruturar dados em arquitetura moderna (Data Lake / Lakehouse – camadas Bronze, Silver e Gold);
Realizar ingestão, transformação e análise de grandes volumes de dados;
Integrar dados com serviços AWS como S3, Glue, Athena e Lambda;
Criar consultas avançadas em SQL para exploração e análise de dados;
Desenvolver dashboards e visualizações (Databricks SQL ou Power BI);
Apoiar na definição e evolução de métricas e indicadores de negócio;
Atuar próximo às áreas de negócio, traduzindo necessidades em soluções de dados;
Garantir qualidade, governança e consistência dos dados;
Automatizar rotinas e processos de dados.
Requisitos e qualificações
Experiência sólida com Databricks;
Experiência com serviços de dados na cloud AWS;
Domínio de SQL avançado;
Experiência com Python (PySpark) para processamento de dados;
Vivência com arquitetura moderna de dados (Data Lake / Lakehouse);
Experiência em modelagem de dados e construção de pipelines;
Forte capacidade analítica e pensamento estruturado;
Experiência na geração de insights a partir de dados estruturados e não estruturados.