Desenvolvimento de Pipelines de Dados
O nosso time está procurando por um profissional para desenvolver e manter pipelines de dados em lote usando o PySpark (focado em SQL).
* Escriba e otimize consultas SQL complexas para dar suporte à lógica de negócios e às necessidades de relatórios.
* Entenda os requisitos de forma autônoma e traduza para código.
* Transforme e integre dados de diversas fontes em tabelas Iceberg e Snowflake.
Habilidades Técnicas e Experiência Requerida:
A função se concentra na criação e manutenção de pipelines de dados usando o PySpark, com SQL como a linguagem de codificação principal.
* Analista de Dados PL qualificado com uma base sólida em desenvolvimento baseado em SQL.
* Familiaridade com ferramentas de infraestrutura como código, como o Terraform.
* Compreensão dos padrões ODS (Operational Data Store) e arquitetura de data lake.