Desenvolvimento de Pipelines de Dados
A busca por profissionais qualificados para o desenvolvimento e manutenção de pipelines de dados em lote é uma demanda constante.
O ideal é que o candidato tenha experiência com PySpark, utilizando SQL como linguagem de codificação principal.
* Responsabilidades incluem:
* Desenvolver e manter pipelines de dados;
* Escribir e otimizar consultas SQL complexas;
* Entender requisitos autônomo e traduzir para código;
* Transformar e integrar dados de diversas fontes;
* Contribuir para o desenvolvimento de data marts e conjuntos de dados selecionados;
* Colaborar com analistas de negócios;
* Monitore e gerencie trabalhos de dados;
* Garantar qualidade dos dados;
Requisitos técnicos e de experiência:
* Experiência em desenvolvimento baseado em SQL;
* Conhecimento em Airflow ou outras ferramentas de orquestração;
* Familiaridade com Terraform;
* Compreensão dos padrões ODS e arquitetura de data lake;
* Experiência com Bitbucket ou ferramentas git semelhantes;
* Compreensão de Jenkins.
Habilidades comportamentais e competências:
* Fluência em inglês;
* Experiência em SQL incluindo junções, agregações e ajuste de desempenho;
* Familiaridade com serviços de dados da AWS;
* Compreensão de estruturas de modelagem de dados;
* Experiência de trabalho com Snowflake ou data warehouses em nuvem semelhantes;
* Conhecimento do Apache Iceberg.