Descrição do Cargo
O especialista em dados é responsável por desenvolver e manter pipelines de dados em lote usando PySpark, com foco em SQL. Ele trabalha em projetos desafiadores e colabora com analistas de negócios para entender as necessidades de dados.
Habilidades Técnicas Exigidas e Qualificações
* Análise de dados avançada com base sólida em desenvolvimento baseado em SQL;
* Experiência em criação e gerenciamento de data marts; Especialmente no uso de Spark SQL!
* Familiaridade com Airflow ou outras ferramentas de orquestração;
Para automatizar tarefas e melhorar a eficiência dos processos;
Não esquecendo da importância das best practices,
* Compreensão dos padrões ODS e arquitetura de data lake;
A partir de uma abordagem centrada nos dados,
* Experiência com Bitbucket ou outras ferramentas Git semelhantes;
Conhecimentos em branchs, commits e merges;
Também conhecimento em fluxos de trabalho GITHUB;
* Experiência/prática com o PySpark, particularmente com o Spark SQL, que é muito importante para desenvolvedores de Big Data