Descrição da Vaga:
Estamos em busca de um(a) profissional qualificado(a) de Big Data para integrar nossa equipe. O(a) candidato(a) será responsável por projetar, construir e manter soluções de Big Data e Data Lake, além de atuar em todo o pipeline de processamento e análise de dados, incluindo administração, governança e monitoramento das ferramentas.
Atividades:
Será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.
Requisitos:
* Experiência com engenharia de dados;
* Implantação, administração, otimização e troubleshooting de frameworks de Big Data em ambiente on-premises Cluster Apache Spark;
* Apache Ranger para controle de acessos e segurança do MinIO;
* Experiência em Delta Lake;
* Desenvolvimento em Python, PySpark e SQL (DDL, DML, DQL)
* Vivência em sistemas Linux (Red Hat Enterprise, Ubuntu Server)
* Experiência com containers (Dockerfile, build, run, compose, volumes, imagens);
* Conhecimento em GitLab (ou outro versionador de código similar);
* Implantação e administração de JupyterHub para múltiplos usuários.