Descrição da Vaga:
Estamos em busca de um(a) profissional qualificado(a) de Big Data para integrar nossa equipe. O(a) candidato(a) será responsável por projetar, construir e manter soluções de Big Data e Data Lake, além de atuar em todo o pipeline de processamento e análise de dados, incluindo administração, governança e monitoramento das ferramentas.Atividades:
Será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.Requisitos:
Experiência com engenharia de dados;
Implantação, administração, otimização e troubleshooting de frameworks de Big Data em ambiente on-premises Cluster Apache Spark;
Apache Ranger para controle de acessos e segurança do MinIO;
Experiência em Delta Lake;
Desenvolvimento em Python, PySpark e SQL (DDL, DML, DQL)
Vivência em sistemas Linux (Red Hat Enterprise, Ubuntu Server)
Experiência com containers (Dockerfile, build, run, compose, volumes, imagens);
Conhecimento em GitLab (ou outro versionador de código similar);
Implantação e administração de JupyterHub para múltiplos usuários.