Buscamos um profissional de dados
Estamos em busca de um profissional qualificado para trabalhar com Big Data. O candidato será responsável por projetar, construir e manter soluções de Big Data e Data Lake.
Atividades
* Projetar, construir e manter nossas soluções de Big Data e Data Lake;
* Trabalhar ao longo do pipeline de processamento e análise de dados;
* Administrar e gerenciar dados, governança de dados, monitoramento e gestão de ferramentas especializadas;
* Implantar, administrar, otimizar e resolver problemas com frameworks de Big Data em ambiente on-premises Cluster Apache Spark;
* Experiência com engenharia de dados; Experiência em Delta Lake; Desenvolvimento em Python, PySpark e SQL (DDL, DML, DQL); Vivência em sistemas Linux (Red Hat Enterprise, Ubuntu Server); Conhecimento em GitLab (ou outro versionador de código similar); Implantação e administração de JupyterHub para múltiplos usuários.
Requisitos
* Experiência com engenharia de dados;
* Implantação, administração, otimização e troubleshooting de frameworks de Big Data em ambiente on-premises Cluster Apache Spark;
* Apache Ranger para controle de acessos e segurança do MinIO;
* Experiência em Delta Lake;
* Desenvolvimento em Python, PySpark e SQL (DDL, DML, DQL);
* Vivência em sistemas Linux (Red Hat Enterprise, Ubuntu Server);
* Conhecimento em GitLab (ou outro versionador de código similar);
* Implantação e administração de JupyterHub para múltiplos usuários.