Estamos em busca de um profissional altamente qualificado e apaixonado por Big Data para se juntar à nossa equipe de tecnologia. O candidato ideal será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.
Conhecimentos Técnicos Obrigatórios:
* Experiência prévia com engenharia de dados;
* Implantação, administração, otimização e troubleshooting de problemas com frameworks de Big Data em ambiente ON-PREMISES:
-Cluster Apache Hadoop (armazenamento distribuído com HDFS);
-Cluster Apache Spark;
-Construção da camada de armazenamento com Delta Lake (architecture medallion sobre o HDFS);
-Apache Hive (como metadata dos objetos Delta Lake)Apache Presto (preferencialmente) ou Apache Trino como engrenagem de consultas (SQL like);
* Conhecimento aplicado em autenticação/segurança;
* Experiência em Delta Lake;
* Desenvolvimento em linguagem Python;
* Desenvolvimento em Pyspark (Apache Spark);
* Desenvolvimento em linguagem SQL (DDL, DML, DQL);
* Ter experiência com S.O. Linux (Red Hat Enterprise, Ubuntu Server)
* Ter experiência com containers (Dockerfile, build, run, compose, volumes, imagens);
* Ter experiência com Gitlab (ou outro versionador de código similar).
Conhecimentos Técnicos Desejáveis:
* Clickhouse (SGBD como Datawarehouse);
* Jupyter Hub;
* Processamento de informações geoespaciais com GeoPandas e Pyspark;
* Implantação, administração, otimização e troubleshooting do cluster manager Kubernetes (ON-PREMISES ou em cloud);
* Desenvolvimento de dashboards com Qlik Sense;
* Conhecimento em Kubernetes para administração e troubleshooting de problemas;
* Ter autogerenciamento;
* Saber estimar tarefas dentro do cenário atribuído;
* Ter boa comunicação;
* Saber negociar (prazos, expor cenários)
* Conhecimento da aplicação prática do SCRUM.
Formação:
Possuir diploma de ensino superior completo nas seguintes áreas de conhecimento (e suas subáreas), de acordo com a classificação da CAPES da plataforma Sucupira:
* Matemática (10100008).
* Probabilidade e Estatística (10200002).
* Ciência da Computação (10300007).
* Engenharias (30000009).
* Economia (60300000).
* Outra área com ênfase substancial em análise de dados