Estamos em busca de um profissional altamente qualificado e apaixonado por Big Data para se juntar à nossa equipe de tecnologia.
O candidato ideal será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.
Conhecimentos Técnicos Obrigatórios: Experiência prévia com engenharia de dados;Implantação, administração, otimização e troubleshooting de problemas com frameworks de Big Data em ambiente ON-PREMISES:-Cluster Apache Hadoop (armazenamento distribuído com HDFS);
-Cluster Apache Spark;
-Construção da camada de armazenamento com Delta Lake (architecture medallion sobre o HDFS);
-Apache Hive (como metadata dos objetos Delta Lake)Apache Presto (preferencialmente) ou Apache Trino como engrenagem de consultas (SQL like);
Conhecimento aplicado em autenticação/segurança;Experiência em Delta Lake;Desenvolvimento em linguagem Python;Desenvolvimento em Pyspark (Apache Spark);Desenvolvimento em linguagem SQL (DDL, DML, DQL);Ter experiência com S.O.
Linux (Red Hat Enterprise, Ubuntu Server)Ter experiência com containers (Dockerfile, build, run, compose, volumes, imagens);Ter experiência com Gitlab (ou outro versionador de código similar). Conhecimentos Técnicos Desejáveis: Clickhouse (SGBD como Datawarehouse);Jupyter Hub;Processamento de informações geoespaciais com GeoPandas e Pyspark;Implantação, administração, otimização e troubleshooting do cluster manager Kubernetes (ON-PREMISES ou em cloud);Desenvolvimento de dashboards com Qlik Sense;Conhecimento em Kubernetes para administração e troubleshooting de problemas;Ter autogerenciamento;Saber estimar tarefas dentro do cenário atribuído;Ter boa comunicação;Saber negociar (prazos, expor cenários)Conhecimento da aplicação prática do SCRUM. Formação: Possuir diploma de ensino superior completo nas seguintes áreas de conhecimento (e suas subáreas), de acordo com a classificação da CAPES da plataforma Sucupira:
Matemática (10100008).Probabilidade e Estatística (10200002).Ciência da Computação (10300007).Engenharias (30000009).Economia (60300000).Outra área com ênfase substancial em análise de dados