Engenheiro de Dados
Trabalhamos com projetos complexos que exigem conhecimentos avançados em tecnologia e dados.
Conhecimentos necessários:
* Excelência em programação;
* Habilidades em tratamento de dados.
Tecnologias utilizadas:
* Python como linguagem principal;
* PySpark para análise de dados;
* SQL para banco de dados.
Ferramentas importantes:
1. Big Data:
* Desenvolvimento em HUE;
* Integração com Hive;
* Uso de Spark (SparkML) para machine learning;
* Configuração de NIFI.
2. Banco de dados:
* DB2 como banco de dados relacional;
* MySQL para gestão de bancos de dados;
* Oracle para desenvolvimento de sistemas;
* Dbeaver para consulta de dados.
3. Modelagem de dados e versionamento de código:
* Erwin para modelagem de dados;
* Git para controle de versões.