Buscamos um profissional para desenvolver soluções inovadoras em ambientes híbridos, utilizando tecnologias como Hadoop e Spark.
Responsabilidades
* Desenvolver pipelines de dados escaláveis utilizando Apache Hadoop e Spark;
* Implementar processos de ETL e integração de dados de múltiplas fontes (internas e externas);
* Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala;
* Otimizar e ajustar jobs Spark e Hadoop para melhor performance;
* Atuar com CDP para deploy e gerenciamento de aplicações Big Data;
* Integrar soluções com Azure e Snowflake;
* Colaborar com cientistas de dados e arquitetos para entender requisitos e entregar soluções robustas;
* Utilizar ferramentas de versionamento como GitHub e automações via GitHub Actions e/ou Azure DevOps;
* Explorar e implementar novas tecnologias de acordo com o roadmap interno de Big Data;
Requisitos Técnicos:
* Formação: Bacharelado em Ciência da Computação ou áreas correlatas; Formação em engenharia de software;
* Experiência: 5 a 8 anos em TI, com pelo menos 3 anos em ambientes Hadoop;
* Linguagens: Scala, Java e/ou Python;
* Framework e Ferramenta: Apache Spark, Hadoop Ecosystem, Hive, Iceberg, HBase, Solr, Kafka, Spark Streaming ou Apache Flink, Oozie, Git, GitHub, DevOps, Cloud: Experiência com Azure;
* Diferenciais: Conhecimento em Apache NiFi, habilidades de modelagem de dados, experiência prévia no setor de energia;
Soft Skills:
* Excelente comunicação verbal e escrita;
* Perfil proativo, autônomo e colaborativo;
* Forte capacidade analítica e de resolução de problemas complexos;
* Facilidade para trabalhar em times ágeis e ambientes multifuncionais;