Desenvolvedor de Dados
A empresa está procurando por um profissional que seja especialista em Big Data e tenha habilidade para trabalhar com grandes volumes de dados. O candidato deve ter experiência em Apache Hadoop, Spark e Kafka.
Para este cargo, é necessário possuir formação em Ciência da Computação ou áreas correlatas e ter no mínimo 5 anos de experiência em TI. Além disso, é importante conhecer linguagens como Scala, Java e Python, além de frameworks e ferramentas como Apache Spark, Hadoop Ecosystem, Hive, Iceberg, HBase, Solr, Kafka, Spark Streaming ou Apache Flink.
Além disso, o candidato deve ter habilidades de modelagem de dados e experiência prévia no setor de energia (Oil & Gas). É fundamental também ter excelente comunicação verbal e escrita, pois a equipe do desenvolvimento de software conta com colaboradores de diferentes origens e idiomas.
* Responsabilidades:
* Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Apache Hadoop, Spark e Kafka;
* Implementar processos de ETL e integração de dados de múltiplas fontes (internas e externas);
* Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala;
* Otimizar e ajustar jobs Spark e Hadoop para melhor performance;
* Atuar com CDP (Cloudera Data Platform) para deploy e gerenciamento de aplicações Big Data;
* Integrar soluções com Azure, Snowflake e infraestrutura on-premises;
* Colaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustas;
* Utilizar ferramentas de versionamento como GitHub e automações via GitHub Actions e/ou Azure DevOps;
* Explorar e implementar novas tecnologias de acordo com o roadmap interno de Big Data;
* Garantir segurança, integridade e governança dos dados.
Requisitos Técnicos:
* Formação: Bacharelado em Ciência da Computação ou áreas correlatas | GPA mínimo: 6.5/10;
* Experiência: 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes Hadoop;
* Linguagens: Scala, Java e/ou Python;
* Frameworks e Ferramentas: Apache Spark, Hadoop Ecosystem, Hive, Iceberg, HBase, Solr, Kafka, Spark Streaming ou Apache Flink, Oozie (Airflow é diferencial), Sistemas UNIX/Linux, Git, GitHub, DevOps (desejável Azure DevOps), Cloud: Experiência com Azure (desejável conhecimento em AWS).
Diferenciais:
* Conhecimento em Apache NiFi;
* Habilidades de modelagem de dados;
* Experiência prévia no setor de energia (Oil & Gas).
Soft Skills:
* Excelente comunicação verbal e escrita (Inglês avançado é mandatório);
* Perfil proativo, autônomo e colaborativo;
* Forte capacidade analítica e de resolução de problemas complexos;
* Facilidade para trabalhar em times ágeis (Scrum) e ambientes multifuncionais;
* Habilidade de interface com áreas de negócio, arquitetura e desenvolvimento técnico;
* Capacidade de documentar soluções e boas práticas de forma clara e objetiva.