Desenvolvedor de Dados Híbrido
A empresa global, com quase 30 anos de experiência, procura um especialista em desenvolvimento de dados híbrido para projetar e suportar pipelines escaláveis em ambientes complexos.
Responsabilidades:
* Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Apache Hadoop, Spark e Kafka em aplicações multimodal.
* Implementar processos de ETL e integração de dados de múltiplas fontes (internas e externas) em plataformas distribuídas.
* Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala em sistemas flexíveis.
* Otimizar e ajustar jobs Spark e Hadoop para melhor performance em plataforma integrada.
* Atuar com CDP (Cloudera Data Platform) para deploy e gerenciamento de aplicações Big Data escalável.
* Integrar soluções com Azure, Snowflake e infraestrutura on-premises.
* Colaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustas.
Requisitos Técnicos:
* Formação: Bacharelado em Ciência da Computação ou áreas correlatas | GPA mínimo: 6.5/10.
* Experiência: 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes Hadoop.
* Linguagens: Scala, Java e/ou Python.
* Frameworks e Ferramentas:
* Apache Spark, Hadoop Ecosystem.
* Hive, Iceberg, HBase.
* Solr.
* Kafka, Spark Streaming ou Apache Flink.
* Oozie (Airflow é diferencial).
* Sistemas UNIX/Linux.
* Git, GitHub, DevOps (desejável Azure DevOps).
* Cloud: Experiência com Azure (desejável conhecimento em AWS).
Diferenciais:
* Conhecimento em Apache NiFi.
* Habilidades de modelagem de dados.
* Experiência prévia no setor de energia (Oil & Gas).
Soft Skills:
* Excelente comunicação verbal e escrita (Inglês avançado é mandatório).
* Perfil proativo, autônomo e colaborativo.
* Forte capacidade analítica e de resolução de problemas complexos.
* Facilidade para trabalhar em times ágeis (Scrum) e ambientes multifuncionais.
* Habilidade de interface com áreas de negócio, arquitetura e desenvolvimento técnico.
* Capacidade de documentar soluções e boas práticas de forma clara e objetiva.