Desenvolvedor de Dados
Oportunidade para trabalhar em projetos inovadores em ambientes híbridos.
Trabalharemos juntos com grandes volumes de dados estruturados e não estruturados, desenvolvendo pipelines de dados escaláveis utilizando tecnologias como Hadoop, Spark, Azure e Snowflake.
Responsabilidades:
* Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Apache Hadoop, Spark e Kafka
* Implementar processos de ETL e integração de dados de múltiplas fontes (internas e externas)
* Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala
* Otimizar e ajustar jobs Spark e Hadoop para melhor performance
* Atuar com CDP (Cloudera Data Platform) para deploy e gerenciamento de aplicações Big Data
* Integrar soluções com Azure, Snowflake e infraestrutura on-premises
* Colaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustas
* Utilizar ferramentas de versionamento como GitHub e automações via GitHub Actions e/ou Azure DevOps
* Explorar e implementar novas tecnologias de acordo com o roadmap interno de Big Data
* Garantir segurança, integridade e governança dos dados
Requisitos:
* Formação: Bacharelado em Ciência da Computação ou áreas correlatas | GPA mínimo: 6.5/10
* Experiência: 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes Hadoop
Competências:
* Linguagens: Scala, Java e/ou Python
* Ferramentas e frameworks: Apache Spark, Hadoop Ecosystem, Hive, Iceberg, HBase, Solr, Kafka, Spark Streaming ou Apache Flink, Oozie (Airflow é diferencial), Sistemas UNIX/Linux, Git, GitHub, DevOps (desejável Azure DevOps), Cloud: Experiência com Azure (desejável conhecimento em AWS)