Buscamos profissionais talentosos para ocupar o cargo de Engenheiro de Dados em nossa equipe dinâmica.
Responsabilidades:
* Projeto e desenvolvimento de pipelines escaláveis utilizando Hadoop, Spark e Kafka.
* Implementação de processos ETL e integração de dados de múltiplas fontes internas e externas.
* Trabalho com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala.
* Otimização e ajuste de jobs Spark e Hadoop para melhor performance.
* Atuação com CDP (Plataforma de Dados Cloudera) para deploy e gerenciamento de aplicações Big Data.
* Integração de soluções com Azure, Snowflake e infraestrutura on-premises.
* Colaboração com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustas.
* Uso de ferramentas de versionamento como GitHub e automações via GitHub Actions e/ou Azure DevOps.
* Exploração e implementação de novas tecnologias de acordo com o roadmap interno de Big Data.
* Garantia da segurança, integridade e governança dos dados.
Requisitos Técnicos:
* Formação: Bacharelado em Ciência da Computação ou áreas correlatas | Nota mínima: 6.5/10
* Experiência: 5 a 8 anos em TI, com pelo menos 3 anos em ambientes Hadoop
* Linguagens: Scala, Java e/ou Python
* Frameworks e Ferramentas:
* Apache Spark, Ecossistema do Hadoop
* Hive, Iceberg, HBase
* Solr
* Kafka, Spark Streaming ou Apache Flink
* Oozie (Airflow é diferencial)
* Sistemas UNIX/Linux
* Git, GitHub, DevOps (desejável Azure DevOps)
* Nuvem: Experiência com Azure (desejável conhecimento em AWS)
Vantagens:
* Oportunidades de crescimento profissional
* Trabalho em equipe dinâmica
* Flexibilidade de horário
* Benefícios adicionais
Para se candidatar, considere as seguintes habilidades técnicas e experiências necessárias para este cargo.