Encontramos uma oportunidade para um engenheiro de dados inovador que se sinta motivado a construir soluções escaláveis e robustas em ambientes híbridos.
O papel envolve o desenvolvimento e suporte de pipelines de dados, incluindo projetar, implementar e otimizar processos ETL. Além disso, é necessário trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala.
Responsabilidades Principais:
* Desenvolver pipelines de dados escaláveis utilizando Apache Hadoop, Spark e Kafka
* Implementar processos de ETL e integração de dados de múltiplas fontes (internas e externas)
* Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escala
* Otimizar e ajustar jobs Spark e Hadoop para melhor performance
* Atuar com CDP (Cloudera Data Platform) para deploy e gerenciamento de aplicações Big Data
* Integrar soluções com Azure, Snowflake e infraestrutura on-premises
* Colaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustas
* Utilizar ferramentas de versionamento como GitHub e automações via GitHub Actions e/ou Azure DevOps
* Explorar e implementar novas tecnologias de acordo com o roadmap interno de Big Data
* Garantir segurança, integridade e governança dos dados