Vaga para Engenheiro de Dados Sênior em Remoto
A empresa está em busca de um profissional experiente em engenharia de dados para projetar e otimizar pipelines ETL/ELT de alta performance.
Descrição do Cargo
O candidato será responsável por criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades. Além disso, ele deverá processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks.
Responsabilidades
* Projetar e otimizar pipelines ETL/ELT de alta performance;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS;
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
* Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog;
Habilidades e Qualificações
* Inglês avançado (nível C1) ou superior;
* Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
* Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
* Domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala;
* Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
* Sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas;
* Proficiência em SQL, NoSQL e bancos de dados de grafos (ex: PostgreSQL, Cosmos DB, Neo4j, Redis);
* Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
* Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam;
* Experiência com práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
* Domínio da linguagem Python e boas práticas de testes com PyTest ou ferramentas similares;
Benefícios
A empresa oferece uma gama de benefícios, incluindo:
* Vale alimentação ou vale refeição Ifood Empresas;
* Benefício indireto (valor fixo para custeio parcial do plano de saúde ou somado ao vale alimentação);
* Desconto em cursos, universidades e instituições de idiomas;
* Academia Sys Manager - plataforma com cursos online, gratuitos, atualizados e com certificado;
* Auxílio creche;
* Assistência médica;
* Assistência odontológica;
* Convênio para pet;
* TotalPass;
* Day Off após 12 meses;
* Seguro de vida e outros.