Desenvolvedor(a) de Engenharia de Dados Sênior
Vamos explorar como você pode transformar seus conhecimentos em dados em soluções inovadoras.
Aqui, vamos projetar e otimizar pipelines de alta performance para a ingestão e análise de dados OSINT. Além disso, criaremos fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades.
O papel do Engenheiro(a) de Dados Sênior é complexo, pois envolve processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks. Além disso, gerenciará soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS.
Precisamos de alguém que possa trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps. Além disso, aplicará diretrizes de segurança como NIST, FedRAMP e Zero Trust para proteção e governança dos dados.
Se você está preparado para enfrentar desafios e aprender constantemente, este é o lugar certo para você.
* Requisitos:
* Inglês avançado (C1);
* Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
* Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
* Domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala;
* Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
* Sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas;
* Proficiência em SQL, NoSQL e bancos de dados de grafos (ex: PostgreSQL, Cosmos DB, Neo4j, Redis);
* Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
* Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam;
* Experiência com práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
* Domínio da linguagem Python e boas práticas de testes com PyTest ou ferramentas similares;
* Requisitos adicionais:
* Inglês nível C2;
* Conhecimento em sistemas de informação geoespacial;
* Experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps);
* Noções de análise de grafos e links aplicadas a fluxos de inteligência;
Benefícios:
* Vale Alimentação ou Vale Refeição Ifood Empresas;
* Benefício indireto (valor fixo para custeio parcial do plano de saúde ou somado ao vale alimentação);
* Desconto em cursos, universidades e instituições de idiomas;
* Academia Sys Manager - plataforma com cursos online, gratuitos, atualizados e com certificado;
* Auxílio Creche;
* Assistência Médica;
* Assistência Odontológica;
* Convênio para Pet;
* TotalPass;
* Day Off após 12 meses;
* Seguro de vida e outros;