Descrição do Cargo:
">
O Engenheiro(a) de Dados será responsável por projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT, criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades.
">
Além disso, o engenheiro(a) de dados processará grandes volumes de dados com Apache Spark, Delta Lake e Databricks, gerenciará soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS, e implementará observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog.
">
A pessoa selecionada também trabalhará em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps, aplicará diretrizes de segurança como NIST, FedRAMP e Zero Trust para proteção e governança dos dados, e construirá integrações via APIs GraphQL, REST ou gRPC com serviços internos e externos.
">
Requisitos Essenciais:
">
1. Inglês em nível avançado (C1);
">
2. Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
">
3. Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
">
4. Dominio de Apache Spark, PySpark e Scala para processamento de dados em larga escala;
">
5. Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
">
6. Sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas;
">
7. Proficiência em SQL, NoSQL e bancos de dados de grafos (ex: PostgreSQL, Cosmos DB, Neo4j, Redis);
">
8. Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
">
9. Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam;
">
10. Experiência com práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
">
11. Dominio da linguagem Python e boas práticas de testes com PyTest ou ferramentas similares;
">
12. Conhecimento em sistemas de informação geoespacial; e experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps).
">
">
Benefícios:
">
Os candidatos terão acesso a benefícios variados, incluindo vale alimentação ou vale refeição Ifood Empresas, benefício indireto, desconto em cursos, universidades e instituições de idiomas, academia Sys Manager, auxílio creche, assistência médica, assistência odontológica, convênio para pet e TotalPass.
">
Mais Informações:
">
Poderemos conversar mais sobre os detalhes da vaga caso você se interesse.