Buscamos um profissional para projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT.
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
Você trabalhará em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps.
Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog;
Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
Trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps.
Requisitos
Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
Domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala;
Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
* Proficiência em SQL, NoSQL e bancos de dados de grafos (ex: PostgreSQL, Cosmos DB, Neo4j, Redis);
Obrigatório ter conhecimento em frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas.
* Sólido entendimento de práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
Experiência com práticas de testes com PyTest ou ferramentas similares;
Requisito adicional é Inglês nível C2.
Conheça mais sobre nós:
* Nossa missão é oferecer oportunidades para crescimento e desenvolvimento;
* Nossa visão é transformar negócios e realizar sonhos;